aanschaf &#039;zware&#039; webserver

zondag 27 april 2003 16:18

Topicstarter

ja de reden voor zulke zware systemen is dat onze site een soort online invoertool bevat voor een netwerk van mensen over de hele wereld die ook jpg's, quicktimes en flash materiaal gaan up- en downloaden, evenals zware mysql select queries die ook weer dikke pagina's met tien- / honderdtallen plaatjes genereren. veel file-traffic dus en veel gemiddeld gecompliceerde queries. het kan dus voorkomen dat tegelijkertijd tientallen mensen aan het invoeren zijn en dan nog eens velen rondsurfen (oftewel select queries en veel download traffic).

ik heb van horen zeggen dat de sun cobalt servers nogal 'lichtjes' zijn, niet echt aanraders voor het wat heftigere mysql/php webserverwerk met veel traffic. over compaq hoor ik betere verhalen, echter die zijn wel prijzig voor een beetje soortgelijk systemen.

helaas hebben we niet de tijd, kennis om zoals de tweakers.net crew dat doet gewoon dingen uit te gaan proberen.

bijv. momenteel hebben we op ons werk een apple x-server dual 1ghz met ide-raid en osx 10.2 staan die eventueel als webserver ingericht zou kunnen worden. maar we kunnen op dit gebied / voor dit platform geen expertise vinden, behalve op forums en sites zelf te gaan lezen en zelf de server te configureren. nou dat valt niet mee. probeer maar eens php 4.3.0 met gd lib en freetype erop te krijgen.

[ Voor 5% gewijzigd door js303 op 27-04-2003 16:12 ]

Acties:

jurri@n

Ik heb zelf goede ervaringen met de machines van NEC. De rackmountable servers zijn standaard met dual processor dacht ik. En die zijn rond de 2000 euro (excl. BTW).

En ook met de helpdesk / service heb ik goede ervaringen. Beter dan met de helpdesk van Dell.

zondag 27 april 2003 16:49

Acties:

zondag 27 april 2003 16:49

Topicstarter

goeie tip die nec servers. zeer interessant!

Acties:

Verwijderd

Waarom zo een krachtige machine voor een webserver?? Wat wil je erop gaan draaien? Een oracle database ofzo?

zondag 27 april 2003 16:52

Acties:

eXite

Is een Cobalt RaQ niet een betere oplossing voor jouw situatie? Niet al te duur, gebruiksvriendelijk, stabiel én snel..

_{hoewel ik zelf raq's verdoem}

Ja, ik bedoel, je kunt er wel moeilijk over doen, maar zo is het toch?

zondag 27 april 2003 17:04

Acties:

zondag 27 april 2003 17:05

Topicstarter

waarom - is dit zo belachelijk zwaar dan? ook als bijv. 100 mensen tegelijk een quicktime filmpje aanklikken, mysql queries met honderden results afgevuurd worden, dynamische plaatjes gegenereerd worden met gdlib en freetype en op hetzelfde moment 50 inserts plaats moeten vinden??

ik heb niet veel ervaring met performance en zware systemen maar mijn ervaringen met virtual / shared hosting zijn echt ronduit slecht. heb zo'n 5 providers nu geprobeerd en allemaal veel te lage performance: renderingtijd van php scripts schiet bijv. drastisch omhoog als we met z'n tienen tegelijk page requests doen (vanaf verschillende inbelpunten wtv); requests / access time van zowel dynamische als statische files zelfde verhaal.
okay dat kan ook aan veel andere zaken liggen zoals bandbreedte bij provider en kwaliteit van script / query / bestand- en mapstructuur. maar stel dat die zaken nu geregeld zijn...

even ter vergelijking: tweakers.net, dat nu al meer gebruikers heeft dan onze site waarschijnlijk ooit zal krijgen, maar qua load / traffic elkaar op termijn niet zo gek veel zou kunnen ontlopen, heeft ook een flink aantal jongens draaien. en we willen wel een machine aanschaffen die niet al na aan half jaar ge-upgrade of ge-assisteerd door een 2e server hoeft te worden.

Acties:

zondag 27 april 2003 17:17

Topicstarter

cobalt raq - dat zijn die sun machines he. tja - iemand ervaringen mee??

Acties:

zondag 27 april 2003 17:21

als je tot eind mei kunt wachten komt er bij Dell een perfecte machine in 1u formaat voor een dunne 700 euro. Als je dan toch wilt clusteren kun je met die jongens een heel eind komen.
Ide raid met goede schijven ( nog steeds 3 jaar garantie) is een prima alternatief.
Raid 1 zal waarschijnlijk ruim voldoende zijn en is betrouwbaar genoeg.

Acties:

zondag 27 april 2003 17:22

Filmpjes, dynamische plaatjes en vette queries = bandbreedte, geheugen, bandbreedte, opslagcapaciteit, bandbreedte, processorcapaciteit en bandbreedte.

Voor een enkele server loop je vast op de netwerkkaart(en), voor meerdere servers die elk een specifieke taak doen ook. Als je zoiets wilt gaan doen kun je al niet om een cluster heen. En moet je heel veel bandbreedte aanvragen bij je provider.

Wordt zoizo een duur grapje. Reken maar eens uit wat de maximale bandbreedte moet zijn: 100 x een quicktime filmpje (welke kwaliteit?) van zeg 300kb/s is al 30Mb/s... Daar heb je al een 1 Gigabit verbinding voor nodig! (1Gigabit / 10 = 100 Megabyte, daar gaat nog de overhead en de onderlinge communicatie af.) Je hebt dus alleen voor de filmpjes al een cluster nodig met per server 2 Gigabit netwerkkaarten. En een héél snel RAID array!

Acties:

Verwijderd

SED schreef op 27 april 2003 @ 17:17:
Ide raid met goede schijven ( nog steeds 3 jaar garantie) is een prima alternatief.
Raid 1 zal waarschijnlijk ruim voldoende zijn en is betrouwbaar genoeg.

Als ik voor snelheid moest kiezen tussen RAID en SCSI koos ik toch echt SCSI. Zeker in dit geval, waar vele mensen vele dingen doen en access time dus belangrijk is. Dus zeker geen IDE nemen!

[ Voor 18% gewijzigd door Verwijderd op 27-04-2003 17:22 ]

zondag 27 april 2003 17:28

Acties:

Verwijderd

DiGuru schreef op 27 april 2003 @ 17:21:
Filmpjes, dynamische plaatjes en vette queries = bandbreedte, geheugen, bandbreedte, opslagcapaciteit, bandbreedte, processorcapaciteit en bandbreedte.

Voor een enkele server loop je vast op de netwerkkaart(en), voor meerdere servers die elk een specifieke taak doen ook. Als je zoiets wilt gaan doen kun je al niet om een cluster heen. En moet je heel veel bandbreedte aanvragen bij je provider.

Wordt zoizo een duur grapje. Reken maar eens uit wat de maximale bandbreedte moet zijn: 100 x een quicktime filmpje (welke kwaliteit?) van zeg 300kb/s is al 30Mb/s... Daar heb je al een 1 Gigabit verbinding voor nodig! (1Gigabit / 10 = 100 Megabyte, daar gaat nog de overhead en de onderlinge communicatie af.) Je hebt dus alleen voor de filmpjes al een cluster nodig met per server 2 Gigabit netwerkkaarten. En een héél snel RAID array!

correctie :

1 Gbit = 1000 MBit = 1000/8 = 125 MB/s

met overhead ed kom je dan op zo'n 100 MB/s

zondag 27 april 2003 17:34

Acties:

zondag 27 april 2003 17:40

Verwijderd schreef op 27 April 2003 @ 17:28:
[...]

correctie :

1 Gbit = 1000 MBit = 1000/8 = 125 MB/s

met overhead ed kom je dan op zo'n 100 MB/s

Ook goed. Je hebt 2 soorten overhead: de ene zit in het protocol en de andere zit in de communicatie tussen de computers onderling. Ik reken de overhead in het protocol al mee als ik omreken van theoretische maximum naar maximale data-doorvoer.

[ Voor 3% gewijzigd door DiGuru op 27-04-2003 17:34 ]

Acties:

zondag 27 april 2003 17:51

Topicstarter

we gaan bij de quicktime filmpjes uit van maximaal 100kb/s (320x240 fimpjes in sorenson 2/3 met 80kb/s beeld, 24kb/s geluid levert al redelijke resultaten). stel er zouden 100 mensen tegelijk een quicktime downloaden, dan mag de gedeelde bandbreedte wel zakken naar 50kb/s. dus 100 x 100 = 10mb/s. bandbreedte mag dan 5mb/s. met een 100mbit verbinding zit je dan al goed (theoretisch 12,5 mb/s) voor de video's.

Acties:

zondag 27 april 2003 17:53

Topicstarter

nog even over bandbreedte, performance, geheugen:

waar ik me echter ook zorgen over maak is de rendertijd van een php script, die weer complexe sql selects doet. momenteel kan - als het druk is op de server - alleen de query soms wel oplopen van 0.05 naar 5 seconden of hoger! echt een belachelijk verschil, waarbij ik nou niet weet of dat door een simpel rekensommetje (100 requests x 0.05 = 5 seconden) te verklaren valt of dat er allerlei rare dingen op die gedeelde server plaatsvinden waar ik geen inzicht in krijg van de provider.

maar feit is wel dat de rendertijd van een query op een piekmoment absoluut niet hoger dan zeg 0.5 seconden mag komen. en als het stil is (< 50 users die exact op zelfde moment een query doen) moet het gemiddeld gewoon < 0.1 seconden blijven. dat zijn toch wel haalbare cijfers? magoed over de oplossing van dit probleem kan je een aparte discussie beginnen zoals het optimaliseren van queries / tabellen, cachen van ingewikkelde dynamische pagina's (zoals bijv. ebay) doet ed.

[ Voor 12% gewijzigd door js303 op 27-04-2003 18:02 ]

Acties:

zondag 27 april 2003 17:57

js303 schreef op 27 april 2003 @ 17:40:
we gaan bij de quicktime filmpjes uit van maximaal 100kb/s (320x240 fimpjes in sorenson 2/3 met 80kb/s beeld, 24kb/s geluid levert al redelijke resultaten). stel er zouden 100 mensen tegelijk een quicktime downloaden, dan mag de gedeelde bandbreedte wel zakken naar 50kb/s. dus 100 x 100 = 10mb/s. bandbreedte mag dan 5mb/s. met een 100mbit verbinding zit je dan al goed (theoretisch 12,5 mb/s) voor de video's.

Ja, dat is de beste oplossing om het nog betaalbaar te houden. Met een klein clustertje met per server een Gigabit netwerkkaart voor de onderlinge communicatie kom je dan al een heel eind. De plaatjes en database gaan trouwens het geheugen, de processor en de schijven ook flink belasten, dus het is maar de vraag wat nu verstandig is: een paar zware jongens of meerdere kleintjes.

Ik denk niet dat een enkele multiprocessor server dat aankan, maar dat zou je dan uit moeten zoeken. Met zulke dingen weet je het vaak pas als je het uitprobeert. Een enkele server doet het vaak beter dan een cluster totdat hij 'vol' zit, daarna gaat hij stotteren. Bij een cluster kun je er dan nog een extra server bijzetten, bij een enkele server moet je hem dan al snel gaan vervangen door een duurdere.

Acties:

zondag 27 april 2003 18:14

js303 schreef op 27 April 2003 @ 17:51:
nog even over bandbreedte, performance, geheugen:

waar ik me echter ook zorgen over maak is de rendertijd van een php script, die weer complexe sql selects doet. momenteel kan - als het druk is op de server - alleen de query soms wel oplopen van 0.05 naar 5 secondenof hoger! echt een belachelijk verschil, waarbij ik nou niet weet of dat door een simpel rekensommetje (100 requests x 0.05 = 5 seconden) te verklaren valt of dat er allerlei rare dingen op die gedeelde server plaatsvinden waar ik geen inzicht in krijg van de provider.

maar feit is wel dat die rendertijd absoluut niet hoger dan die zeg 0.1 seconden mag komen. magoed over de oplossing van dit probleem kan je een aparte discussie beginnen zoals het optimaliseren van queries / tabellen, cachen van ingewikkelde dynamische pagina's (zoals bijv. ebay) doet ed.

Als het verschil zo groot wordt, betekent dat bijna altijd dat zijn ram-geheugen vol is en hij begint te swappen. Los je het niet op met meer geheugen, dan zit de processor aan zijn max. Het zou mogelijk ook nog het geheugen op de RAID-controller kunnen zijn.

Edit: het kan ook nog, dat je te weinig database-server processen hebt lopen. Probeer die ook wat hoger te zetten. Maar als je er te veel gebruikt, werkt het weer vertragend.

[ Voor 8% gewijzigd door DiGuru op 27-04-2003 18:01 ]

Acties:

zondag 27 april 2003 18:24

Topicstarter

DiGuru, bedankt voor je tips. de site draait momenteel op een gedeelde server waar we geen zeggenschap mbt soft / hardware hebben. maar het is wel handig om te weten waar het aan kan liggen, zodat we dat in onze toekomstige eigen server(s) mee kunnen nemen.

na jouw info begin ik toch wel te denken aan iig een aantal kleinere servers geclusterd. wat zou een goede opzet zijn; 3 systemen waarvan 1 fileserver met alle quicktimes / images, 1 mysql server en 1 php server? of bijv. 2 systemen waarvan 1 php + mysql en 1 fileserver? of 1 fileserver / php systeem en 1 systeem helemaal gewijd aan mysql?

Acties:

zondag 27 april 2003 18:31

Om de load te verdelen zou je het allemaal moeten verspreiden over de servers. Dat is het idee achter een cluster: meerdere kleintjes maken virtueel een grote. Als je een enkele server 1 specifieke taak geeft, dan kan dat weer een bottleneck worden. Maar dat is toch wel een heel specialistisch werkje, als je dat wilt gaan doen kun je het beste een kant en klare oplossing kopen.

Ik wil over een paar maanden ook eens een cluster in gaan richten om te kijken hoe dat nu precies gaat, ik kan je daar dus nog niet mee helpen. Misschien is het wel heel eenvoudig, ik weet het niet.

Acties:

zondag 27 april 2003 18:39

Topicstarter

Dat is het idee achter een cluster: meerdere kleintjes maken virtueel een grote

ja dat is waar ja daar stond ik niet bij stil. ik vond safekit van evidian (http://www.evidian.com) wel een interessante software variant van clustering. je hebt dan geen speciale hardware nodig. je kan een white paper en een 30 dagen demo downloaden voor details. hoe het exact werkt en hoeveel het kost is me nog niet duidelijk.

[ Voor 20% gewijzigd door js303 op 27-04-2003 18:39 ]

Acties:

zondag 27 april 2003 18:56

Kijk hier eens naar. Dat is een uitleg over hoe je het zelf kunt doen met Debian Linux. Dat is wat de meeste professionals ook gebruiken. Als je nog 3 computers ergens hebt staan, is dat een leuke testcase.

Acties:

zondag 27 april 2003 19:19

Dit is een site met een heleboel links daarover. Ik wil dat ook gaan proberen. Het is maar wat je belangrijk vind: als je er een paar weken de tijd voor hebt en je wilt verdiepen in deze materie is het zeker de moeite waard om dat eens te proberen. Als je echter snel een goede oplossing wilt hebben, dan kun je beter wat offertes aanvragen bij bedrijven die dit soort oplossingen leveren. Dat is altijd een heel goed idee: kun je ook zien hoe zij dat zouden doen.

Voor de volledigheid: een enkele zware server is dus makkelijker, maar als hij niet voldoende kapaciteit heeft heb je een probleem. Een cluster is dus in eerste instantie lastiger, maar je kunt hem uitbreiden als het nodig is.

Acties:

we_are_borg

You will Comply

js303 schreef op 27 april 2003 @ 17:05:
cobalt raq - dat zijn die sun machines he. tja - iemand ervaringen mee??

Ik heb ervaring met Raq servers behalve de laate nieuwe de 550. Ze zijn goed ingebruik alleen ik denk niet dat één de load aan kunnen die jij beschrijft je zal ze dan moeten clusteren. Een raq is wel een oplossing als bijna niemand ervaring heb met *nix achtige oplossingen. Ik denk dat een opmaat gemaakt systeem de beste oplossing is.
Kijk ook naar de lange termijn ga niet uit van de situatie die je nu heb maar wat het over een jaar kan zijn. Misschien dat b.v. 2 machines het beste is een als file server en de een als database server. Laat je eigen goed voorlichten en letop de groei van de website iets wat je nu heb kan nog wel komen.

You need the computing power of a P1, 16 MB RAM and 1 GB Harddisk to run Win95. It took the computing power of 3 Commodore 64 to fly to the Moon. Something is wrong here, and it wasn't the Apollo.

zondag 27 april 2003 19:33

Acties:

zondag 27 april 2003 23:53

You need the computing power of a P5, 16 MB RAM and 1 GB Harddisk to run Win95. It took the computing power of 3 Commodore 64 to fly to the Moon. Something is wrong here, and it wasn't the Apollo

Leuk verzonnen alleen jammer dat het niet klopt, dat doet een beetje afbreuk aan de grappigheid.

on-topic.

je kunt dus het beste even op de goedkope Dells wachten en dan een fraai clustertje bouwen.\
Naast open source is ook windows 2003 in de running voor die job.

Dat Scsi de betere oplossing is voor dit karwei is een open deur. Kostentechnisch kun je echter met Ide ook een eind komen.
Uiteindelijk is het jouw /jullie geld.

Acties:

we_are_borg

You will Comply

SED schreef op 27 April 2003 @ 19:33:
[...]

Leuk verzonnen alleen jammer dat het niet klopt, dat doet een beetje afbreuk aan de grappigheid.

on-topic.

je kunt dus het beste even op de goedkope Dells wachten en dan een fraai clustertje bouwen.\
Naast open source is ook windows 2003 in de running voor die job.

Dat Scsi de betere oplossing is voor dit karwei is een open deur. Kostentechnisch kun je echter met Ide ook een eind komen.
Uiteindelijk is het jouw /jullie geld.

_{Offtopic:

Die quote heb ik van een site afgehaald ik weet niet wie het verzonnen heeft.}

Ontopic:

Met Windows als besturings systeem of dit nu 2003 of 2000 is komen er natuurlijk wel licentie kosten bij.
Het beste wat je kan doen is een lijstje maken met twee rijen een met voordelen een met nadelen. Maak het zowel voor *nix en Windows systeem. Kijk ook even of je aan 1 computer genoeg heb of dat je gelijk twee moet hebben. Vergeet ook niet het personeel wat je nodig heb om een systeem te onderhouden en eventueel ook cursussen tel dit mee in je kosten plaatje. Sed die kijkt ook naar IDE schijven ik denk zelf dat je die ook niet mag vergeten, de betrouwbaarheid van de schijven is stukken beter als vroeger. Ik zie alleen niet in je lijstje een backup hoe wil je dit gaan doen. Misschien dat een tweede server als backup kan werken. Als het bedrijfs critisch is zo computer zorg dan wel voor vervangede onderdelen of neem een merk computer met goede garantie. Niets is vervelender dan moeten wachten op onderdelen.

You need the computing power of a P1, 16 MB RAM and 1 GB Harddisk to run Win95. It took the computing power of 3 Commodore 64 to fly to the Moon. Something is wrong here, and it wasn't the Apollo.

maandag 28 april 2003 00:20

Acties:

Femme

Hardwareconnaisseur

Official Jony Ive fan

Er is in principe niets mis met een te zware server, behalve dat het onnodig veel geld kan kosten

. Een server die te zwaar belast is kan instabiel worden (als in software die crasht, soms zelfs hardwarematige instabiliteit maar dat zou bij een degelijke doos niet mogen gebeuren). Dus als je van plan bent om echt zware dingen te gaan doen en het budget aanwezig is, zou ik ook zorgen voor een goede configuratie. Een snel dual proc systeem hoeft helemaal niet zo duur te zijn.

Dat Dell systeem waarover hier wordt gesproken is denk te low-end voor toepassingen waarbij je zowel database- als webserver op dezelfde doos draaien. Je wilt dan toch liever SCSI en eventueel dual CPU's en geen low-end doos met IDE en een of andere gemankeerde Celeron processor. Als de database-server redelijk zwaar wordt belast kan het verstandig zijn om de database- en webserver te scheiden. Het kan niet alleen de prestaties ten goede komen, maar ook de stabiliteit (je wilt niet dat een bokkende HTTP-server die al het geheugen opeet de database-software onstabiel of traag gaat maken).

Zorg in ieder geval ook voor voldoende opslagcapaciteit. Het uitbreiden van opslagcapaciteit is niet iets wat je graag wilt doen, zeker niet in een systeem zonder RAID 5, hotswap en online capacity expansion. Je moet er rekening mee houden dat logs en eventuele backups een behoorlijke hoeveelheid opslagcapaciteit kunnen innemen. De harde schijven moeten in ieder geval RAID 1, 10 of 5 redundant zijn. Vermijdt zero channel RAID controllers zoals in het tweede Supermicro systeem. ZCR RAID zuigt qua performance.

De configuraties van de Supermicro systemen zou je ook in 1U formaat moeten kunnen krijgen. Dat kan weer wat schelen in de hostingkosten.

maandag 28 april 2003 02:24

Acties:

maandag 28 april 2003 03:06

femm

Dat Dell systeem waarover hier wordt gesproken is denk te low-end voor toepassingen waarbij je zowel database- als webserver op dezelfde doos draaien.

Wie draait er zowel de webserver als de databse op een server als je over deze prijzen spreekt? Nog los van de integriteit van de databsse die eigenlijk los moet staan van het internetverkeer. Dus: meerder goedkope servers in cluster is betrouwbaarder en sneller dan een stevige server waarvoor je teveel moet betalen.
2 single cpu servers kunnen over het algemeen meer aan dan 1 dual proc server.

Acties:

Coen Rosdorff

SED schreef op 27 April 2003 @ 17:17:
als je tot eind mei kunt wachten komt er bij Dell een perfecte machine in 1u formaat voor een dunne 700 euro.

Heb je toevallig iets meer info hierover?
Ik krijg medio dit jaar ook met dit vraagstuk te maken. Welliswaar met een stuk lichtere setup en veel minder budget, vandaar mijn interesse.

maandag 28 april 2003 11:47

Acties:

Verwijderd

Configuratie 4
Een Mid-Range 2U webserver, gebaseerd op de SuperServer 6023P-8 (SCSI) uitgerust met één 1Intel XEON Pentium 4 processor (2.6Ghz), 512Mb geheugen, 2 x 36Gb Seagate SCSI schijven (geen RAID).
Prijs per stuk € 2.825,00
Optioneel Raid 1 € 278,00
“Hot-Spare” harddisk € 270,00
Totaal € 3.373,00 (ex btw)

Configuratie 5
Een Mid-Range 2U webserver, gebaseerd op de SuperServer 6023P-8 (SCSI) uitgerust met 2 Intel XEON Pentium 4 processor (2.6Ghz), 1024Mb geheugen, 4 x 36Gb Seagate SCSI schijven, waarvan 1 “HotSpare”, in een RAID 5 configuratie middels de Adaptec 2010 ZCR Raid controller.
Prijs per stuk € 4.132,00 (ex btw)

voor website is over het algemeen de processorkracht niet zo van belang (echter ik heb geen ervaring met php... professioneel dan), maar geheugen des te meer...

maandag 28 april 2003 12:27

Acties:

maandag 28 april 2003 17:43

little_soundman schreef op 28 April 2003 @ 03:06:
[...]

Heb je toevallig iets meer info hierover?
Ik krijg medio dit jaar ook met dit vraagstuk te maken. Welliswaar met een stuk lichtere setup en veel minder budget, vandaar mijn interesse.

27 mei komt Dell uit met de Poweredge 650 voor ongeveer hetzelfde bedrag ( ex btw)
Ide server, single CPU, rackounted.
Ideale vervanger voor die vele werkstations die servertaken staan te doen en prima voor clusterbouw.

Acties:

Taigu

Bovenalles is het toch verstandig na te gaan op wat voor een server het nu draait en wanneer de server gaat bokken (misschien dat de ISP je een overzicht van de load per website kan geven), en dan op basis hiervan en de toekomstige groei een goed plan op te zetten.

Verder zijn de specs van je leverancier erg beperkt, wat interessant is wat voor schijven (10K, 15K) en wat voor Raid controller (onboard cache? ) er geleverd worden.

Cling to truth and it turns into falsehood. Understand falsehood and it turns into truth.

dinsdag 29 april 2003 00:29

Acties: