[webserver]12k aan bezoekers, wat voor server?

Pagina: 1
Acties:
  • 153 views sinds 30-01-2008
  • Reageer

  • TeeDee
  • Registratie: Februari 2001
  • Laatst online: 23:30
Hoi,

ik heb de leuke taak gekregen om het e.e.a uit te zoeken mbt een nieuwe webserver.

De server moet het volgende minimaal kunnen ( en aankunnen) :

- Webpagina's serveren
- 12.000 tot 13.000 bezoekers.
Let wel, dit zal om een piek van 5 dagen gaan. Daarna zal het minder zijn,
maar wel rond de 5000 per dag.
- FTP service
- Gebruikers kunnen beelden uploaden
- MS SQL
Is ranzig, ik weet het, maar het is tijdelijk zo ivm de aankoop van een toekomstige database server, alleen zal het voorlopig even zo moeten :(

Dit alles zal gaan draaien op W2K Server.

Verder was ik al gewezen op het feit mbt de datatraffic. Dit zou geen probleem zijn (is mij verzekerd :))

Nu kan ik wel geinig zeggen: Een Quad Xeon 2 Ghz, 4 Gb DDR Ram en weet ik veel wat nog meer, maar dat is dus ook niet de bedoeling.

De "essentie" ligt in het volgende: Er komt een piek (13k aan bezoekers), die piek moet opgevangen kunnen worden. Daarna worden het zo'n 5K aan bezoekers.

Nu wil ik dus geen webserver hebben die een overkill heeft van laten we zeggen 30% (als je het zo mag uitdrukken). Hij moet dus gemakkelijk die piek op kunnen vangen, maar daarna moet ie niet uit zijn neus gaan vreten.

Het moet dus een "gerechtvaardigde" aankoop zijn. Anders krijg ik straks weer: "Zo, wat dacht, ons even op kosten jagen met een server die niks meer hoeft te doen?"

We hebben nu een server draaien met de volgende specs:
- PIII 450 Mhz
- 256 Mb Ram

Deze krijgt dagelijks een kleine 500 a 600 bezoekers. Maar dan loopt ie wel constant op 60 a 70 %.

Dus mijn vraag is: Wat voor server zou ik nodig hebben, met in het achterhoofd dat die piek maar 5 dagen duurt, om bovenstaande te kunnen draaien?

Heart..pumps blood.Has nothing to do with emotion! Bored


  • mhr-zip
  • Registratie: Januari 2001
  • Laatst online: 21:39
Je zegt er linux op met apache en dan kan je 12 k bezoekers verwerken.
Daarna boot je w2k en dan kan die 5k bezoekers aan.

Zo iets? kan je anders niet met 2 servers werken? Bijv. 1 huren ofzo. En die daarna terug brengen!?

Zijn vijftig was nog schoon. Drinkwaterkaart.nl Drinkwaterspots


  • TeeDee
  • Registratie: Februari 2001
  • Laatst online: 23:30
mhr-zip: hmm? Dat bedoel je serieus?

Het is de bedoeling dat die server maar 1 x aangeschaft wordt. Verder, om me eerst nog te gaan verdiepen in PHP om diezelfde site te doen? Dacht het niet

Heart..pumps blood.Has nothing to do with emotion! Bored


  • baggah
  • Registratie: December 2000
  • Laatst online: 29-04 16:02
Kan je tijdens die piek niet tijdelijk tijdens je piek de dynamische pagina's omzetten naar statische?

  • mavink
  • Registratie: April 2000
  • Laatst online: 24-11-2025
Nou snelle rekensom... 450 MHz = 450 bezoekers, dus ongeveer 1 MHz per bezoeker... Voor 12.000 bezoekers kom je dan aan 4x xeon 2.4 Ghz dan zit je rond de 100% belasting :)

Da's natuurlijk veel te makkelijk gerekend, want je hebt nooit een 4x zo grote performance met 4x meer processors; maar aan de andere kant zijn xeons wat "beter" gebouwd dan die oude processor en heb je meer bandbreedte naar het geheugen.

Als je nog een server "over" hebt die niets staat te doen en je een paar dagen kunt missen zou je het als volgt kunnen doen: koop een databaseserver met 2x xeon of athlon MP; gebruik alles wat je kunt missen als webserver (uiteraard afhankelijk van hoe die 70% belasting nu verdeeld is tussen webserver en databaseserver). Als de piek voorbij is kan je die tijdelijke servers weghalen en alles op 1 machine laten draaien...

  • TeeDee
  • Registratie: Februari 2001
  • Laatst online: 23:30
Baggah: Lijkt me wel knap als die data uit een db moet gaan trekken.

Maar dit lijken mij ook allemaal "noodgreep" oplossingen.

Ik wil gewoon een hardware oplossing die een piek van 12k / 13k kan opvangen en daarna ook vrolijk weer verder draait. Maar zoals gezegd, hoeft het geen superserver te zijn, omdat die piek alleen maar 5 dagen is.

/edit:

Vink, er moet zowiezo een nieuwe server komen. Deze moet aangeschaft worden. Dus dan kan ik gelijk een goede nemen, alleen het lijkt me dat een server van 10.000 EUR weer een beetje overkill is!

Heart..pumps blood.Has nothing to do with emotion! Bored


  • baggah
  • Registratie: December 2000
  • Laatst online: 29-04 16:02
In de toekomst mag je wel een database server aanschaffen... kan je die niet eerder aanschaffen en tijdelijk als webserver laten fungeren?
Misschien moet je dan maar extra geheugen aanschaffen voor je P3-450 dat kan wel en is niet te duur.

BTW: 12k gebruikers is niet zo erg veel. Misschien iets om je server te tunen en je webpagina's te optimaliseren. ?

  • mavink
  • Registratie: April 2000
  • Laatst online: 24-11-2025
By the way, ik wil niet negatief overkomen ofzo... Maar 500 bezoekers per dag, ik weet niet hoe lang ze op de site blijven, maar een snel rekensommetje leert dat je nooit veel meer dan 1 a 2 hits/seconde kunt hebben... En dan reken ik honderden hits per bezoeker.

Dan lijkt me 60 a 70% processorbelasting extreem veel. Weet je zeker dat er niet nog wat andere dingen op die server draaien?

  • TeeDee
  • Registratie: Februari 2001
  • Laatst online: 23:30
Baggah: die 12k aan gebruikers doen read / write acties, db inserts en weet ik veel wat nog meer. Dat lijkt me niet echt vlot gaan op een 450 Mhz.

vink:
Die bezoekers uploaden ook data. Voornamelijk images. Die worden geresized (2x) en teruggegeven, en gesaved.

Heart..pumps blood.Has nothing to do with emotion! Bored


  • vargo
  • Registratie: Januari 2001
  • Laatst online: 22-04 11:11
Dit valt echt niet zo 123 te beantwoorden hoor. Geen nog eens wat meer/duidelijkere info...
Eerst: is die server die 500 a 600 bezoekers trekt qua OS + config + website hetzelfde?
Verder: Die piek - over welke tijdspanne is dat? (hoeveelheden bezoekers meet je nl over een tijdseenheid).
Tot slot: wat is de bottleneck van het huidige systeem? Cpu power? Harddisk die MS SQL niet/net kan bijbenen?

  • TeeDee
  • Registratie: Februari 2001
  • Laatst online: 23:30
vargo:

1: 500 a 600 draait nu op een 450 mhz
2: piek, 5 dagen lang 12k / 13k aan bezoekers
3: bottleneck huidige: waarschijnlijk CPU en Mem.

Maar ik zit ook "een stapje verder te denken". Het kan zijn dat die piek later nog een keer terugkomt, en dan wil ik niet voor de zelfde problemen staan.

Heart..pumps blood.Has nothing to do with emotion! Bored


  • mavink
  • Registratie: April 2000
  • Laatst online: 24-11-2025
TeeDee schreef op 24 september 2002 @ 19:13:
Vink, er moet zowiezo een nieuwe server komen. Deze moet aangeschaft worden. Dus dan kan ik gelijk een goede nemen, alleen het lijkt me dat een server van 10.000 EUR weer een beetje overkill is!
Ja ik bedoel dus ook "matige" server kopen en dan iets dat je toch over hebt tijdelijk inzetten als extra server tijdens de piek. Bijvoorbeeld dat 450 Mhz-ding, en waarschijnlijk kan je tijdelijk nog wel iets missen...

Overigens kan je ook bijvoorbeeld twee dual xeon machines kopen a pakweg 5.000 euro per stuk ipv 1 quad xeon a 10.000 euro. Dan kan je na de piek die tweede machine voor iets anders inzetten.

Als het probleem vooral cpu/memory is en niet de schijfoperaties zou je zelfs kunnen overwegen om meerdere 1-processor machines neer te zetten, bijvoorbeeld P4 2 GHz ofzo, met IDE schijven. Dan kom je met 4 van die machines een stuk goedkoper uit dan 1x quad xeon, en je kunt gewoon in de gaten houden hoe de belasting wordt. Alle machines die je niet nodig hebt kan je dan "hergebruiken" na die piek. Zo ben je een stuk flexibeler. Dat houdt natuurlijk wel in dat je applicatie makkelijk over meerdere servers verdeeld moet kunnen worden; maar als het DB-gedeelte niet zo zwaar is kan je gewoon 1 machine DB-server maken en de rest allemaal simpel webservertje dat plaatjes staat te resizen.

  • TeeDee
  • Registratie: Februari 2001
  • Laatst online: 23:30
vink: true true true, maar ik zat toch meer aan een "all-in-one" oplossing te denken. Maar ik zal je advies uiteraard meenemen. :)

/edit:

Is het dan ook de bedoeling dat ik een loadbalancer ervoor knal? Of moet ik met "serverpools" gaan werken?

Heart..pumps blood.Has nothing to do with emotion! Bored


  • mavink
  • Registratie: April 2000
  • Laatst online: 24-11-2025
TeeDee schreef op 24 september 2002 @ 19:23:
vink: true true true, maar ik zat toch meer aan een "all-in-one" oplossing te denken. Maar ik zal je advies uiteraard meenemen. :)
Als ik het zo hoor qua performance kom je dan niet onder minstens een dual maar liefst een quad xeon uit... Misschien wat efficientere software voor het resizen gebruiken :)

[edit] en zo blijven we editen...
Nee gewoon DNS round robin werkt met kleine aantallen servers wel aardig hoor.

  • gridfox
  • Registratie: Januari 2000
  • Laatst online: 23-09-2023
vink -> Wat een onzin, als bezoekersaantallen te herleiden zijn tot Mhz . . .

Er zijn een aantal overwegingen. Worden alle pagina's dynamisch gegenereerd. Hoe ligt de piek van 12.000 (verspreid over de dag, binnen een paar uur. . . . ). De voordelen liggen met name in het werkgeheugen en dit is tegenwoordig wel erg bereikbaar geworden.

Daarnaast bevreemd me de opmerking mbt. de server. Je geeft aan dat jullie bij MSQL moeten blijven ivm. een toekomstige databaseserver. Wat weerhoudt jullie deze nu al niet (al dan niet gedeeltelijk) aan te schaffen om zo onnodige afschrijving te voorkomen.

Hey, it compiles . . . . Ship it !


  • vargo
  • Registratie: Januari 2001
  • Laatst online: 22-04 11:11
Nog ff gauw want ik ga zo eten....
TeeDee schreef op 24 september 2002 @ 19:21:
vargo:

1: 500 a 600 draait nu op een 450 mhz
2: piek, 5 dagen lang 12k / 13k aan bezoekers
3: bottleneck huidige: waarschijnlijk CPU en Mem.

Maar ik zit ook "een stapje verder te denken". Het kan zijn dat die piek later nog een keer terugkomt, en dan wil ik niet voor de zelfde problemen staan.
Kijk goed waar je beperking ligt en probeer daar wat aan te doen.
Bij een zware belasting van bv database is het zinvol om:
- SCSI schijven te gebruiken (lage seek times); liefst nog RAID config.
- Veeel intern geheugen - wellicht kan je hele dbase in het geheugen(???)
Denk ook aan een scheiding tussen webserver & database server...

Oh ja - schrijf anders een script dat een X aantal bezoekers simuleert en draai dit op een andere pc om te testen.

* vargo eat now

  • TeeDee
  • Registratie: Februari 2001
  • Laatst online: 23:30
Owke, idd, zo blijven we editten :)

- DNS Round robin komt dus op mijn lijst om uit te zoeken
- die resize software is helaas niet beter. Die vreet een x aantal seconden 100%

Lijkt me 2 keuzes:

Keuze 1
1 (of 2) Webserver -> server pagina's
1 Dbserver -> Content leveren
1 FileServer -> opslag van images

Keuze 2
1 Flinke server, die de bovenstaande keuze onderuit blaast.

/edit:
GridFox, weet ik eigenlijk ook niet. MS SQL draait hier overal, alleen die staan intern. Dit komt allemaal extern te staan. En wij dachten aan 1 server voldoende te hebben. Uit de ontstane discussie ga ik dit eig. in twijfel trekken. Tevens is het e.e.a terug te herleiden naar wat investeerders :+

Heart..pumps blood.Has nothing to do with emotion! Bored


  • mavink
  • Registratie: April 2000
  • Laatst online: 24-11-2025
gridfox schreef op 24 september 2002 @ 19:30:
vink -> Wat een onzin, als bezoekersaantallen te herleiden zijn tot Mhz . . .
In het algemeen wel; maar onze topicstarter geeft aan met een laag aantal bezoekers veel CPU load te trekken. Dat geeft een aantal dingen aan:
- bottleneck is niet disk I/O; anders zou de CPU belasting niet zo hoog komen.
- zelfde voor hoeveelheid geheugen; als de server aan het swappen is staat hij geen CPU-cycles te gebruiken maar op een disk te wachten
- er draaien dus kennelijk scripts die per gebruiker een hoge belasting op de CPU leggen

In dat geval is de performance meestal redelijk lineair schaalbaar met de kloksnelheid. Vooropgesteld dat de architectuur van de processor niet ingrijpend verandert natuurlijk, of de bottleneck bij de geheugenbandbreedte ligt.
Het eerste is natuurlijk in dit geval wel het geval als hij naar een P4 of Xeon gaat, het tweede is zo moeilijk een uitspraak over te doen.

  • TeeDee
  • Registratie: Februari 2001
  • Laatst online: 23:30
Mensen, ik heb voorlopig denk ik wel even genoeg info om het e.e.a voor te leggen. Thanks voor de hulp!

(mocht er nu iemand met een briljant idee komen :))

Heart..pumps blood.Has nothing to do with emotion! Bored


  • gridfox
  • Registratie: Januari 2000
  • Laatst online: 23-09-2023
In het algemeen wel; maar onze topicstarter geeft aan met een laag aantal bezoekers veel CPU load te trekken.
OP is uberhaupt beperkt in informatie. Nergens wordt gesteld dat het groei van het aantal bezoekers rechtevenredig is aan workload.
bottleneck huidige: waarschijnlijk CPU en Mem.
Ik zou hier zelf wat meer achteraan gaan alsvorens met nieuwe configuraties te schermen. Naar ik begrijp, vergt de conversie een hoop van de server.

Zelf heb ik meer te maken met Linuxmachines, dus ik kan het niet helemaal inschatten. Maar die 12.000 bezoekers zou een 450Mhz toch wel aan moeten kunnen. Wellicht een goede optie om eerst het memory tot de max aan te vullen. CPU-load en duur kan ook hieruit voorkomen.

Hey, it compiles . . . . Ship it !


  • Matthijs Hoekstra
  • Registratie: Januari 2001
  • Laatst online: 28-04 10:13
Toch nog mijn mening. Ik raad mijn klanten altijd aan 2 'kleinere' servers te kopen ipv 1 grote. (ook in verband met onderhoud, effe 1 iis server platgooien terwijl de andere doordraait) Als je zorgt dat je site schaalbaar is kun je desnoods effe een week een machine erbij huren om de piek op te vangen.
DNS roundrobin zou ik niet gebruiken, gebruik gewoon de W2K load balancing. Werkt perfect en je kan er makkelijk machines bijzetten/weghalen.

Verwijderd

ik draai hier een server dual p2 350 met 512 geheugen voor ongeveer 10k bezoekers per dag (100.000 pageviews)... de processor belasting is nog geen 10% en meer dan 100mb geheugen vrij. maar deze draait alleen iis... daarnaast staat nog een sql server (ongeveer zelfde specs als www server ) gekoppeld via odbc over 2de netwerkkaart...
In het algemeen wel; maar onze topicstarter geeft aan met een laag aantal bezoekers veel CPU load te trekken. Dat geeft een aantal dingen aan:
- bottleneck is niet disk I/O; anders zou de CPU belasting niet zo hoog komen.
- zelfde voor hoeveelheid geheugen; als de server aan het swappen is staat hij geen CPU-cycles te gebruiken maar op een disk te wachten
- er draaien dus kennelijk scripts die per gebruiker een hoge belasting op de CPU leggen
oftewel beter naar de applicatie kijken dan een overdreven zware bak te kopen...

  • Vuurvlieg
  • Registratie: Januari 2000
  • Laatst online: 25-03 22:36
TeeDee schreef op 24 september 2002 @ 19:31:

- die resize software is helaas niet beter. Die vreet een x aantal seconden 100%
leuk dat jij dat op je dual p2 350 kan.. anders lees je de hele thread ff en zie je dat hij resize software gebruikt, en ja dat kost nou eenmaal veel cpu tijd, daar zal dus waarschijnlijk ook de bottleneck zitten, eventueel nog bij het uploaden van de plaatjes (ligt eraan met hoeveel tegelijk ze dit doen en hoe groot de plaatjes zijn)

maar meer cpu kracht lijkt me wel handig dus.

  • mavink
  • Registratie: April 2000
  • Laatst online: 24-11-2025
Verwijderd schreef op 25 september 2002 @ 11:47:
i
oftewel beter naar de applicatie kijken dan een overdreven zware bak te kopen...
Dat is natuurlijk niet altijd het makkelijkste/handigste/voordeligste. Een beetje programmeur kost enige duizenden euro's per maand; als de applicatie door een ander bedrijf is ontwikkeld misschien nog wel meer. Het zou best kunnen dat het goedkoper is om pakweg 5.000 euro extra aan een server uit te geven dan een compleet nieuwe applicatie te schrijven of de bestaande te "tunen" tot die op een langzamere server draait.

Verwijderd

als de applicatie nu al behoorlijk wat aan processortijd vreet met 500-600 gebruikers wat gaat er dan gebeuren met 5000-10000 gebruikers... zoals zo vaak zijn deze apps gewoon ontwikkelt en niet getest met een grote hoeveelheden bezoekers en geeft dan opeens problemen...
opschalen naar een grotere/zwaardere server is dan niet altijd voordeliger...

ik zeg overigens ook niet dat er een compleet nieuwe applicatie geschreven moet worden, maar wel gekeken moet worden waar er problemen bestaan en wat daaraan gedaan kan worden. 70% processor belasting is gewoon zeer hoog...

als de resize software de bottleneck is zou ik zeggen een server met 2 processoren en 1 dedicated voor resizen...

en zo snel mogelijk een sql-server erbij natuurlijk (maar dat was al de bedoeling geloof ik)
Pagina: 1