Webserver<->Databaseserver

[duderuud]

Ik ben bezig om een 2e server op te bouwen voor mijn website.

Nu is het een flink P4-systeem met één 3Com 100mbit nic. Deze server is zowel DB-server als webserver.

Nu ben ik dus met de 2e bezig, zodat ik de 2 verschillende servers kan scheiden.

Is een 100mbit-kaartje snel genoeg voor het verkeer tussen de 2 servers onderling? Of kan ik beter een paar euro's meer uitgeven voor Gigabit-kaartjes?

Hosting gaat via 2Fast, wellicht dat die een intern netwerk gebruiken? Dan kan ik namelijk de server zo uitvoeren dat ik altijd online kan zijn als er één server uitvalt...

[Greyfox]

Wat verwacht je voor workload?

[Guru Evi]

Waarom dient die dataverbinding onderling? Een heartbeat? Synchro van verwerkingsgegevens of een datapool. Of is het om je webserver en database te scheiden. Hoeveel data zit er in je database en hoe vaak wordt die geraadpleegd. 100 MBit heeft een theoretische doorvoercapaciteit van 12,5 MByte/s dus neem zo'n 8-10 MByte/s in praktijk.
Gigabit is gewoon x10. Heb je RAID zitten en een constante synchro nodig? Zouden 2 netwerkkaartjes van 100 MBit ook werken of komt het dan duurder uit (denk ik wel). Wat zijn je toekomstplannen en het verschil in prijs?

[Verwijderd]

ligt idd aan de worload, als die wel meevalt volstaat een 100 mbit kaartje wel.

[Grolsch]

hai ruud, tis voor een goed doel moet je maar denken he (collega motor rijder)

maar ff ontopic

Je database server wordt zeg maar "back-end" en communiceert alleen met je "Front-end" server (web server)?

In dit geval is 100Mbit voldoende.

Zoals je waarschijnlijk vast en zeker al wel weet speelt de snelheid van je schijven een veel grote rol, omdat het bij database's om allemaal kleine bestanden gaat.

kleine aanvulling betreft load balancing / availability.

Je kunt idd het beste een "back-end" database server gebruiken waar een GIGANTISCH snel raid kabinet in ligt met 15K schijven.
Deze server maak je gewoon zo fault tolerant mogelijk, dmv dubbele A-merk onderdelen, UPS, RAID kabinet.

En je kunt nu bijv 2 front-end webservers opzetten, en die laten load balancen.
DIt kan dmv prijzige load balancers (zoals T.net dat heeft).

Maar je zou ook Round Robin kunnen gebruiken.

zo wordt in ieder geval load balancing gebruikt, en als er een server uitvalt neemt die andere het over (alhoewel dat met round robin niet helemaal het geval is)

Maar ja, altijd hetzelfde probleem $$$$€€€€€€

[ Voor 53% gewijzigd door Grolsch op 07-05-2003 16:52 ]

[Jon78]

Ik heb sinds 3 maanden ook een dual server setup staan: 1 keer web, 1 keer database. Ze hebben allebei twee 100mbit NICjes voor intern (web<->db, via een crosskabeltje) en extern verkeer (web<->www). Er is grofweg tweemaal zoveel intern verkeer als extern verkeer. Maar dan nog komen pieken niet boven de 750 kB/s uit, dus 10mbit was al genoeg geweest

[Mark]

Grolsch schreef op 07 mei 2003 @ 16:46:
Zoals je waarschijnlijk vast en zeker al wel weet speelt de snelheid van je schijven een veel grote rol, omdat het bij database's om allemaal kleine bestanden gaat.

Databases zijn niet allemaal kleine bestanden, eigenlijk altijd een verzameling van 1 (of een aantal) grote datafiles. Omdat deze datafiles zo groot kunnen worden (en bij sommige databases verre van geoptimaliseerd) heb je een snelle schijf nodig. Nog beter is trouwens voldoende geheugen welke de DB software kan benutten om zoveel mogelijk transacties vanuit het geheugen te doen.

Duderuud schreef op 07 mei 2003 @ 16:29:
Hosting gaat via 2Fast, wellicht dat die een intern netwerk gebruiken? Dan kan ik namelijk de server zo uitvoeren dat ik altijd online kan zijn als er één server uitvalt...

Ik zou ervoor gaan om een 2-e server te plaatsen welke je voorziet van 2 netwerkkaarten. In de huidige server plaats je ook een tweede kaart. Zo kun je beide servers met elkaar verbinden via een crosslink (waarover de communicatie webserver <-> database gaat) en tevens de tweede server voorzien van en aasnluiting op het internet. Via fallback oplossingen (linux-ha bijvoorbeeld) kun je ervoor zorgen dat beide servers elkaars taken (en belangrijker, IP adressen) over kunnen nemen bij uitval.

[Verwijderd]

2Fast heeft een intern netwerk voor backup doeleinden naar het NAS systeem, maybe kan je een private VLAN krijgen? Neem daarvoor even contact op met 2Fast sales [e-mail] / 020 650 80 20.

Of zoals ook veel 2Fast klanten doen, schuif tussen of naast je colo-servers een desktop switchje voor je private verkeer.

[Verwijderd]

wat is je inetverbinding... het lijkt me dat dat je bottleneck is...

[jep]

Verwijderd schreef op 08 mei 2003 @ 12:12:
wat is je inetverbinding... het lijkt me dat dat je bottleneck is...

Lijkt me niet? Het gaat om de verbinding tussen 2 servers, bovendien hangt hij bij 2Fast zoals je kunt lezen.

[raymonvdm]

Kennisvanme hangt ook bij 2 fast met 2 webservers / database / mail enzo


En daar zitten bij allebei 2 nics in 1 nic voor inet en 1 nic voor het LAN waardoor de 2 servers onderling via een crosskabel praten. Kan eventueel gigabit zijn maar ik denk niet dat je dat benut. (al kosten ze maar 39 euro)

[jep]

Ik heb in de 2Fast suite machines voor database-verkeer met een huis tuin en keuken switch verbonden via een lan en dan inderdaad 2 nics in alle servers. Da's denk ik gewoon wat jij ook wilt.

offtopic:
http://kiekjes.dotlan.nl/...2_door_servicez.sized.jpg

[duderuud]

Thx voor alle info luitjes!

Het is dus inderdaad de bedoeling om de huidige web/dbserver te scheiden.

De db-server heeft een 3Ware raidkaart waar 2 IDE WD 8mb cache schijven in hangen.
De webserver wordt uitgerust met één WD 8mb cache schijf, en eentje als backupschijf voor zowel db- als webserver.

Momenteel heeft de server 512mb ddr-geheugen. Bij de nieuwe server heb ik 2x512mb bijbesteld.
Ik twijfel nu of ik de db-server uitrust met 1gig en de webserver 512mb, of alletwee 768mb...
(Nadeel is wel dat die 512mb reepjes pc2700 zijn en die 256mb reepjes pc2100).

Fallback-mogelijkheden, dat moet ik uitzoeken...nooit gedaan.


Ik denk ook dat ik alletwee de servers uitrust met dubbele nics. Interne nics verbinden met crosslink...

[ Voor 9% gewijzigd door duderuud op 08-05-2003 15:54 ]

[jep]

Dat is zowieso handig trouwens, want het kan voorkomen dat 1 van je servers niet helemaal lekker gaat of je management wilt doen. Tevens kun je services als SSH op je lokale ip binden, etc.

_{Of je plugged ze in mijn switch, die hangt een meter onder je servers}

[Grolsch]

Duderuud schreef op 08 May 2003 @ 15:52:
Thx voor alle info luitjes!

Het is dus inderdaad de bedoeling om de huidige web/dbserver te scheiden.

De db-server heeft een 3Ware raidkaart waar 2 IDE WD 8mb cache schijven in hangen.
De webserver wordt uitgerust met één WD 8mb cache schijf, en eentje als backupschijf voor zowel db- als webserver.

Momenteel heeft de server 512mb ddr-geheugen. Bij de nieuwe server heb ik 2x512mb bijbesteld.
Ik twijfel nu of ik de db-server uitrust met 1gig en de webserver 512mb, of alletwee 768mb...
(Nadeel is wel dat die 512mb reepjes pc2700 zijn en die 256mb reepjes pc2100).

Fallback-mogelijkheden, dat moet ik uitzoeken...nooit gedaan.


Ik denk ook dat ik alletwee de servers uitrust met dubbele nics. Interne nics verbinden met crosslink...

de database server zal vooral veel RAM gebruiken.

je front end server (web server) daarintegen zal veel processor kracht nodig hebben.

[eth0]

Verwijderd schreef op 07 mei 2003 @ 18:09:
2Fast heeft een intern netwerk voor backup doeleinden naar het NAS systeem, maybe kan je een private VLAN krijgen? Neem daarvoor even contact op met 2Fast sales [e-mail] / 020 650 80 20.

Of zoals ook veel 2Fast klanten doen, schuif tussen of naast je colo-servers een desktop switchje voor je private verkeer.

Waarom moeilijk doen kan ook gewoon met een crossover kabel, bespaard ruimte en geld....

[Verwijderd]

jep schreef op 08 May 2003 @ 14:31:
Ik heb in de 2Fast suite machines voor database-verkeer met een huis tuin en keuken switch verbonden via een lan en dan inderdaad 2 nics in alle servers. Da's denk ik gewoon wat jij ook wilt.

offtopic:
http://kiekjes.dotlan.nl/...2_door_servicez.sized.jpg

erm zon switchje komt echt voor mijn server te hangen, hij kan het wel aan maar in goedkoop spul vertrouw ik niet als ik op 100KM afstand zit. Aangezien je dan 2 plaatsen huurt krijg je vast wel 2 100mbit aansluitingen. 3com eraan, die ervoor zorgt dat als de ene link eruit dondert de andere het overneemt

[jep]

Verwijderd schreef op 11 mei 2003 @ 21:31:
[...]


erm zon switchje komt echt voor mijn server te hangen, hij kan het wel aan maar in goedkoop spul vertrouw ik niet als ik op 100KM afstand zit. Aangezien je dan 2 plaatsen huurt krijg je vast wel 2 100mbit aansluitingen. 3com eraan, die ervoor zorgt dat als de ene link eruit dondert de andere het overneemt

Hij is extra, je zult 't niet merken als hij plat gaat.

[Verwijderd]

ow hij hangt in het "interne netwerk".

Nee ik dacht dat je em gewoon voor die 2 servers had gehangen omzo het verkeer naar buiten toe te scheiden

[Verwijderd]

jep schreef op 08 May 2003 @ 14:04:
[...]

Lijkt me niet? Het gaat om de verbinding tussen 2 servers, bovendien hangt hij bij 2Fast zoals je kunt lezen.

niet?

ik heb geen idee wat de verbinding van 2fast is... maar ik kan me niet voorstellen dat iemand meer dan 100mb/s voor een webserver gaat gebruiken (laat staan betalen)... dus naar mijn idee is dat meer dan zat tussen de db en webserver... het wordt een ander verhaal wanneer de dbserver voor meerdere webservers gebruikt gaat worden.

[jep]

Verwijderd schreef op 12 May 2003 @ 17:02:
[...]


niet?

ik heb geen idee wat de verbinding van 2fast is... maar ik kan me niet voorstellen dat iemand meer dan 100mb/s voor een webserver gaat gebruiken (laat staan betalen)... dus naar mijn idee is dat meer dan zat tussen de db en webserver... het wordt een ander verhaal wanneer de dbserver voor meerdere webservers gebruikt gaat worden.

Ik mis je punt, maar de verbinding voor 1 server (haalbaar) is meer dan 100mbit, dus ik zie geen bottleneck.

[Verwijderd]

wat heb je aan een 1 gb/s verbinding tussen een web en database server als je upload naar inet van je webserver 1 mb/s is?

de upload van je webserver zal niet overkomen met het verkeer tussen je db en webserver, maar het geeft een aardige indicatie...

[Femme]

Ligt eraan wat voor soort queries en webapplicaties je draait en hoe druk het verkeer op het lokale netwerk (tussen web- en databaseservers) is. Bij twee servers zal 100Mbit meer dan snel genoeg zijn, bij veel traffic of toepassingen waarbij een pagina veel queries heeft waarvan de resultaten afhankelijk zijn van elkaar of de results sets zeer groot zijn kan de latency van een 100Mbit netwerk merkbaar worden in de parsetijd. Gigabit heeft een lagere latency en zal er in ieder geval voor zorgen dat de processortijd van de web- en databaseserver zo optimaal mogelijk gebruikt kan worden. Het zal zoals gezegd niet snel merkbaar zijn bij een eenvoudige opstelling, maar aangezien gigabit nauwelijks duurder is dan fast ethernet en tegenwoordig op alle serverborden is geïntegreerd is het heel logisch om gigabit te willen crosslinken. Als er ook backups over het lijntje moeten zal een gigabit verbinding ook kunnen helpen.

[duderuud]

Thx...ik ga gewoon voor gigabit dus.

Misschien is het overkill, maar voor die paar tientjes meer....en ik ben in ieder geval voorbereid op de toekomst!

[Verwijderd]

Duderuud schreef op 14 May 2003 @ 13:45:
Thx...ik ga gewoon voor gigabit dus.

Misschien is het overkill, maar voor die paar tientjes meer....en ik ben in ieder geval voorbereid op de toekomst!

1 ding bij gigabit. Neem goede kabels!

[duderuud]

Thx voor de tip...

Moet nog even kijken of ik via een intern netwerk kan werken bij 2Fast, anders heb ik nog een hele mooie zwarte crosslink liggen

[Verwijderd]

wat ik wel leuk vind om te lezen...memory HIER Gigabit daar...maarum...heb jij ooit wel eens een een raid 1 disk op gigabit snelheid systeemdata zien ontvangen?

nou ik niet...want er is werkelijk geen enkele raid 1 diskenset die 120mbyte per sec kan verwerken!

ipv investeren in gigabit kan je beter meerdere disken kopen...heb je veel meer aan...
veel disk spindels is veel I/O en voor databases dus VEEL sneller...daarbij een beetje ram wil ook nog flink helpen.

zorg bij gigabit kaarten dat je cat 5e kabels gebruikt anders kan je nog niet gigabitten.

let wel als je 100% gebruik maakt van gigabit heb ik op een dual pIII 1ghz server 60% cpu belasting...je netwerk vreet dan alles op....en een gigabit kaart zijn niet zo duur? 39 euro las ik?

dat kan volgens mij niet veel wezen want die van compaq kosten 200 euro per stuk...(nc7131)

[Verwijderd]

Verwijderd schreef op 15 May 2003 @ 09:49:
wat ik wel leuk vind om te lezen...memory HIER Gigabit daar...maarum...heb jij ooit wel eens een een raid 1 disk op gigabit snelheid systeemdata zien ontvangen?

nou ik niet...want er is werkelijk geen enkele raid 1 diskenset die 120mbyte per sec kan verwerken!

ipv investeren in gigabit kan je beter meerdere disken kopen...heb je veel meer aan...
veel disk spindels is veel I/O en voor databases dus VEEL sneller...daarbij een beetje ram wil ook nog flink helpen.

zorg bij gigabit kaarten dat je cat 5e kabels gebruikt anders kan je nog niet gigabitten.

let wel als je 100% gebruik maakt van gigabit heb ik op een dual pIII 1ghz server 60% cpu belasting...je netwerk vreet dan alles op....en een gigabit kaart zijn niet zo duur? 39 euro las ik?

dat kan volgens mij niet veel wezen want die van compaq kosten 200 euro per stuk...(nc7131)

* de frontend server kun je het beste opbouwen met 2 schijven en deze in raid 1 zetten
* de backend server met alleen de database erop kun je het beste op bouwen in een Raid 5 configuratie
* koop een goede controller die hoge snelheden aankan
* kijk goed naar beide server en kies voor een juiste indeling qua bloksize
* stop er veel geheugen in aangezien het gebruik van de pagefile op ide schijven echt tot veel performance verlies leid

het beste is om beide servers uit te rusten met scsi schijven (15k) aangezien hier een hoog kosten plaatje aan zit kun je er ook voor kiezen om de frontend server te voorzien van scsi schijven en de db server van ide schijven

hou er rekening mee dat ide schijven een hoge cpu belasting hebben en dat de doorvoer snelheid een stuk lager is dan scsi schijven

kies voor een netwerkkaartje een 3com die chipsets worden ook door Compaq gebruikt

waarom zet je niet alles op 1 server ?? scheelt je weer in kosten
volgens mij moet een beetje server makkelijk het motor-forum kunnen trekken

* raid 1 voor de software
* raid 5 voor de database
* bijv. 2 gb geheugen (proefondervindelijk)
* enz

[ Voor 4% gewijzigd door Verwijderd op 15-05-2003 10:23 ]

[Verwijderd]

hey maistro...t wordt natuurlijk ook een kosten plaatje...want als je het ideaal wil doen...

doe je de systemdisken in raid 1...
de disken waar de fysieke data op staat raid 5...
en een aparte disk voor je swapfile...
natuurlijk alles scsi...

en...ik zou persoonlijk deze dingen niet scheiden...maar gewoon van dat geld waar 2 pc's van gekocht worden 1 goeie pc neerzetten...

met snelle disken...raid5/raid1 en flink memory....

p.s. patsermodus...
wil je het echt goed doen...zet dan een compaq msa 1000 san neer ofzo..met 14x 36gb 15k disken...(ultra scsi 320 ipv 160) 2gb glasvezel ertussen...met dubbele paden naar je server (voor load balancing en failover) met dubbele controllers in je msa met 128mb cache...

overigens wij hebben het laatste....en dat performed...als een gek...wij hebben dan ook nog een gbit backbone en met ghostimages met systemen preppen...heb ik wel eens 50mbyte per sec throuhput gehaald....en dan had ik nog maar 50% belasting ...lekker hoor

[Verwijderd]

juist wel scheiden... sql gebruikt veel geheugen (alhoewel dit in te stellen is) en een webserver gebruikt over het algemeen ook veel geheugen. verder staat je data op een andere server zodat mocht je webserver gehackt worden ze nog niet bij je data zijn... (je moet dan natuurlijk niet sa gebruiken voor connecties naar de db )

[Verwijderd]

Verwijderd schreef op 15 May 2003 @ 10:41:
p.s. patsermodus...
wil je het echt goed doen...zet dan een compaq msa 1000 san neer ofzo..met 14x 36gb 15k disken...(ultra scsi 320 ipv 160) 2gb glasvezel ertussen...met dubbele paden naar je server (voor load balancing en failover) met dubbele controllers in je msa met 128mb cache...

overigens wij hebben het laatste....en dat performed...als een gek...wij hebben dan ook nog een gbit backbone en met ghostimages met systemen preppen...heb ik wel eens 50mbyte per sec throuhput gehaald....en dan had ik nog maar 50% belasting ...lekker hoor

offtopic: en deduruud fulltime aannemen om het geheel dagelijks te beheren

ontopic:
fastnappie: ben je werkzaam bij een bank ofzo ?? zulke speqs kom je "helaas" niet elke dag tegen (wel gaaf trouwens om met zulke apparatuur te werken)
duderuud: is het geen optie om het geheel bij iemand anders onder te brengen die wel dit soort speqs hebben ??

[ Voor 14% gewijzigd door Verwijderd op 15-05-2003 12:16 ]

[Femme]

wat ik wel leuk vind om te lezen...memory HIER Gigabit daar...maarum...heb jij ooit wel eens een een raid 1 disk op gigabit snelheid systeemdata zien ontvangen? nou ik niet...want er is werkelijk geen enkele raid 1 diskenset die 120mbyte per sec kan verwerken!

De nieuwste SCSI-drives zitten op 70MB/s maximale STR of hoger, dus met een slimme RAID controller moet de 120GB/s wel gehaald kunnen worden. Niet dat je er iets aan hebt; de SCSI RAID-array en de gigabit interface zullen beide in de praktijk geen 120GB/s halen.

ipv investeren in gigabit kan je beter meerdere disken kopen...heb je veel meer aan... veel disk spindels is veel I/O en voor databases dus VEEL sneller...daarbij een beetje ram wil ook nog flink helpen.

Wat ik vreemd vind is dat veel mensen meteen de transfer rate van de netwerk interface en van de storage aan elkaar koppelen. Alsof al het netwerkverkeer van de harddisks komt. Een goed geconfigureerde database-server (dwz voldoende geheugen, optimale instellingen van de buffers e.d.) zal in de praktijk zeker 95 procent (maar ik denk eerder >99 procent - hangt ook af van de toepassing) van de select queries uit de disk cache of de buffers van de SQL-server serveren. Daar komt geen harde schijf aan te pas. Stel je voor dat de data voor de pagina's van t.net en GoT vanaf de harddisk moeten komen, dat zou een trage boel worden.

Hoe eerder het resultaat van een query aan de client of de front-end gerouteerneerd kan worden, des te beter is de performance op de client/front-end. De lagere latencies van gigabit ethernet kunnen daarbij helpen (ik normale situaties zal fast ethernet echter ruimschoots voldoende zijn). Fast ethernet heeft een roundtrip latency (ping) van ongeveer 0,1 ms. In een pagina met een parsetijd van 15ms en een aantal SQL queries zal de latency van de netwerk interface een substantieel deel van de parsetijd uitmaken.

* stop er veel geheugen in aangezien het gebruik van de pagefile op ide schijven echt tot veel performance verlies leid

het beste is om beide servers uit te rusten met scsi schijven (15k) aangezien hier een hoog kosten plaatje aan zit kun je er ook voor kiezen om de frontend server te voorzien van scsi schijven en de db server van ide schijven

hou er rekening mee dat ide schijven een hoge cpu belasting hebben en dat de doorvoer snelheid een stuk lager is dan scsi schijven

De hogere CPU-belasting van ATA-schijven is tegenwoordig echt geen probleem meer. Voor de meerprijs van een SCSI-drive kun je een snellere CPU kopen zodat er van een hogere CPU-belasting geen sprake meer is. SCSI-schijven zijn wel aanzienlijk sneller dankzij command queuing en lagere toegangstijden, en bieden een betere betrouwbaarheid dan desktop ATA-schijven. De meeste eenvoudige internetservers zullen de prestaties van SCSI RAID niet nodig hebben. Western Digital biedt tegenwoordig met de Raptor WD360GD aardige prestaties en SCSI-achtige betrouwbaarheid voor een lagere prijs dan SCSI-schijven.

Een server die voortdurend staat te swappen is gewoon slecht geconfigureerd. Of ter zit te weinig geheugen in of de software die erop draait consumeert teveel geheugen. Door aanpassing van bepaalde instellingen kan dat het geheugengebruik vaak omlaag of juist verhoogd worden (als de bak veel RAM heeft). Een grote hoeveelheid geheugen is altijd aan te raden voor database-servers zodat de buffers zo ruim mogelijk geconfigureerd kunnen worden en er een ruime diskcache is. De diskgebruik zal dan omlaag gaan waardoor het belang van supersnelle storage kleiner wordt.

[duderuud]

Ehm...Femme, wat kost jij per uur om mijn servers goed te configgen?

Het wordt me nu wel een beetje moeilijk! Zoals instellen blockgrootte, ik heb het eerder gehoord..maar hoe/wie/wat/waar...geen idee!

Nou ja, het grootste probleem is (uiteraard) het geld...we hebben de centen niet om een dikke scsi-raidserver te bouwen...je bent al snel €3500 kwijt voor zo'n ding, en dat hebben we (ik) niet.

Ik denk dat motor-forum/motorfreaks een heel eind komt met een web- en databaseserver met respectievelijk 512mb en 1gig aan ddr-mem. Snelle ide-schijven erin...komt het dan alleen nog aan op goed configgen!

[Verwijderd]

Ik denk het wel, zo te zien is het forum flink snel nog steeds, gewoon flink veel RAM erin gooien en draaien maar

[Fabian]

Maakt het nou nog uit of je een Intel PRO/1000 server of desktop adapter neemt ?

Naast die 100 euro dan