Dual-core database- en webserver

Ik sta op het punt nieuwe hardware te kopen voor een groot forum. Het forum heeft op dit moment nogal performance problemen en een beperkt budget, het doel is dus om met zo min mogelijk geld een flinke performance boost voor elkaar te krijgen Als alles volgens planning verloopt dan komt er in de toekomst wat meer budget vrij, upgrade mogelijkheden zijn dus niet super spannend.

Eerst wat gegevens over de site:

• Voornamelijk phpBB (3)
• 30.000 users
• 's avonds zo'n 600 concurrent users (en veel meer kan de site niet aan)
• 450 GB verkeer/maand
• 15M pageviews/maand
• 15.000 nieuwe berichten per dag
• 10M berichten in de database
• Database (inclusief indices) 7GB
• Search functie staat helaas (momenteel) uit

Momenteel draait de site op 3 servers. Een database server (Athlon XP 2000+, 1.5GB DDR, 2x80GB Maxtor in RAID1 + 1x40GB Maxtor) en twee webservers (Athlon XP 1800+, 1GB, 2x80GB Maxtor in Raid1 en een Celeron 1.8Ghz, 256MB, diskless (NFS)). Redelijk oud spul dus. Eigenlijk lopen alle server op het moment behoorlijk op hun tenen. Webservers zijn enorm CPU bound, database is diskbound.

Heb flink zitten wikken en wegen en het kopen van nieuwe hardware heeft ook (flink wat) vertraging opgeleverd en o.a. daardoor ben ik nu uitgekomen op Dual-Core Athlon 64s. Vorige keer dat ik bezig was met het samenstellen van een nieuwe DB server waren die nog totaal niet betaalbaar. Anyway. Dit is het idee voor de database server:

• 1 x Athlon 64 X2 3800+ Manchester (2.0Ghz, 2x512kb) Boxed
• 1 x Tyan Tomcat K8E
• 4 x 1GB Corsair PC3200 DDR CL3
• 2 x Maxtor Maxline III, 300GB
• 2 x WD Raptor 36GB
• 1 x Chenbro RM215
• 2 x SATA backplane
• 1 x Zippy 460W 2U voeding

Zie hier een link met bovenstaande config in de Tweakers Pricewatch (let op! Dit gooit alles uit je bestaande mandje.) De Zippy en de backplanes staan niet in de pricewatch, deze zijn bij elkaar 230 euro. Twijfelgevalletje zijn de Raptors, misschien dat ik toch maar voor de 74GB versie moet gaan. Is 120 euro duurder maar deze zijn wel redelijk wat sneller. Ook zijn ze tweer maal zo groot maar dat is op zich niet zo heel boeiend aangezien het nog een flinke tijd gaat duren voor de DB groter is dan 36GB

De oude database server wordt een webserver en krijgt een upgrade, huidige MB en proc gaan er uit en worden vervangen door:

• 1 x Athlon 64 X2 3800+ Manchester (2.0Ghz, 2x512kb) Boxed
• 1x MSI RS480M2 (VGA, 4xDIMM)

Als het goed is past alles gewoon in de diskcache (1.5GB gaat over van de oude DB server) dus disks zijn niet zo boeiend bij deze machine, de disks die nu voor de DB gebruikt worden (2x80 en 1x40) zetten we over naar de webserver. Misschien dat later nog verbeteren als er budget is. Moederbord is enorm el cheapo maar zou een stabiel bord moeten zijn dat de dual-core ondersteund en heeft onboard video (scheelt weer een videokaart ). Misschien moet ik toch eens kijken naar een ander MB dat 2 netwerkkaarten on-board heeft. Op die manier kan ik een cross-cable hangen tussen de database en de webserver wat op gigabit snelheid draait (er zit een 100Mbit switch in het 19" rack). Alles komt in de huidige 2U kast te zitten.

De huidige webservers worden hierna niet meer gebruikt voor deze site (iig als de nieuwe webserver het in z'n eentje trekt). Oh ja, alles gaat op Debian draaien (64-bit).

Wat denken jullie? Ik heb al flink wat zitten zoeken en alles zou braaf samen moeten werken met elkaar. Maar ben ik dingen vergeten? Zijn er betere opties? Ik heb naar dual Opteron zitten kijken (is een mooiere oplossing, vooral meer geheugenbandbreedte) maar dan kom ik in de problemen met het budget, het is wel te doen maar dan kan er maximaal 2GB geheugen in. Ik heb het idee dat het voor de DB slimmer is om er veel geheugen in te duwen dan iets meer processorkracht. Ik ben er nog niet helemaal uit wat ik met de 300GB disks doe in de DB server, deze Maxlines zijn op zich al vrij 'oud' maar het lijkt er op dat ze nog steeds goed meekomen met de nieuwere disks. Op die 300GBs komt het OS te staan (en /tmp achtig spul) en op de Raptors komen de databases + indices. Alles in software RAID 1. Heel misschien RAID0 als dat echt veeel sneller is (en dan een slave DB server op een andere machine voor als een van de raptors dood gaat) maar denk dat het gewoon RAID1 wordt.

Weet er trouwens iemand of hotswap werkt met bovenstaande config? Daar is erg weinig fatsoenlijke info over te vinden. Op zich is het niet heel erg boeiend, site kan best een kwartiertje plat als er een disk vervangen moet worden maar het is natuurlijk wel leuk als het wel werkt

[ Voor 4% gewijzigd door bartvb op 13-10-2005 22:28 ]

74GB in totaal is wat weinig Daarnaast is het erg handig om extra disks te hebben voor temporary tables en logging spul. Performance van je disks zakt erg snel in als ze op twee compleet verschillende plaatsen bezig moeten zijn. I/O lijkt verreweg de grootste bottleneck te zijn in een DB server, daarom dus maar voor snelle disks gekozen. En als ik maar 2 disks gebruik heb ik geen reden voor die mooie RM215 kast (die wel op de groei wordt gekocht trouwens).

Als er 1 raptor dood gaat is er nog niet veel aan de hand aangezien de DB dan plat gaat en de slave DB server het dan overneemt. Maar goed, een heel prettige situatie is het niet Denk dus niet dat de kans groot is dat ik RAID0 ga gebruiken. Gebruik van dat NVRAID is niet de planning, ik ga gewoon de normale software raid van Linux gebruiken (het 'md' spul).

De kast ondersteund hotswap, ik kan alleen nergens vinden of de nForce 4 drivers dat ook snappen. Ik ben bang van niet, lijkt er op dat Nvidia niet helpt bij de ontwikkeling van de (opensource) nForce4 drivers

Ik ben niet zo'n enorme fan van 1U, mogelijke problemen met koeling, vervangen van onderdelen, audioconnectors, gedoe met uitbreidingskaarten, etc, etc. Bijna alle kasten die nu in ons rack hangen zijn 2U. Dat maakt het een heel stuk eenvoudiger om op de colo wat onderdelen op voorraad te houden (bij een onverhoopte server crash). Daarnaast zijn er wel plannen voor extra disks en een raid controller maar daar is op dit moment gewoon nog geen budget voor, overigens gok ik dat een hardware RAID maar weinig toevoegt aan een RAID0, RAID1 of RAID10? Kan me wel voorstellen dat een hardware RAID met redelijk wat battery backed cache wat toevoegt maar dan ben je helemaal debiele bedragen kwijt Hardware RAID is erg leuk maar nog even niet voor mij

Prijs van die kast komt idd bij Melrow vandaan, kon b.v. de SATA backplanes ook nergens anders vinden :\ En Melrow is gewoon een leuke toko en we moeten de sponsors van Tweakers natuurlijk ook sponsoren Barebone heb ik naar gekeken maar die zijn nogal prijzig en vrijwel nooit geschikt voor de S939. Tyan heeft sinds kort een S393 barebone maar die is nog niet leverbaar. Lijkt er iig op dat een barebone iig flink duurder is dan zelfbouw.

Heb jij trouwens ervaring met hot-swap en de RM215?

[ Voor 9% gewijzigd door bartvb op 14-10-2005 13:55 ]

Hmm, ok. Dat wordt dus gewoon proberen. De nieuwe (in NL nog niet leverbare) Tyan barebone op basis van de S2865 (die ik ook wil gebruiken) heeft vier hot swap SATA bays. Lijkt er dus op dat het moederboard hot swap aan kan. Ben benieuwd of het ook echt gaat werken

S939 omdat daar een dual core Athlon in past. Dual core Xeon is onbetaalbaar en dual core P4 presteert vrij slecht. Zie o.a.: http://www.anandtech.com/IT/showdoc.aspx?i=2447 Intel procs in 64 bit is al helemaal een ramp (niet dat ik dat strikt nodig heb maar bij een A64 of Opteron krijg je een leuke performance winst van zo'n 30%).

Ik ga idd maar eens overwegen 2x die Tomcat te kopen. Scheelt een hoop uitzoekwerk, onderdelen swappen is eenvoudiger en die Tomcats ondersteunen ook redirect van de console naar een seriele poort. Moet eens kijken of ik ergens een 2U bracket kan vinden met een serieel poortje die ik op de COM2 header op het MB aan kan sluiten. Als iemand een shop weet die dat soort dingen levert houd ik me aanbevolen

Hier een bijgewerkte 'bestellijst':

• 1 x Athlon 64 X2 3800+ Manchester (2.0Ghz, 2x512kb) Boxed
• 1 x Tyan Tomcat K8E
• 4 x 1GB Kingston PC3200 DDR CL3 ECC
• 2 x Maxtor Maxline III, 300GB
• 2 x WD Raptor 74GB
• 1 x Chenbro RM215
• 2 x SATA backplane
• 1 x Zippy 460W 2U voeding
• 1 x bracket voor 2e seriele poort (console redirect)

Zie hier een link met bovenstaande config in de Tweakers Pricewatch (let op! Dit gooit alles uit je bestaande mandje.)

Raptor 36GB is vervangen door raptor 74. Geheugen is vervangen door 1GB ECC modules. Extra compoort dingetje is toegevoegd.
Nieuwe webserver (upgrade):

• 1 x Athlon 64 X2 3800+ Manchester (2.0Ghz, 2x512kb) Boxed
• 1 x Tyan Tomcat K8E
• 1 x bracket voor 2e seriele poort (console redirect)

Seriele poort en moederbord vervangen door dezelfde Tyan als in de DB server.

[ Voor 11% gewijzigd door bartvb op 14-10-2005 23:59 ]

Dit wordt een mooie monoloog

Anyway. Na wat bestel problemen heb ik nu (bijna) alle onderdelen binnen. Morgen heb ik als het goed is ook het geheugen, zit nu te testen met een reepje van 512MB.

Het is precies de laatst genoemde setup geworden. Dualcore is erg leuk en werkte perfect nadat ik de BIOS van de MBs geupdate had van 1.00 naar 2.01. Linux compile (met een enorme zooi onnodige modules) was klaar in 10 minuten wall clock time, 19 minuten CPU tijd

Installatie van Debian (Sarge, 3.1 dus) verliep probleemloos, iig met de 2.6 kernel. Alles werkte eigenlijk in 1x. Ben alleen een paar uur bezig geweest met het aan de praat krijgen van de Forcedeth driver voor de eerste ethernet interface (nForce ding). Kwam er pas erg laat achter dat ik dat ding met m'n stomme kop uit had gezet in de BIOS De rest van de hardware ging probleemloos, iig het deel dat ik gebruik. Op de site van Tyan staan trouwens de config files voor lm_sensors. Raid aanmaken was ook geen probleem. Heb nu de 300GB disks opgedeeld in een 2GB en een 298GB partitie, eerste is een RAID1 voor swap, 2e is een RAID1 voor / Daarnaast de volledige raptors als RAID1 onder /raptor/ gehangen, daar komen eigenlijk alleen de database files te staan.

Hotswap lijkt trouwens nog niet goed ondersteund te worden door libata, de controller zou het in theorie moeten kunnen. De machine loopt iig flink in de soep (kernel oops) als je er een disk uit trekt en die dan probeert te gebruiken Moet nog even kijken of het beter gaat als je de kernel eerst verteld dat je die disk er uit gaat trekken. Is op zich niet zo heel boeiend voor me. Machine even uitzetten is op zich een stuk veiliger lijkt me.

De kast bevalt eigenlijk wel goed, had er alleen nog geen backplate bij zitten voor low-profile kaartjes en de 8 HD leds op de voorkant doen het niet met SATA disks Schijnbaar heb je een kabel nodig van je SATA controller naar de backplanes en de onboard SATA controller van de Tomcat ondersteund dat niet. Ook zit er een SMBus/I2C bus connector op de electronica van de kast zelf, op m'n moederbord zit ook een I2C aansluiting, in theorie zou ik dus gegevens van de kast uit moeten kunnen lezen. Heb daar alleen nog geen info over kunnen vinden. Heb ook geen kabeltje dat zou passen. Maar de kast zit iig behoorlijk degelijk in elkaar. Ding maakt wel een enorme takke herrie. Heb hem maar naar naar de zolder verbannen. Naast me op het buro was niet uit te houden

Ben de machines nu aan het testen (of ja, 1, ik heb helaas geen voeding over). Heb alleen wat problemen met het testen van de nics. Heb namelijk geen gigabit switches, ben er nog niet helemaal achter hoe ik dat kan testen met een simpele crosslink kabel. Linux snapt te goed dat die twee IPs bij dezelfde machine uitkomen en stuurt verkeer dus niet over de kabel

Als er nog mensen zijn die interesse hebben in benchmarks ofzo of als er mensen zijn met goede tips voor stress tests dan houd ik me zeer aanbevolen...

Hmm. Dat is weird. Ik heb de nieuwe met witte dunne flatcables die je daisy-chained. Er zit een blok van jumpers helemaal links (als je voor de kast staat, niet aan de kant van de voeding zeg maar). Dat blok kan je in 1x omzetten, ik heb geen idee wat het precies doet (behalve 'switch between present activity LED from HDD and present activity from SATA Pin-11') maar wat ik ook doe de ledjes blijven uit. Volgens de info op de site geeft SATA geen info over activiteit door, PATA heeft daar een apart pinnetje voor gok ik. Bij SATA lijkt het er op dat de backplane het SATA protocol zou moeten ontleden om die ledjes te kunnen laten knipperen.

Ik heb natuurlijk wel het LEDje net rechts van de USB poorten dat de HD activity weergeeft van alle disks (1 oranje ledje). Jij hebt geen losse kabel naar je backplane lopen voor die ledjes? Alleen 2 power connectors en 4 SATA kabels?

http://www.chenbro.com.tw/support/FAQ_view.php?fid=36

Overigens zitten er op het controllerboardje van mijn RM215 4 dipswitches terwijl er maar 2 gedocumenteerd zijn.


Hmmmmm. Net nog eens goed gekeken en het lijkt er op dat de flatkabel gewoon niet helemaal goed vast zat. De bovenste connector op de bovenste backplane is niet helemaal super :\ Net even goed aangeduwd en er gebeurt nu iig meer Alle ledjes zijn default aan, ze gaan uit bij activiteit, leds van posities waar geen disk in zit zijn ook uit Het irritante is dat de acitiveit nu wel iets doet maar er klopt helemaal niets van. Weet niet meer precies wat er gebeurt maar de raptors (rechter twee posities in bovenste rij) doen helemaal niets, eerste maxtor (helemaal links boven) zorgt er dacht ik voor dat de leds voor positie 1 en 2 gaan knipperen, tweede maxtor (positie 2) laat led 1 knipperen. Of iets in die geest...
Ik ga dat kabeltje eens doormeten.

Werkt het bij jou wel helemaal goed? Wat gebeurt er met lege trays? En hoe heb je de dipswitches en S1 (dat jumperblock op de backplane zelf) staan?

Hmm, is er iets veranderd in apache2 dan? De webserver is 99% van de tijd bezig met PHP spul en kan dus geen gebruik maken van het nieuwe worker/thread verhaal. Zit dus aan pre-fork vast en (voor zover ik het begrepen heb) werkt apache2 dan vrijwel hetzelfde als apache1? Maar het kan zijn dat ik iets gemist heb natuurlijk Heb je toevallig benchmarks of andere interessante informatie bij de hand?

BTW de ledjes doen het nu Ik had een flatcable aan de verkeerde kant in de connector gekeken (de connector waarvan ik vond dat ie het zo beroerd deed *oops*). Nu werkt het perfect! Trouwens best leuk om te zien hoe dat RAID1 algoritme werkt van Linux. Je ziet op die manier wel meteen dat hij eigenlijk maar 1 disk gebruikt bij sequentiele lees acties (of ja, de disk wisselt om de seconde ofzo).

Thanks Paul! Probleem met het aan zijn van de ledjes voor de niet aangesloten trays is nu ook opgelost. Wel blijven de fans op volle snelheid draaien lijkt het, geen idee of dat normaal is. Ding komt in een colo te hangen dus ik kan me daar niet echt druk om maken.

Machine krijgt 4GB geheugen. Als ie daar doorheen gaat is het einde sowieso zoek Swap zit er meer voor de vorm bij en ook zodat ie niet gebruikt spul weg kan swappen zodat er meer geheugen over blijft voor nuttige dingen als de diskcache.

Ik ga nog eens wat extra PDF-jes zoeken dus

* bartvb is best blij met z'n servertjes Nu hopen dat ze de site ook een beetje bij kunnen houden...