Athlon64 Linux DB server, MB keuze?

[bartvb]

Grrr! Druk net op verkeerde knop, post weg Nieuwe poging...

Ik ben bezig met het samenstellen van een server die de huidge DB server moet gaan vervangen voor een redelijk groot forum (tussen de 400 en 800 users online, 15.000 berichten per dag). De huidge DB server is een Athlon 2000 met 1.5GB geheugen en 2 7200RPM 40GB disks in RAID-1 (don't ask ) en dan nog 2x80GB in RAID-1 voor het OS. Die server doet het op zich nog prima maar wil ik in gaan zetten als extra webserver waarna de nieuwe server de DB server kan vervangen. Iets meer pit is welkom zeker als we fulltext search weer in gaan schakelen (staat nu om diverse redenen uit, niet in de laatste plaats ivm performance).

Systeem dat ik tot nu toe samen heb gesteld:

• Chenbro RM215, 2U kast met 8 hotswappable SATA drivebays
• Athlon64 3500, lijkt leuke tradeoff te zijn tussen performance en prijs. Later misschien vervangen door dualcore tegen de tijd dat die betaalbaar zijn.
• 2GB A-merk geheugen (2x1GB, later misschien uitbreiden naar 4GB)
• 2x36GB Raptor in RAID-0 voor database (backup via Slave server)
• 2x300GB in RAID-1 voor OS+nachtelijke backups+Temp files
• Fatsoenlijke voeding. Nog niet echt naar gekeken

Sinds ik de post van Femme heb gelezen in:
meuktracker: nVidia nForce 7.03

Met de 5.18 IDE drivers uit het nForce 6.53 pakket liepen de RankDisk benchmarks (circa twee uur durende sessie waarin ook redelijke diepe I/O queues voorkomen) consequent vast na het voltooiien van de eerste subtests als NCQ was enabled.

Ben ik niet echt gecharmeert van nForce 4 borden. Ook staat het me niet echt aan dat die nForces binary drivers van nVidia nodig hebben. Beide niet echt onoverkomelijke problemen maar op dit moment wel een flinke achterstand voor nVidia.

Blijft over Via op tig verschillende borden. Nu staat er in de FAQ een [url=http://www.motherboards.org/mobot/link[/url] naar een (erg handige) site waar je mainboards kan selecteren op features. Precies wat ik nodig heb ware het niet dat je daar niet aan kan geven dat je een willekeurige vorm van VGA onboard wilt hebben Niet echt handig dus, als ik dat niet doe kom ik op een dikke 60 moederborden uit. Niet echt fijn om die allemaal door te werken

Belangrijkste eisen zijn:

• Ondersteuning voor dualcore (geen harde eis, wel mooi meegenomen)
• 4GB geheugen mogelijk
• Fatsoenlijke (!) SATA controller on board die NCQ ondersteunt
• RAID functionaliteit is totaal niet boeiend
• VGA on-board
• PCI-X is een pre maar zeker niet noodzakelijk. Kans is groot dat er nooit een dure RAID controller in komt te hangen.
• PCI-e is ook leuk maar nog niet echt beschikbaar voor andere toepassingen dan een brute videokaart (die ik niet nodig heb)
• Minimaal 1 erg fatsoenlijke netwerk controller
• Erg fatsoenlijk merk. Dit board moet betrouwbaar zijn. Overclockbaarheid e.d. zijn totaal niet boeiend.
• Minimaal 4 SATA poorten
• 8 SATA poorten is een pre

Budget voor het totale systeem is iets rond de 1700 euro. Minder is beter, site levert niet bepaald een hoop geld op, moet vooral geld bij op het moment De kast wordt waarschijnlijk ook gebruikt voor een DB server die deze machine moet gaan opvolgen over een tijdje (1 a 2 jaar waarschijnlijk). Dan gaat dit MB naar een nieuwe kast (met minder disks) en wordt het een webserver. In deze kast komt dan een nieuw MB met waarschijnlijk meer geheugen, Opterons en meer (en snellere) disks. Of ja, als er tegen die tijd wel geld is

Anyway. Als iemand een site heeft waar je beter kan selecteren dan op http://www.motherboards.org/mobot/ dan houd ik me van harte aanbevolen. Als er mensen zijn die zo een geschikt MB kunnen roepen dan is dat natuurlijk nog mooier

[ Voor 4% gewijzigd door bartvb op 10-06-2005 01:34 . Reden: Quote van Femme toegevoegd. ]

[snooze]

word een hele lastige combo als je de nforce 4 er buiten wilt houden
ik heb al rondgekeken maar niks gevonden als je de onboard video eraf laat zijn er wel enige opties vooral op basis van de via k8t890 chipset maar ook daar zou ik even mee wachten er komt een nieuwe revisie aan aangezien de huidige niet met dualcore overweg kan.

wat ook zou kunnen is de msi r480 maar ik vind dat die chipset zich nog moet bewijzen eigenlijk en hij heeft geen fatsoenlijke lan onboard

iets anders is de abit AX8 met een goedkoop low profile videokaartje.

[ Voor 26% gewijzigd door snooze op 10-06-2005 06:02 ]

[Thandor]

Volgens mij is het verstandig om voor een Database server een Dual CPU te nemen of een dualcore CPU. Dit omdat er veel requests zijn, ook tegelijk.

Iemand het met mij eens aangezien ik dit niet helemaal zeker weet

[BalusC]

[q]
• Ondersteuning voor dualcore (geen harde eis, wel mooi meegenomen)Dat doen alle K8 borden muv die met de VIA K8T890 chipset, dankzij een nasty bug.[q]• 4GB geheugen mogelijkBij de K8 is dat CPU-afhankelijk. Alle A64 CPU's ondersteunen 4GB geheugen in vorm van viermaal 1GB reepjes. Overigens is het met deze hoeveelheid geheugen in een server verstandig om voor registered te gaan.[q]• Fatsoenlijke (!) SATA controller on board die NCQ ondersteuntJe zoekt dus een SATA II controller. De enige die dat kan leveren is de nForce4 familie. Anders moet je kijken naar borden met een 3rd party SATA II controller.[q]• VGA on-boardEr is maar 1 desktop K8 chipset die integrated VGA heeft: Radeon Xpress 200. De overige K8 chipsets met integrated VGA zijn bestemd voor de mobiles: SiS 760GX, SiS 761GX, VIA K8M800, VIA K8N800, VIA K8N800A.[q]• PCI-X is een pre maar zeker niet noodzakelijk. Kans is groot dat er nooit een dure RAID controller in komt te hangen.Zoek een Opteronbord.[q]• PCI-e is ook leuk maar nog niet echt beschikbaar voor andere toepassingen dan een brute videokaart (die ik niet nodig heb)Radeon Xpress 200 is de enige met integrated GPU én PCIe.[q]• Minimaal 1 erg fatsoenlijke netwerk controllerHangt af van het bord, integrated broadcom zut is fatsoenlijk :)[q]• Erg fatsoenlijk merk. Dit board moet betrouwbaar zijn. Overclockbaarheid e.d. zijn totaal niet boeiend.Hier ga ik niet over. Alle borden zijn prima, exemplarische problemen zijn niet te overzien.[q]• Minimaal 4 SATA poorten
• 8 SATA poorten is een preHoeveel SATA poorten wil je nou?
Bij 8 SATA poorten moet je op zoek naar borden met 2 SATA controllers. Deze kunnen overigens niet samenwerken, mocht je aan 8 disken in RAID5 denken ofzo

Wel, ik raad je gezien jouw strenge eisen persoonlijk aan om te kijken naar een Dual Opteron bord en te beginnen met 1 (dual core?) CPU. Veel van deze borden hebben ook 3rd party integrated VGA (vaak ATi Rage XL) en ze voldoen verder aan de rest van je eisen Kijk bij Asus, MSI, Tyan en Iwill.

[ Voor 6% gewijzigd door BalusC op 10-06-2005 09:35 ]

[smvs]

Dit is volgens mij HET Athlon 64 instap server / workstation bordje: http://www.tyan.com/products/html/tomcatk8e.html

Alleen heeft dus wel een Nforce 4.

[bartvb]

(Dual)-Opteron zou zeker beter zijn en ook redelijk wat performance verbetering geven met 800 mensen online maar het blijft redelijk overkill. De Athlon 2000 trekt het behoorlijk goed, die machine wordt op het moment voor een deel nog tegen gehouden door de relatief brakke disks die er aan hangen.

Integrated video hoeft niet perse in de chipset te zitten, mag ook gewoon op het moederbord zelf. De genoemde Tomcat heeft een Ati Rage XL (IIRC) op het MB zitten met een nForce4 chipset.

Het lijkt er op dat ik voor fatsoenlijke SATA ondersteuning of een nForce4 board moet kopen (en dan wachten met NCQ tot de drivers/firmware gestabiliseerd is) of een board met een andere Chipset met een externe SATA controller. Laatste loopt natuurlijk meer in de papieren en op het moment zijn er alleen PCI risers beschikbaar voor RM215, voor PCIe zijn die er niet en er zijn maar weinig boards die meer dan 1x PCIe slots hebben behalve het 16x slot voor een videokaart. Hoewel daar in theorie ook gewoon een SATA controller in zou kunnen? PCI is niet echt handig aangezien dat gewoon te langzaam is om sequentiele transfers op volle snelheid af te handelen (wat nogal eens zal moeten gebeuren voor de fulltext search).

BalusC: Eigenlijk wil ik 8 SATA poorten voor de 8 drivebays in de kast 8 poorten is dus een duidelijke plus

Heb trouwens even zitten kijken en het gros van de nForce4 Ultra moederborden heeft PCIe (of ja, dat hebben ze volgensmij allemaal) en geen onboard video (vrij logisch ook). Dat is op zich soort van lastig dus met de 2U case. Er zijn volgensmij (nog?) geen low-profile SATA controllers e.d. en ook (nog?) geen PCIe risers. Dat betekent dus dat ik of alles onboard moet hebben (b.v. die Tomcat idd, ben die al eerder tegen gekomen) of bijna alles online en dan ergens een low profile PCIe VGA kaart regelen. Als die uberhaupt bestaan.

Andere optie is idd een Opteron board nemen en dan voorlopig 1 Opteron. Probleem is dat dat nogal in de papieren gaat lopen. Dit wordt een tijdelijke database server, over een jaar of 2 wordt ie vervangen door iets met meer power (dual-dualcore-Opteron ofzo?). Nu al investeren in het 940 platform is wat dat betreft dus soort van zonde van het werk. Hoewel een webserver natuurlijk ook flink kan profiteren van dual opteron.

Athlon64 systeem:
Moederbord: 140 euro
Athlon 64 3500 (2.2Ghz): 250 euro
2x1GB PC3200: 250 euro

Totaal: 640 euro

Opteron:
Moederboard: 500 euro
Opteron 242 (1.8Ghz): 220 euro
2x1GB Registered 400Mhz: 400 euro

Totaal: 1120 euro

Verschil van 480 euro. Dat is IMO nogal wat. Zeker als je er dan (met 1 Opteron) waarschijnlijk nog iets in achteruit gaat wat prestaties betreft. De Opteron boards zijn zeker een stuk beter maar dan betaal je ook meteen een factor 3 meer... Opteron is erg leuk maar op dit moment financieel gezien niet zo heel verstandig ben ik bang.

[Paul]

Denk er wel aan dat je alleen al aan de kast + voeding + railkit + 2x SATA backplane al bijna 600 euro (inclusief btw en transport) kwijt bent?

Er zijn wel degelijk PCI-e risers, alleen wat lastig te vinden. Ik heb er laatst een paar uit Amerika laten komen voor 70 dollar ex shipping en ex douane (1 pci-e 16x slot aan 3" flatcable).

Speciale reden dat het A64 of Opteron moet zijn? Voor 266 heb je een Asus NCCH-DR (2x pci-x 66mhz, onboard vga en dual gigabit), kan unbuffered geheugen in (250 euro), een 2.8 1MB Xeon erin (217) en je bent 100 euro duurder uit dan je A64 opstelling maar met PCI-X en omgelijkheid tot dual processor.

Wel heeft hij maar 2 SATA-poorten, maar aangezien je toch voor RAID gaat (en niet eens RAID5 momenteel) kun je er een LSI MegaRAID 150-4 (goede ondersteuning onder Linux dmv megaraid-driver) inzetten a 230 euro (Edit: en een riser van ongeveer 50 euro). De Raptor ondersteunt toch geen NCQ en voor je OS of backup is het totaal niet nodig.

[ Voor 3% gewijzigd door Paul op 10-06-2005 11:41 ]

[TheGhostInc]

Kijk eens naar:
SuperServer 6024H-T

Het is geen AMD systeem, dus het sluit niet aan bij je wensen, maar wat ik vooral mee wil zeggen, je hebt daar een bruut systeem, volgens mij zijn echt veel wensen van je ingewilligd, en ik zag hem online voor iets van $900 staan.
Daarvoor krijg je een super kast (bij ook jou goed voor 350 euro), moederbord (ben je ook al gauw 150 euro aan kwijt, hoewel zo'n moederbord wel duurder is), voeding (ook gauw 100 euro)
En je krijgt veel support.

Dus ik zou als ik jou was naar een 2U barebone gaan kijken. Want je moet nu maar gaan kijken of je een riserkaart kan vinden die past, of je een moederbord vind dat wel echt voldoet. En eerlijk gezegd denk ik dat je nooit echt tevreden wordt van zo'n custom gebouwde kast.

Dus wie kan een paar mooie AMD barebones vinden (ik ben daar niet zo in thuis)
Dan denk ik dat de topicstarter misschien 200-300 euro meer moet neertellen voor een systeem dat veel meer waard is.
Goede server systemen ontwaarden namelijk veel minder hard, zo'n desktopbordje ontwaard veel harder, dus je moet het dan zien als investering.

[bartvb]

Ik heb even m'n initiele Athlon 64 systeem in elkaar gezet in de Pricewatch. Hier een link naar het winkelmandje (let op! Overschrijft je winkelmand!). Totaalprijs 1780

Dan het systeem met Opteron ipv Athlon64:

Hier weer de winkelmand link. Kon geen 3200 Registered geheugen vinden. Geheugen komt heel wat goedkoper uit de pricewatch dan ik in m'n eerdere post had gevonden. Weird. Nu iets van 120 euro per GB (Kingston, 2700). Totaalprijs is iig 1900 euro.

Dan de SuperMicro:
link. Die komt op zo'n 2050 euro, da's nog meer dan m'n Opteron setup.

Voorstel van Paul:
link. Dat komt op zo'n 2020 euro, inclusief de SATA controller.

Met deze prijzen lijkt Opteron weer erg interessant. Xeon ben ik niet zo weg van omdat die in de benchmarks die ik tot nu toe heb gezien flink minder presteren. Iig als het om webserver en database performance gaat. Server barebones ben ik ook niet erg enthousiast over. Groot voordeel is dat je zeker weet dat het allemaal goed gaat met voedingen, afmetingen en koeling maar je levert er wel flink wat flexibiliteit voor in. Het moederbord vervangen bij een upgrade of bij een defect is een stuk minder makkelijk. Zelfde bij b.v. een defecte voeding. Die ChenBro 215 kan ik nog een jaar of tig blijven gebruiken, dan met een nieuw moederbord. Server barebone is afgeschreven als het moederbord is afgeschreven.

Iig enorm bedankt voor de tips tot zover. Toch maar eens wat verder in die Nvidia chipsets duiken. Kijken of dat nou wel of niet fatsoenlijk draait. Ook eens kijken naar de Linux support voor die Tyan Opteron boards.

[ Voor 36% gewijzigd door bartvb op 10-06-2005 12:49 ]

[Paul]

Nog even over die RM215 uit de pricewatch:
- Die voeding past niet, daar moet een langere smallere voeding in.
- Bij dat chassis zit hoogstwaarschijnlijk nog geen railkit, en geen backplanes (dus geen hotswap en frotten om in de beperkte ruimte die je er hebt power en sata in de schijven te krijgen)

Je zit met die (verkeerde) voeding en chassis al op 500 euro. Voor datzelfde geld heb je hem bij Melrow.nl met de goede voeding (460w single, is meer dan genoeg, zoveel Watt is die van d3e 414 ook en daar kunnen 2x zoveel schijven in) en een railkit om hem in je rack te hangen. SATA backplanes zijn er 45 euro ex btw per stuk (4 breed, je hebt er 2 nodig voor de 215, als je maar 4 schijven hebt kun je er ook slechts 1 nemen en de 2e later bestellen zodra je er een 5e schijf in doet).

Je moet, als je een losse raidcontroller neemt, ook een riser kopen (of een low profile controller en een speciale backplate voor die kast a 15 euro ex btw).

Aangezien je het echter nergens over een raidcontroller hebt maar de onboard sloten wilt gebruiken neem ik aan dat je software raid gaat gebruiken voor een databaseserver met 400 of 800 concurrent users en 15k berichten per dag? (Wat is dat trouwens voor lomp forum dan, als iedere (concurrent, je hebt geen uniek aantal per dag genoemd) user 20 berichten per dag post?)

Op de problemen met de kast na (maar dat geldt voor alle setups) zie ik geen problemen verder Ik zou, gezien het geringe prijsverschil en je er betere componenten voor een server voor terugkrijgt (nog afgezien van het kunnen verdubbelen van je processorcapaciteit voor een schamele 220 euro) voor de Opteron gaan.

Oh ja, nog een probleempje (maar wederom een dat met ieder van je geposte winkelmandjes speelt): stock koelers zijn niet geschikt voor 2u behuizingen Het beste zijn blokken met een 60mm fan aan de zijkant ipv een fan bovenop

[snooze]

kijk hier eens (pricewatch link)
wat vind je hiervan is 1u met helaas maar 4 sata bays maar het is wel goedkoper aan hosting mocht je daar per u moeten betalen + het is een barebone dus installatie is een eitje.

edit: hoe maak je een alternatieve text voor een link?

[ Voor 23% gewijzigd door snooze op 10-06-2005 16:56 ]

[ShadowBumble]

snooze schreef op vrijdag 10 juni 2005 @ 16:55:
hoe maak je een alternatieve text voor een link?

code:

[url=http://localhost]Linkje[/url]

nou ja zo dus in ieder gevalk : iets met spuit 11 ofzo

[ Voor 15% gewijzigd door ShadowBumble op 10-06-2005 17:04 ]

[bartvb]

snooze: leuke config alleen ben ik (om bovengenoemde redenen) niet zo kapot van barebones. 1U is ook wat aan de krappe kant voor een een dual Opteron. Zeker als ik er nog wat disks bij wil plakken in de toekomst.

Paul: Enorm bedankt voor de tips! Koeling was ik idd helemaal vergeten. Voeding heb ik maar even wat willekeurigs gepakt aangezien ik in de Tweakers pricewatch geen geschikte voeding kon vinden. Railkit is niet echt nodig, zeker niet met hotswap. Ik schroef hem direct in het rack. Rack zit ook zo vol dat de kast er vrij gemakkelijk uit te schuiven is

Melrow.nl is een erg goede tip! Kast + 2 backplanes is daar idd flink goedkoper dan bij de winkels in de Pricewatch. Ik heb daar ook even de prijs opgevraagd van een compleet systeem maar dat is fors duurder dan zelfbouw. Dat zit er op het moment helaas nog niet in.

Losse raid controller komt er misschien nog wel maar niet nu. Eerst eens kijken hoe het geheel draait op de ingebouwde RAID controller met Linux Software RAID. Losse controller moet er wel komen als er meer dan 4 SATA disks in de kast gaan.

De site is www.bokt.nl, 400 concurrent users gemiddeld. 15.000 nieuwe berichten per dag. Op zich wel druk maar niet extreem druk. Zoals ik al zei; de huidige server met 2x 40GB PATA doet het ook nog (redelijk) OK.

Ik las dat het bij dual proc systemen (iig bij Opterons) problemen kan geven als je Opterons met een andere stepping er in duwt. Zit er dus aan te denken maar meteen 2x244 te doen om die problemen te voorkomen. Over een jaar of 2 gooi ik die er uit en vervang ik ze door lowend dual-cores. Toch weer een leuke upgrade denk ik. Prijs van het hele systeem zit wel flink wat boven het budget inmiddels maar wel een beter/sneller/upgradebaarder systeem.

Nu nog zoeken naar een fatsoenlijke moederbord en dan kan ik gaan bestellen. Denk dat ik Tyan K8S Pro uitkom. Tyan K8SE is erg leuk maar nog nergens leverbaar in NL en waarschijnlijk ook een (flink) stuk duurder. Nadeel van die K8S is wel dat die geen NCQ/SATA-II doet maar heel veel (betaalbare) alternatieven zijn er niet lijkt het. Iwill heeft een board dat wel die nForce 2200 gebruikt maar die is meteen boven de 600 euro. Beetje overdreven. Dan kan ik dat geld beter nu besparen en later een leuke 8 poorts SATA RAID controller kopen denk ik.

edit: Hmm. Ik kwam net deze benchmark tegen toen ik op zoek was naar wat benchmarks voor een fatsoenlijke 300GB disk:
http://techreport.com/rev...diamondmax10/index.x?pg=6
CPU usage bij de 74GB Raptor is echt debiel hoog. Misschien niet eens zo heel vervelend dat die Tyan K8S Pro geen NCQ doet? 20% CPU usage. Brr...

Er zijn trouwens erg weinig webshops met 2U voedingen. www.sww.nl heeft er nu 1 op de site (na eem mail van mij een tijdje geleden) en op www.betterservers.nl staan er een aantal. Verder weinig tot niets te vinden

[ Voor 11% gewijzigd door bartvb op 16-06-2005 15:18 . Reden: Raptor NCQ bench en 2U voedingen spul toegevoegd ]

[Paul]

bartvb schreef op donderdag 16 juni 2005 @ 12:55:
Ik schroef hem direct in het rack. Rack zit ook zo vol dat de kast er vrij gemakkelijk uit te schuiven is

Het is een vrij zwaar chassis, met dan wel de schijven voorin, maar de voeding en (vaak) de koelblokken van de processoren zitten in de niet ondersteunde achterkant. Persoonlijk zou ik _altijd_ railkits gebruiken. Een zoektocht op sliders of railkits in NT, PNS of de harde waren-sectie levert er wel wat discussies over op

Er zijn trouwens erg weinig webshops met 2U voedingen. www.sww.nl heeft er nu 1 op de site (na eem mail van mij een tijdje geleden) en op www.betterservers.nl staan er een aantal. Verder weinig tot niets te vinden

De 460w is bij Melrow 110 euro ex btw geloof ik. Een heel stuk minder als die 280 die ik bij SWW zo snel even zag staan bij een 350w

[bartvb]

Ik ga eens een nieuwe offerte laten maken bij Melrow. Heb echt geen idee hoe ze zo goedkoop aan die kasten komen trouwens. Andere bedrijven vragen dik 20% meer

Voor de mensen die meer willen weten over de rails:
19" server, slide rails noodzakelijk?

Toch maar een setje doen dus. Als we dan toch al flink geld aan het uitgeven zijn...

Nu nog ff kijken of er nog leuke moederbord alternatieven zijn voor die K8S Pro en welke 300GB disk het beste presteert en dan kan ik gaan bestellen. Ben erg benieuwd wat deze upgrade met de performance gaat doen