Opstelling voor Gbit doorvoer.

[Snow_King]

Beste Medetweakers,

Ik ben bezig met het in elkaar zetten van een server welke een gbit doorvoer moet gaan halen.

Nu heb ik het volgende in gedachte:
- P4 3.0Ghz HT
- Abit AA8-DuraMAX óf Intel Serverboard (beide Gbit lan en S-ATA raid)
- 2GB Dual Channel geheugen

Nu kom ik de volgende schijven tegen welke mij interessant lijken:
- Maxline Plus 3
- Seagate Barracude
- WD Caviar

na het zoeken op de FP naar de MaxLine schijven kwam ik de volgende review tegen: http://www.storagereview....06/200406207B300S0_2.html

Daar zie ik de MaxLine Plus 2 erg goed scoren tegenover de rest kwa doorvoer.

Het zal hier dus gaan over een fileserver welke zonder problemen de Gbit doorvoer moet gaan halen en dat niet voor een piekje, maar dan gewoon bijvoorbeeld een uur lang.

Aan het RAID level dacht ik aan RAID 0+1, stukje data safety en erg snel, daar gaat het mij om.

De search hier op het forum leverde me weinig op, echte opstellingen van mensen zie je niet, vooral problemen dat hun netwerk slecht presteerd.

Nu vraag ik me af of er hier mensen zijn met ervaringen rondom servers met een Gbit doorvoer en hier hun mening over kunnen uitspreken.

Ik wil rond de 300 a 400GB opslag hebben, mijn budget is 1500 a 2000 euro.

Alvast bedankt!

[ Voor 6% gewijzigd door Snow_King op 21-08-2004 14:19 ]

[Tom_G]

Zorg alleszins dat je gbit nic vast zit op de pci express bus (nieuwe intel cpu's) of via CSA (oude socket 478 pins).

Want anders wordt je gewone pci bus de bottleneck. Wat dit betreft is er wel wat te vinden op GOT.
Ik volg het gigabit gebeuren zelf een beetje, dus lijkt mij een interessante topic.

Om maximale doorvoer te hebben zal meer nodig zijn dan 7200 rpm schijven. Met 2 of meer Raptor schijven in raid 0 begint je gbit lan al de bottleneck te worden.

Dan mag je niet vergeten dat je client(s) dit ook nog moeten kunnen trekken.

Ik heb zelf al gigabit overwogen, maar vanwege de kostprijs (switches bvb) en hoge syteemvereisten (snelle hd's) heb ik het maar bij 100 mbit gelaten.

[Snow_King]

Even voor de duidelijkheid, dit wordt geen thuis servertje.

Deze komt achter een HP2812 switch in RedBus, het gaat hier om een echte downloadserver, waar dus meerdere clients tegelijk aan het leechen zijn.

Ik denk dat het Intel board me dan het beste lijkt ( http://www.intel.com/desi...875wp1e_srvr&#productspec ) de raid versie dan wel. Zijn dus twee versies van, eentje met raid en een zonder.

Communication Streaming Architecture port providing a dedicated link to the Intel PRO/1000 XT Server Network Connection Rapid network for rapid network communication

Dat zit dus wel goed Nu dus nog goede schijven er bij.

[ Voor 22% gewijzigd door Snow_King op 21-08-2004 13:31 ]

[Tom_G]

Als er zo'n zware eisen gesteld worden aan de download snelheid, zou ik niet voor minder dan Raptor schijven gaan.

Je kan er bvb 4 in raid 5 zitten (voor de veiligheid) al geraak je nog niet aan 300 of 400 gb.

Doe je het met gewone sata 7200 rpm schijven (Maxline 2 of nog beter 3 is wellicht aan te raden vanwege hoge MTBF), dan geraak je erg makkelijk aan die hoeveelheid. Ik zeg maar iets, een raid 5 array met 3 schijven van 250 gb levert je onmiddelijk al 500 gb bruikbare ruimte op.

[Snow_King]

Ik heb dus nu al 2 Raptor schijven in een SQL server en die vind ik dus niet bepaald snel, zoektijd is wel OK, maar de doorvoer valt me enigzins tegen.

Ik bedoelde overigens wel de Maxline Plus 3 schijven, leesfout van mezelf.

Dat Intel board heeft dus geen RAID 5, neem ik een losse PCI raidcontroller zit je weer met de bottleneck van de PCI bus om die Gbit te redden..

[ Voor 46% gewijzigd door Snow_King op 21-08-2004 14:43 ]

[yogy]

Snow_King schreef op 21 augustus 2004 @ 14:11:
Ik heb dus nu al 2 Raptor schijven in een SQL server en die vind ik dus niet bepaald snel, zoektijd is wel OK, maar de doorvoer valt me enigzins tegen.

Ik bedoelde overigens wel de Maxline Plus 3 schijven, leesfout van mezelf.

Dat Intel board heeft dus geen RAID 5, neem ik een losse PCI raidcontroller zit je weer met de bottleneck van de PCI bus om die Gbit te redden..

In dat geval zou ik software RAID5 gaan draaien, je processor is daar krachtig genoeg voor.
En heb bespaart je de kosten van een hardware RAID5 controller want er zijn maar heel weinig onboard controllers die RAID5 aan kunnen.

Het nadeel is wel dat je waarschijnlijk dan een aparte boot schijf moet hebben omdat Windows niet van een RAID5 array kan booten (Linux weet ik niet).

[Snow_King]

Ik ga Linux draaien. Linux kan niet booten vanaf raid, maarja wat kost een 40GB schijfje nou?

Software RAID5 zeg je dus?

[Xandrios]

Een beetje offtopic, maar let op welke netwerkkaartjes je gebruikt.

Met een setje Sweex Gbit adapters (€25/stuk) heb ik nog nooit hogere snelheden dan 20MB/sec gezien; Intel kaartjes (€50/stuk) komen tot ongeveer 50MB/sec.

Als je ECHT de 1000mbit wilt halen moet je glas gebruiken, fiber dus. Via eBay zijn daar geregeld kaartjes voor te koop in de prijsklasse $25-$50. Let dan wel op dat je van hetzelfde merk en type koopt, het is niet allemaal zo compatible als je bij koper bent gewend.

Enige nadeel is dat switchen erg lastig en duur is; je zult dan dus peer to peer moeten gaan werken.

[Snow_King]

Als je mijn posts had gelezen Ik neem een Intel Server board met Onboard Gbit.
De server komt 1 meter van de switch (HP2812) af te hangen in het rack.

De switch zit boven in het rack en de server komt in ongeveer het midden.

De UTP hoeft dus maar een kort stukje.

[ Voor 17% gewijzigd door Snow_King op 21-08-2004 15:38 ]

[Xandrios]

Dan kun je met een normale IDE schijf dus ook wel uit, die Intel dingen gaan waarschijnlijk niet de 100-125MB/sec volgooien hoor

[edit]
Afstand doet nouwlijks terzake hierin overigens

[ Voor 37% gewijzigd door Xandrios op 21-08-2004 15:39 ]

[Verwijderd]

een 8 ports gigabit switch is niet duur, en waars. zullen de clients toch nooit 1 gigabit aankunnen. Zelf heb ik een dual p3 1ghz systeem met 2 gigram en 1tb opslag (raid 5 met 6x wd 200gb hdd's) en haal 60 mb/s met sweexkaartjes.

Dus qwa merk nic is er niet zoveel verschil, alleen je cpu gebruik is hoger.


Hieronder een link naar mijn config:
Promise SX6000 met 6x 200GB: hoelang duurt rebuilden?

Server is een data-server met 1 nic @ 100 en de andere @ 1000mbps.

[ Voor 23% gewijzigd door Verwijderd op 21-08-2004 15:48 ]

[Snow_King]

Xandrios schreef op 21 augustus 2004 @ 15:38:
Dan kun je met een normale IDE schijf dus ook wel uit, die Intel dingen gaan waarschijnlijk niet de 100MB/sec volgooien hoor

Waarom zou die Intel dat niet redden?

@ Plex_Force, het wordt een download server, kunnen dus met gemakt 100 clients aan het leechen zijn oid al niet meer.

[ Voor 19% gewijzigd door Snow_King op 21-08-2004 15:43 ]

[Verwijderd]

Leesvoer: http://www.veritest.com/c...el_s875wp1-e_netbench.pdf

[MoBi]

Houd er rekening mee dat raid 5 traiger is als raid 0+1 en kies dus liever voor raid 0+1 als voor raid 5. Software raid zou ik zo ie zo niet doen op een server die op afstand staat.

[Snow_King]

Valt dus best tegen die maximaal +/- 700Mbit. Dan moet raid 0+1 zeker wel voldoen. Fiber kaartje is dus weer geen optie want die moet over de PCI bus.

[yogy]

MoBi schreef op 21 augustus 2004 @ 15:47:
Houd er rekening mee dat raid 5 traiger is als raid 0+1 en kies dus liever voor raid 0+1 als voor raid 5.

Maar RAID 5 is wel goedkoper dan RAID 1 en 0+1, hierbij gebruik je maar 50% van de ruimte die je gekocht hebt. Tevens kun je RAID 5 makkelijker uitbreiden want je hoeft geen even aantal schijven te hebben.

MoBi schreef op 21 augustus 2004 @ 15:47:
Software raid zou ik zo ie zo niet doen op een server die op afstand staat.

Waarom niet?

[Snow_King]

Btw, volgens de BalusC FAQ (http://balusc.xs4all.nl) is RAID 5 sneller in lezen dan RAID 0+1 ?

[burne]

Snow_King schreef op 21 augustus 2004 @ 13:06:
Nu kom ik de volgende schijven tegen welke mij interessant lijken:
- Maxline Plus 3
- Seagate Barracude
- WD Caviar

Reken even mee. 1Gbit, zeg 200 downloaders die elk 0.5Mbit krijgen. Je zet voldoende RAM opzij voor een seconde downloaden. Je moet dan dus niet alleen 125Mbyte/s van je schijven lezen, je moet ook nog eens iedere seconde 200 lokaties op je schijven langs om de volgende seconde downloaden op te halen. Een seek op een Barracuda kost je gemiddeld 9ms. Maal 200 downloaders. Is 1.8 seconden. Je bent dus iedere seconde bijna twee seconden aan het seeken om de data bij elkaar te krijgen.

Dat gaat niet werken.

Met twee Barracuda's en perfecte RAID-logica ben je 0.9 seconden aan het seeken, en heb je nog 0.1 seconde over voor de data-transfer. In die tijd moet je 125Mbyte lezen. Da's 1250Mbyte/s. Twee Barracuda's samen doen veel minder dan een tiende daarvan.

Ook dat gaat niet werken.

Begint het te schemeren? Je enige optie is een goeie RAID-array met *VEEL* schijven erin. Welke schijven maakt minder uit dan je denkt. 12 maal 40G uit de aanbieding van LIDL zal niet eens erg veel slechter presteren dan 12 Raptors van 36Gbyte. Het verschil in prestaties tussen een WD040 en een Raptor telt maar voor 1/12 mee in de prestaties van je RAID.

Dit is overigens slechts 1 van de problemen die je tegen gaat komen. Als je die Gigabit echt wilt halen zou ik eerder op 10KEURO mikken. 3500 euro voor een array, 1500 euro aan schijven, 5-6K voor moederbord, CPU's en een hele dikke NIC. (SysKonnect ofzo..)

Oh. En 500Kbit per downloader is erg optimistisch. Huiswerk: zelfde rekensommetje, maar dan voor 2000 downloaders die elk 50Kbit/s van je willen hebben. Inbellers dus. Opeens is je seektijd een onoverkomelijk probleem.

[ Voor 13% gewijzigd door burne op 21-08-2004 16:07 ]

[Snow_King]

Ja, je maakt een punt duidelijk.

Eens even denken...

[burne]

Snow_King schreef op 21 augustus 2004 @ 16:07:
Ja, je maakt een punt duidelijk.

Bijltje, hakken, eerder. (dit zijn er 50)

Ik zit even op de achterkant van een envelop te pielen.

(( clients / aantal drives ) * average seektime ) + ( tijd voor 1 drive om 125Mbyte te lezen / aantal drives) moet gelijk zijn aan 1 seconde (of lager natuurlijk.. )

[ Voor 53% gewijzigd door burne op 21-08-2004 16:32 ]

[Snow_King]

Burne schreef op 21 augustus 2004 @ 16:08:
[...]


Bijltje, hakken, eerder. (dit zijn er 50)

Hmm, ja.

Het gaat vooral om 1 file welke vaak populair is en welke gedownload zal worden, dus niet 80.000 verschillende files welke constant gerequest zullen worden.

Zover ik weet cached Linux deze files in zijn geheugen, dus das een mooi extra punt.

[TheGhostInc]

Misschien een ander idee om alvast feeling te krijgen:

Test het gehele idee eens op 100Mbit, met 1/10de van de clients op een standaard machine, en probeer het daarna eerlijk op te schalen.
Haalt jouw machine in die situatie de 100Mbit onder linux, met 256MB geheugen, processor +/- 300Mhz, standaard 40GB ide schijfje?

Je krijgt natuurlijk wel wat bottlenecks bij opschalen, maar het is een leuke test om te kijken waar je uitkomt. Als je daarna hier terugkomt worden er niet 1001 mogelijkheden gegeven.

* TheGhostInc kan best met een leuk budget een leuke server in elkaar zetten, maar als het geld een probleem wordt, wanneer is je server nog "leuk".

Zelf weleens met server achtige dingen zitten speulen, soms bereik je ineens een breekpunt, en sommige dingen gaan ontzettend snel. De schijfgrote beperken tot het geheugen kan leuke effecten geven.....

[ Voor 18% gewijzigd door TheGhostInc op 21-08-2004 16:30 . Reden: toevoeging ]

[sPENKMAN]

Waarom niet een mobo met 64 bits PCI bus? Daar heb je geen last van een te langzame bus en er zijn ook Gbit kaarten voor te koop. klik

[Lennieboy83]

Snow_King schreef op 21 augustus 2004 @ 14:11:
Ik heb dus nu al 2 Raptor schijven in een SQL server en die vind ik dus niet bepaald snel, zoektijd is wel OK, maar de doorvoer valt me enigzins tegen.

Ik bedoelde overigens wel de Maxline Plus 3 schijven, leesfout van mezelf.

Dat Intel board heeft dus geen RAID 5, neem ik een losse PCI raidcontroller zit je weer met de bottleneck van de PCI bus om die Gbit te redden..

Als je dan nu ineens naar 7200rpm IDE schijven toegaat zal je dat helemaal teleurstellen
Ik weet trouwens niet welke raptors dat zijn de oudere (36GB) zijn stukken trager dan de nieuwe 72 GB Raptors, die zijn eigenlijk net zo snel als de nieuwste 15Krpm schijven (zelfs ik schrok me een hoedje).

Verder: als je echt een professionele server wilt samenstellen kom je bij de WD Raptors terecht (of SCSI) en een Dual Server moederbord met minstens 64 bits PCI sloten en een goed s-ata RAID kaartje met cache en een dikke Intel/3com gigabit server nic

[TheGhostInc]

sPENKMAN schreef op 21 augustus 2004 @ 16:30:
Waarom niet een mobo met 64 bits PCI bus? Daar heb je geen last van een te langzame bus en er zijn ook Gbit kaarten voor te koop. klik

Er zit al PCI Express op, genoeg bandbreedte zou ik zeggen, daar ligt ook echt niet het probleem imho.

[TheGhostInc]

Lennieboy83 schreef op 21 augustus 2004 @ 16:32:
[...]


Als je dan nu ineens naar 7200rpm IDE schijven toegaat zal je dat helemaal teleurstellen
Ik weet trouwens niet welke raptors dat zijn de oudere (36GB) zijn stukken trager dan de nieuwe 72 GB Raptors, die zijn eigenlijk net zo snel als de nieuwste 15Krpm schijven (zelfs ik schrok me een hoedje).

[...]

Waarom heeft iedereen het hier meteen over RAID vraag ik me eigenlijk af...
Wat maakt in deze situatie een stel losse schijven niet geschikt?

<Bedankt Burne>

[burne]

Okee. Uitgaande van een barracuda die 27Mbyte/s random read doet, en 9ms seektijd heeft, zou je met 8 schijven het net halen. Met de 12 schijven die ik riep zijn je schijven 60 procent van de tijd bezig. Met 23 schijven zak je onder de 30% duty-cycle die fabrikanten tegenwoordig opgeven voor IDE desktop-schijven.

Als je nu schijven neemt met 5 ms seektijd, wordt het voor die drie punten 7 stuks, 11 stuks en 20 stuks.

Als je schijven neemt met 9ms seektijd, en 50Mbyte/s random read, wordt het 5 stuks, 9 stuks en 16 stuks.

Je wint dus meer met doorvoer dan met seektijd.

TheGhostInc: JBOD of RAID maakt eigenlijk niet uit, want het was een hoofdrekensommetje met een perfecte RAID, die geen tijd voor eigen berekeningen nodig heeft. Ik riep RAID omdat je op de meeste moderne arrays net zo makkelijk een JBOD aanmaakt, en niemand zo'n ding een JBOD-array noemt. De overhead van bijvoorbeeld RAID5 komt hier nog eens bovenop.

[ Voor 28% gewijzigd door burne op 21-08-2004 16:42 ]

[heuveltje]

sinds wanneer doet een barracuda of any other schijf 27mb in random
ik heb heel wat fileservertjes gezien (en heb er zelf ook 1) op lanparty's.
maar practisch alle ide schijven doen 8 tot 16 mb random........

en das dan met 3 of 4 gebruikers op 1 schijf, met 100 word dat veel erger !


TheGostinc : met jbod of echt losse schijven klopt je rekensom niet meer, tenzij iedereen van te voren gaat afspreken vanaf welke schijf ze gaan downen

En ik ken nog geen nics of raidarrays met pci-express
(wil natuurlijk niet zeggen dat ze er niet zijn )

[ Voor 39% gewijzigd door heuveltje op 21-08-2004 17:30 ]

[Snow_King]

Ik denk er dus over de schijven niet in RAID te hangen en dus gewoon losse schijven in de server te gaan hangen.

De data is niet mission critical, vandaar

http://www.procase.nl/details.asp?ID=222 die kast neem ik.

Ik zet al mijn data gemirrored op zeg 8 schijven en lees gewoon random van 1 van de schijven af.

Neem dan een paar losse S-ATA controllers in de PCI bussen

[Lennieboy83]

Over Random Read gesproken ik heb net mn Fujitsu MAS 15Krpm 18GB getest met SiSoft Sandra en Random doet hij 50 MB/s precies en seek gemiddeld 5ms

Mn 2x Seagate 15K.3 36GB in SW RAID 0 (stripe) doet Random 88 MB/s
Seek gemiddeld: 3ms

Dat is wel wat anders dan die IDE beestjes

[heuveltje]

mmm met sisoft sandra krijg ik wel vaker vage metingen

[Snow_King]

Ja, zeker random read. Maar dat moet toch wel een oplossing zijn?

[Lennieboy83]

heuveltje schreef op 21 augustus 2004 @ 19:00:
mmm met sisoft sandra krijg ik wel vaker vage metingen

Grappenmaker, die metingen kloppen precies, ik heb het al eens eerder getest, deze verschilt weinig met vorige metingen

[Kippenijzer]

Ik zou inderdaad overwegen om een Server P4 bord te kopen voor je doel, gezien de 64bit 66MHz (of meer) PCI sloten die ze hebben. Denk aan redundante gigabit, en dikke 64/66 of zelfs 64/133 raid controllers, zeker gezien het chassis wat je voor ogen hebt.

[Snow_King]

Ja, dat server board van intel neem ik al.

maar zoals gezegt dus geen RAID, maar schijven los aanspreken en dan soort loadbalancen.

[Lennieboy83]

Ik ben bang dat je bedoelt dat je geen RAID controller wilt maar je kan heel simpel een RAID 0 of 1 array aanmaken in Windows Systeem beheer>schijfbeheer dat kost vele malen minder en de performance is er niet minder om.

[Snow_King]

Het is dus Linux, maar ik zou dan wel een RAID 1 array kunnen maken met 4 schijven, maarja, dan zit je weer met die leessnelheid. Wat met RAID 1 gaat ie toch niet random van 1 van de 4 schijven lezen? Als je dan 4 schijven hebt.

[Lennieboy83]

Zie hier de RAID FAQ
Dan kan je zelf bekijken wat je beter zou vinden, maar waarom gebruik je Linux? Is Windows 2003 geen optie? Dan kan je zoiezo RAID 5 gebruiken.

[Snow_King]

Als ik de RAID faq lees schiet je niet echt veel op met mirroring, aangezien de random leessnelheid niet hoger is dan een enkele schijf.

RAID 5 is sneller met lezen, klopt.

Ik heb zelf veel ervaring met Linux en niet met Windows 2003. Het gaat dus om een webserver waar veel bestanden op staan welke gedownload gaan worden.

Dan moet ik met IIS gaan stoeien, wat ik nog nooit heb gedaan.

Ook komen er enkele scripts op welke alleen onder Linux draaien.

Hier dan even de specs waar ik aan denk:

- P4 3.0Ghz HT
- Intel Server Board ( http://www.intel.com/desi...875wp1e_srvr&#productspec )
- 4x 200GB in RAID 5
- Promise S150 RAID controller ( http://nl.promise.com/product/card_detail_dut.asp?pid=191 ) (optioneel, misschien software RAID)
- 2GB Ram
- Antec 4U kast

[ Voor 30% gewijzigd door Snow_King op 22-08-2004 14:20 ]

[Lennieboy83]

Ik ben net een beetje wezen rondkijken, omdat ik het nogal zonde vind dat je geen 64 bits PCI hebt en er zijn dus ook moederborden met 64 bits PCI.
www.supermicro.com dit is een topmerk voor server moederborden, ze hebben ook mobo's uitgevonden voor Pentium 4 met 64 bits PCI & PCI-X.
Hiervoor zou je een mooi controllertje kunnen kopen voor je schijven en je bent in de tijd vooruit

[Snow_King]

Kom net een geweldig bord van Tyan tegen.

http://www.tyan.com/products/html/thunderk8s.html

het is dan opteron, maar wel 4 PCI-X sloten en Dual Gbit onboard.
Opteron heb ik niets op tegen. Ga toch eens in die richting kijken.

[Lennieboy83]

Of je weet gewoon niet wat je wilt

Als je toch een bepaald budget wilt gebruiken dan kan je beter naar dual Xeon gaan kijken, die kosten tegenwoordig niet veel meer en een goede beschikbaarheid, Opterons zijn daarentegen niet echt goed beschikbaar en kosten meer.

[Snow_King]

Ik ben er ook nog niet uit wat ik wil.

Daarom ook dit topic om antwoorden te krijgen op die vragen en informatie op te doen hier over.

[TheGhostInc]

Snow_King schreef op 22 augustus 2004 @ 14:14:
[...]
Hier dan even de specs waar ik aan denk:

- P4 3.0Ghz HT
- Intel Server Board ( http://www.intel.com/desi...875wp1e_srvr&#productspec )
- 4x 200GB in RAID 5
- Promise S150 RAID controller ( http://nl.promise.com/product/card_detail_dut.asp?pid=191 ) (optioneel, misschien software RAID)
- 2GB Ram
- Antec 4U kast

We komen al verder zo te zien
Misschien leuk om te proberen:
Als iedereen die hier een mening over wil geven een systeem in elkaar klust met de volgende specs:
1500-2000 euro
300-400GB schijfruimte
1Gbit netwerkkaart
4U of kleiner

Misschien dat de topicstarter op deze manier wat complete configs kan vergelijken, want ik vind het voorstel van een supermicro bord erg leuk.... maar red je dat prijstechnisch?
Ik zal kijken of ik iets kan bedenken.

* TheGhostInc kent de topicstarter niet, maar vind de eisen aardig om eens naar te kijken.

[Kippenijzer]

Ehm, je begint bij P4 en overweegt nu in ene het veel duurdere dual opteron platform? Dat lukt je iig niet voor je huidige budget. Echter, gezien je toch in 3U of 4U wilt hosten (why? Goed bord heeft stuff on-baord en met 2U ben je veel minder kwijt per maand). Maar owkee, 3U en 4U kunnen gewoon normale insteekkaarten in -> je kunt een goedkoper bord overwegen. Ik zou dan meteen de Asus PCH-DL opperen. Dual Xeon (single is ook een optie, al dan niet tijdelijk, of gewoon 2e hands wat goedkoperse cpu's erop zetten). Da's een workstation bord, laag geprijst, 1x gbit on-baord, en 2 64/66 pci-x sloten. On obard heeft hij sata raid die je misschien kunt benutten (linux software raid1 is geweldig kan ik uit ervaring zeggen, maar hoe dat schaalt op ata/sata weet ik niet, enkel ervaring met 2 scsi disks, daarvoor is het echt ideaal). 64/66 sata raid controller erin (hoor ik daar 3ware) met 8 intressante schijven. Meest cheap ass agp kaartje erin (2e hands ati rage 4mb dus).

Dan kom je een end denk ik./

[Lennieboy83]

Vergeet niet dat een Pentium 4 met HT ook als 2 processors fungeert, dat is snel zat

Verder vertelde ik ookal over die speciale moederborden van Supermicro voor Pentium 4 met PCI-X dus en die zijn perfekt voor wat de topicstarter vraagt
Duurder hoef je echt niet te gaan.
Voor een fileserver heb je niet veel rekenkracht nodig, enkel goede schijven + een brede PCI bus + een goede I/O (hardware) controller + een GBit controller.

[Snow_King]

Nou, na wat tips hier in het topic toch een andere setup gekozen.

Als volgt:
- P4 3.0Ghz HT
- 2GB DDR
- Tyan Tomcat i7210 ( http://www.tyan.com/products/html/tomcati7210.html )
- 3x Maxline 3 Plus 200GB in RAID 5

Nu zitten er op dat Tyan bord 2 Gbit NIC's 1 via de CSA en 1 via de PCI bus.
De S-ATA controller zit ook op de PCI bus, dus dat is een bottleneck.

Nu zoek ik nog een RAID 5 controller voor PCI-X, zodat de PCI niet de bottleneck wordt.

EDIT: En die heb ik gevonden
http://www.adaptec.com/wo...ial+ATA%2fSerial+ATA+RAID

Dat lijkt mij een mooie controller voor RAID 5

[ Voor 22% gewijzigd door Snow_King op 22-08-2004 22:16 ]

[Kippenijzer]

Als je toch maar een 4 kanaals controller neemt, kun je net zo goed voor de half zo dure Promise S150 SX4 gaan, kijk maar op http://www.tomshardware.com/storage/20040625/index.html , hij's zelfs sneller. De adaptec heeft dan wel 64/66, maar daaraan kom je toch niet, de promise heeft 32/66 (dus wel 66mhz = 266mb/s top), en zou *kan* hij niet eens in de weg van je gbit nic kom, omdat die de andere 266mb voor zichzelf kan claimen (de upper 32bit, ervan uitgegaan dat het wel een 64/66 on-baord chippie is, moet je effe intel's techdocs erop naslaan).

[Snow_King]

Als je het volgende plaatje bekijkt:


Dan zijn er dus 2 64-bits PCI sloten aanwezig waar die Promise controller in kan.

Het is het enige op de PCI bus aangezien de Gbit over CSA gaat.

[TheGhostInc]

Alternatief voor je mobo:
http://www.supermicro.com...herboard/P4/875/P4SCT.cfm

Vind ik persoonlijk een interessante plank, 3x PCI-X en AGP 8x (voor het geval je hem uit de server rukt en in een desktop gooit) Daarnaast is Supermicro een van de beste bouwers van Intel planken (ze doen niet anders)

Ik zou overwegen er een losse netwerkkaart in te plaatsen, kost je iets meer als 100 euro voor een goede , maar scheelt waarschijnlijk > 10% in load, en die kan dan in een PCI-X slot.

[Snow_King]

Nah, in een desktop gaat hij dus niet.

Die promise kan toch in zo'n lang PCI slot alleen gebruikt hij het laatste deel niet?

Waarom zou Tyan slechter zijn dan SuperMicro? Ik heb al een Dual Opteron board van Tyan draaien in een server en kan echt niet klagen.

Vreet een Gbit lan over CSA veel load van je server dan?

[TheGhostInc]

Snow_King schreef op 22 augustus 2004 @ 22:36:
Nah, in een desktop gaat hij dus niet.

Die promise kan toch in zo'n lang PCI slot alleen gebruikt hij het laatste deel niet?

Waarom zou Tyan slechter zijn dan SuperMicro? Ik heb al een Dual Opteron board van Tyan draaien in een server en kan echt niet klagen.

Vreet een Gbit lan over CSA veel load van je server dan?

Tyan en SuperMicro is om het even, met de enige melding daarbij dat Intel erg blij is met SuperMicro, zij leveren alleen Intel.
Tyan heeft zich vooral laten horen op AMD gebied de laatste tijd.

het grootste verschil zit hem in de 3x PCI-X, dat is gewoon lekker. En het verschil tussen een onboard Gbit controller en een 64/66 Server GBit controller zal je vooral in de throughput terug zien.

Nog even een reactie op de gekozen RAID controller...

Als ik de resultaten van de SCSI controllers erbij neem, dan heb ik in RAID 5 alleen maar teleurgestelde mensen gehoord over de 2100S. De controller op die kaart is gewoon niet krachtig genoeg om echt performance te leveren. Ik ben bang dat de adaptec in RAID 5 niet interessant wordt, en in RAID 0 of 1 eigenlijk vooral overpriced is. Maar misschien dat iemand hier een extra licht op kan werpen.

Lees overigens net wel dat de controller een intel 80302 is, op de RAID kaart, de 8 kanaals gebruikt de 80303 (die ook op de 3210 SCSI RAID controller wordt gebruikt) Dus mensen met de 3210 kunnen je alvast informeren over hun performance in RAID 5, dan weet je of 100MB/s te halen is....

[ Voor 33% gewijzigd door TheGhostInc op 22-08-2004 22:49 . Reden: RAID toegevoegd ]

[Lennieboy83]

TheGhostInc schreef op 22 augustus 2004 @ 22:41:
Als ik de resultaten van de SCSI controllers erbij neem, dan heb ik in RAID 5 alleen maar teleurgestelde mensen gehoord over de 2100S. De controller op die kaart is gewoon niet krachtig genoeg om echt performance te leveren. Ik ben bang dat de adaptec in RAID 5 niet interessant wordt, en in RAID 0 of 1 eigenlijk vooral overpriced is. Maar misschien dat iemand hier een extra licht op kan werpen.

Ik ben zelf een keer een topic gestart (niet zo lang terug) omdat ik dus een Adaptec 2100s op het oog had en heb de nodige reacties gehad dat ik het nooit moet doen. Help uzelf: Adaptec 2100s vragen/ervaringen

Aan de topicstarter: Ik geef ook de voorkeur aan Supermicro, om dezelfde reden als TheGhostInc, ze houden zich nl. alleen maar bezig met Intel, terwijl Tyan zich grotendeels bezighoudt met AMD, ik ken een aantal mensen met Supermicro Server bordjes en niets dan lof, de keuze zou voor mij snel gemaakt zijn

[Snow_King]

Ik zou eens even een prijs vergelijking moeten doen. Ik weet zo 1,2,3 geen leverancier voor Super Micro borden.

[Femme]

De hoogste snelheid die ik met gigabit heb gehaald is ca 70MB/s in backup en streaming media simulaties op een dual Opteron met twee PCI-X gigabit controllers, vier Cheetah 15K.3's in RAID 10 op een LSI MegaRAID SCSI 320-2X en een stuk of zes clients waarvan twee op gigabit snelheid. Dit was onder Windows Server 2003. Onder Linux haal je wellicht betere resultaten.

Voor een degelijke server setup zou ik gewoon kiezen voor een dual proc moederbord met onboard dual port PCI-X gigabit ethernet en PCI-X slots voor de RAID-adapter. Op zo'n plank prik je één Xeon- of Opteron-processor, een download server heeft geen twee processors nodig. Voor een Linux server zou ik gebruik gaan maken van een LSI Logic MegaRAID SATA 150-4 / 150-6 of een 3ware Escalade 9500 RAID-adapter met een stel 7200rpm schijven (bijv. Maxtor MaXLine Plus III). Promise en Linux zijn geen geweldige combinatie. De RAID-adapters van Adaptec presteren nogal tegenvallend, met name in RAID 5.

TheGhostInc schreef op 22 augustus 2004 @ 22:41:
[...]

Als ik de resultaten van de SCSI controllers erbij neem, dan heb ik in RAID 5 alleen maar teleurgestelde mensen gehoord over de 2100S. De controller op die kaart is gewoon niet krachtig genoeg om echt performance te leveren. Ik ben bang dat de adaptec in RAID 5 niet interessant wordt, en in RAID 0 of 1 eigenlijk vooral overpriced is. Maar misschien dat iemand hier een extra licht op kan werpen.

Lees overigens net wel dat de controller een intel 80302 is, op de RAID kaart, de 8 kanaals gebruikt de 80303 (die ook op de 3210 SCSI RAID controller wordt gebruikt) Dus mensen met de 3210 kunnen je alvast informeren over hun performance in RAID 5, dan weet je of 100MB/s te halen is....

De Adaptec 3210S is een doorontwikkeling van een design dat oorspronkelijk door DPT werd gemaakt. DPT werd enkele jaren geleden door Adaptec overgenomen. Ik heb de 3200S getest (voorloper van de 3200S) en die blijkt ondanks ondersteuning voor enkel Ultra160 SCSI toch sneller te zijn dan de recentere 2200S dual channel Ultra320 controller, welke net als de 2100S een ontwerp van Adaptec is. Je kunt de prestaties van de 2100S en 3210S dus niet echt vergelijken.

[TheGhostInc]

Thanks SCSI beest voor de bevestiging, jouw topic over de 2100S heb ik zelf ook gevolgd, of een voorloper ervan. Daarnaast hebben we idd. dezelfde mening over Tyan (AMD) <-> Supermicro (Intel). Supermicro staat bij mij bekend als "de beste professionele Intel borden", ken een paar mensen met een bord van hun, en stabiel.
Tip aan TS, bel ze eens, je zult waarschijnlijk zeer goed worden geholpen en geinformeerd, aangezien Supermicro aandacht heeft voor eindgebruikers.

Kort over adaptec, ik denk dat je wel mag stellen:
Goede SCSI adapters, redelijke instap RAID adapters, goede high-end RAID adapters.
En eigenlijk altijd zeer stabiel. Wel altijd een beetje aan de dure kant, maar als je ziet wat een 19160 nu nog opbrengt, dat geeft aan dat de markt niet teleurgesteld is. De 2100S wordt vaker voor lage prijzen verkocht.

Femme:
Begrijp ik het nu goed, zeg je dat de nieuwe controllers slechter zijn dan de oude? En dus eigenlijk redelijk rommel?

[ Voor 9% gewijzigd door TheGhostInc op 23-08-2004 01:09 . Reden: Femme ]

[TheGhostInc]

Femme schreef op 23 augustus 2004 @ 00:54:
De hoogste snelheid die ik met gigabit heb gehaald is ca 70MB/s in backup en streaming media simulaties op een dual Opteron met twee PCI-X gigabit controllers, vier Cheetah 15K.3's in RAID 10 op een LSI MegaRAID SCSI 320-2X en een stuk of zes clients waarvan twee op gigabit snelheid. Dit was onder Windows Server 2003. Onder Linux haal je wellicht betere resultaten.

Voor een degelijke server setup zou ik gewoon kiezen voor een dual proc moederbord met onboard dual port PCI-X gigabit ethernet en PCI-X slots voor de RAID-adapter. Op zo'n plank prik je één Xeon- of Opteron-processor, een download server heeft geen twee processors nodig. Voor een Linux server zou ik gebruik gaan maken van een LSI Logic MegaRAID SATA 150-4 / 150-6 of een 3ware Escalade 9500 RAID-adapter met een stel 7200rpm schijven (bijv. Maxtor MaXLine Plus III). Promise en Linux zijn geen geweldige combinatie. De RAID-adapters van Adaptec presteren nogal tegenvallend, met name in RAID 5.

[...]

Sorry, maar kun je even aangeven waarom je een Dual moederbord wil, met 1 processor erop? Bij Intel, afgezien van de prijs (Xeon 1,5 zo duur), en de langzamere bus (533Mhz tegen 800Mhz eff.) en de duurdere moederborden, is er ergens een voordeel te vinden? 64bit is nog niet leverbaar voor zelfbouwers en upgraden lijkt nog niet nodig.
Bij AMD ligt het natuurlijk anders, er zijn amper echt leuke bordjes te vinden voor Athlon64 machines, dan kom je op Opteron 1XX serie uit. En in de pricewatch staan bijzonder weinig Socket 940 borden, wat de keuze beperkt.

Overigens lijkt die LSI een goed alternatief voor adaptec, maar ik vraag me af of SATA het wel gaat trekken. Het blijft een dijk data.

[Lennieboy83]

Nou dat bovenste klinkt eigenlijk gewoon logisch, omdat je met 1 CPU ook kan draaien en mocht je later nog 1 CPU er bij te willen zetten dan kan dat Bij een P4 moederbord niet (goed nagedacht overigens).
PCI-X apparaten zijn volop leverbaar, dat is het probleem niet

Over het laatste: 1 schijf zal zo'n 60 MB (STR) maximaal trekken dus houdt dat op zo'n 40MB/s (of niet eens) constant.
Stel dat dat in RAID 0 staat zo je er maximaal (60x4 schijven) 240 MB/s kunnen trekken maximaal, maar in de werkelijkheid ligt dat op zo'n (40x4 schijven) 160MB/s, random nog veel minder, dus in principe zou het moeten kunnen wellicht neem je een kaart met cache onboard, wat de performance zeer ten goede komt

[ Voor 37% gewijzigd door Lennieboy83 op 23-08-2004 01:35 ]

[nrg]

Even tussendoor (ik werk samen met Snow_King): welk besturingssysteem is voor een dergelijke downloadserver het meeste aan te raden?
Zowel Snow_King als ik hebben ervaring met Debian GNU/Linux sarge (en we compilen alles zelf, ipv apt-getten), maar wellicht is het de moeite waard om te verdiepen in een andere Linux distro, of misschien een *BSD variant?

[Lennieboy83]

Ik heb alleen nog maar met het Windows platform gewerkt en Windows 2003 vind ik tot nu toe de beste, die heeft de transfer over het netwerk ook even iets weten te boosten (waarschijnlijk driver issue) was rond 8 MB/s vanaf de Win2003 (was XP) PC en later dus met Win2003 10MB/s (100mbit netwerk) dus zeker geen slechte zet, er zit ook software RAID 5 ingebouwd, maar wellicht kan iemand anders nog toelichting geven over Linux

[ Voor 8% gewijzigd door Lennieboy83 op 23-08-2004 01:45 ]

[TheGhostInc]

Lennieboy83 schreef op 23 augustus 2004 @ 01:32:
[...]

Nou dat bovenste klinkt eigenlijk gewoon logisch, omdat je met 1 CPU ook kan draaien en mocht je later nog 1 CPU er bij te willen zetten dan kan dat Bij een P4 moederbord niet (goed nagedacht overigens).
PCI-X apparaten zijn volop leverbaar, dat is het probleem niet

Tja, een CPU bijplaatsen kan, maar als de server echt te krap wordt is het volgens mij handiger *dan* een compleet nieuw setje erin zetten, van 2x CPU en mobo, want een fileserver komt eerder in de problemen met de schijven dan de CPU.
Maar goed, ik denk dat dual buiten budget valt, tenzij je 2de hands iets opsnort, of bewijs het tegendeel (aan iedereen overigens) .

Over het laatste: 1 schijf zal zo'n 60 MB (STR) maximaal trekken dus houdt dat op zo'n 40MB/s (of niet eens) constant.
Stel dat dat in RAID 0 staat zo je er maximaal (60x4 schijven) 240 MB/s kunnen trekken maximaal, maar in de werkelijkheid ligt dat op zo'n (40x4 schijven) 160MB/s, random nog veel minder, dus in principe zou het moeten kunnen wellicht neem je een kaart met cache onboard, wat de performance zeer ten goede komt

Okiz, mijn vraag was eigenlijk een beetje dit:
Je koopt een RAID controller, je koopt 4 of meer schijven, dan loopt de teller al flink. Stel dat je een SCSI controller met RAID 0,1 mogelijkheid haalt, en een set schijven, kom je dan qua prijs in de buurt, of is het verschil gigantisch? Want SCSI is toch net dat beetje performanter en degelijker (Of alvast garandeerd de fabrikant meer degelijkheid)
En als je na 3 jaar 4 schijven hebt moeten kopen als vervanging, of er 4 zijn gewisseld onder garantie scheelt fors in het eindplaatje.

[Lennieboy83]

TheGhostInc schreef op 23 augustus 2004 @ 01:41:
Okiz, mijn vraag was eigenlijk een beetje dit:
Je koopt een RAID controller, je koopt 4 of meer schijven, dan loopt de teller al flink. Stel dat je een SCSI controller met RAID 0,1 mogelijkheid haalt, en een set schijven, kom je dan qua prijs in de buurt, of is het verschil gigantisch? Want SCSI is toch net dat beetje performanter en degelijker (Of alvast garandeerd de fabrikant meer degelijkheid)
En als je na 3 jaar 4 schijven hebt moeten kopen als vervanging, of er 4 zijn gewisseld onder garantie scheelt fors in het eindplaatje.

Als je het moet gaan kopen voor de eerste keer scheelt het erg veel in prijs, de kleinste 10/15Krpm schijven zijn zelfs nog duurder dan de besproken S-ATA 7200rpm disk, de controller is zeer duur (veel duurder dan een zeer goede S-ata controller), maar met SCSI heb je kwaliteit in huis
Ik wed trouwens dat de grootte en snelheid van de schijven eerder een rol gaan spelen, met snelheid zit je zij SCSI goed maar als je hetzelfde formaat SCSI schijf wilt hebben bv. 147 GB dan kan je met 4 schijven je portemonnee omkeren, dit is denk ik simpelweg geen optie voor de topicstarter

[ Voor 4% gewijzigd door Lennieboy83 op 23-08-2004 01:54 ]

[Fidai]

Snow_King schreef op 21 augustus 2004 @ 13:30:
Even voor de duidelijkheid, dit wordt geen thuis servertje.

Deze komt achter een HP2812 switch in RedBus, het gaat hier om een echte downloadserver, waar dus meerdere clients tegelijk aan het leechen zijn.

Ik denk dat het Intel board me dan het beste lijkt ( http://www.intel.com/desi...875wp1e_srvr&#productspec ) de raid versie dan wel. Zijn dus twee versies van, eentje met raid en een zonder.


[...]


Dat zit dus wel goed Nu dus nog goede schijven er bij.

Het wordt een fileserver die de clients voorziet van bestanden via het internet? De server moet 125MB/sec een lange tijd achter elkaar kunnen leveren? De prijs van een GB dataverkeer is minimaal 2 Euro? Je budget voor je server is rond de 2000 Euro.

Al heb je 2000,- Euro per maand te besteden aan dataverkeer dan kan je je server maar 2,3 uur per maand files laten versturen op 1Gbit/sec of nog geen dag op 100Mbit. Of je bent een half miljoen euro kwijt per maand om constant 1Gbit dataverkeer te kunnen betalen. Ik snap niets van het budget of heb je 200 clients binnen het redbus gebouw?!

[Kippenijzer]

Je zit er een factor 6 naast ofzo, maar dat mag niet uitmaken. Ik vroeg het me inderdaad ook al af toen ik de topicstart icm het beoogde budget las.

[nrg]

De server gaat betaalde downloads leveren. Mensen zullen dus moeten betalen voor het dataverkeer.
Verder zal er niet 1Gbit constant door worden gevoerd, maar de server moet 1Gbit aankunnen op de download-pieken.

Overigens doet het dataverkeer er verder niet toe. We willen tot de start van het project liever nog niet teveel info kwijt.

[Snow_King]

Fidai schreef op 23 augustus 2004 @ 02:17:
[...]


Het wordt een fileserver die de clients voorziet van bestanden via het internet? De server moet 125MB/sec een lange tijd achter elkaar kunnen leveren? De prijs van een GB dataverkeer is minimaal 2 Euro? Je budget voor je server is rond de 2000 Euro.

Al heb je 2000,- Euro per maand te besteden aan dataverkeer dan kan je je server maar 2,3 uur per maand files laten versturen op 1Gbit/sec of nog geen dag op 100Mbit. Of je bent een half miljoen euro kwijt per maand om constant 1Gbit dataverkeer te kunnen betalen. Ik snap niets van het budget of heb je 200 clients binnen het redbus gebouw?!

Een gigabyte 2 euro? Make that max 30 cent.
Het is betaald verkeer, maar dat staat buiten schot.

Zoals gezegt, de server moet op pieken de doorvoer van de Gbit redden en niet constant 1Gbit verzetten.

Net gekeken naar de 3Ware 9500S-4LP, prijs valt me ontzettend mee moet ik zeggen

[ Voor 5% gewijzigd door Snow_King op 23-08-2004 12:23 ]

[MoBi]

Snow_King schreef op 21 augustus 2004 @ 17:40:
Ik denk er dus over de schijven niet in RAID te hangen en dus gewoon losse schijven in de server te gaan hangen.

De data is niet mission critical, vandaar

http://www.procase.nl/details.asp?ID=222 die kast neem ik.

Met jouw budget en die cast mag je wel je budget iets verhogen, die kast kost alleen al: +- 1500 euro ex btw.

psmeets schreef op 21 augustus 2004 @ 15:55:
[...]


Maar RAID 5 is wel goedkoper dan RAID 1 en 0+1, hierbij gebruik je maar 50% van de ruimte die je gekocht hebt. Tevens kun je RAID 5 makkelijker uitbreiden want je hoeft geen even aantal schijven te hebben.


[...]


Waarom niet?

Mocht er wat met je besturingssysteem gebeuren, dan heb je grote kans dat je ook je data van je array kwijt bent. Zodra het ook nog een 1gbit moet gaan doen dan is je cpu meer aan het bereken van de raid 5 pariteit dan aan de doorvoersnelheid. Dan wil je liever dat een aparte cpu (kaart) het rekenwerk daarvan overneemt.

[Paul]

Pariteitsberekeningen worden alleen gedaan als je naar de schijven / de array gaat schrijven. Als ik het verhaal zo lees is dat dus geen probleem, ze willen juist 1GBit/s LEZEN

Linux is erg goed in het cachen van data. Ik denk dan ook dat 4GB ram (of iig een grote hoeveelheid ) zeker zal helpen je disk i/o omlaag te halen. Nu weet ik niet WAT je aan wilt gaan bieden, maar de meeste downloadsites hebben leuke spikes van een paar files die ineens heel veel gedownload worden.

[nrg]

Paul Nieuwkamp schreef op 23 augustus 2004 @ 15:38:
Pariteitsberekeningen worden alleen gedaan als je naar de schijven / de array gaat schrijven. Als ik het verhaal zo lees is dat dus geen probleem, ze willen juist 1GBit/s LEZEN

Zoals het er nu uit ziet, zullen we een hardware RAID5 controller gaan gebruiken. De CPU zal dan dus niet belast worden met pariteitsberekeningen e.d.

Linux is erg goed in het cachen van data. Ik denk dan ook dat 4GB ram (of iig een grote hoeveelheid ) zeker zal helpen je disk i/o omlaag te halen. Nu weet ik niet WAT je aan wilt gaan bieden, maar de meeste downloadsites hebben leuke spikes van een paar files die ineens heel veel gedownload worden.

We hadden nu 2 GB PC3200 RAM op de planning staan, maar wellicht is het een goed idee om dat aantal te verdubbelen.

Deze fileserver zal idd zoals jij zegt files gaan hosten die heel Nederland ineens wil hebben. Dat zijn dus de pieken.

[Snow_King]

Het voordeel van de 3Ware is dat deze over de PCI-X gaat, de onboard aansluitingen gaan over de PCI bus, dus als je software RAID 5 neemt, gaan je hardeschijven over de PCI bus heen welke dan weer een bottleneck wordt.

Dan zou er weer een losse PCI-X S-ATA controller in moeten welke dan de doorvoer aan kan.
Het zou mooi zijn als we die 3Ware niet nodig hadden, dan kan dat geld naar extra ram, zeg 4GB ipv 2GB.

EDIT: Ik vergeet net dat ik de Hot-swap mogelijkheid wel mis als ik de hardware raid niet neem en die heb ik toch wel graag.
Dan nog het feit dat ik hardware raid meer vertrouw dan software raid.

[ Voor 20% gewijzigd door Snow_King op 23-08-2004 16:28 ]

[Paul]

nrg schreef op 23 augustus 2004 @ 16:19:
Deze fileserver zal idd zoals jij zegt files gaan hosten die heel Nederland ineens wil hebben. Dat zijn dus de pieken.

Die haalt hij fluitend met 1 hand op de rug en 2 vingers in de neus uit zijn geheugen, daar krijg je 3,2 * 8 = 25 GBit/s net niet mee vol

Aangezien de meeste I/O bewerkingen zo te lezen LEES-operaties worden kun je misschien beter de 3ware 8500 nemen, ipv de 9500. Zie ook nieuws: 3ware 9500S-4LP vierkanaals SATA-RAID-controller getest

Ik heb de Asus PSCH-L, vrijwel exact hetzelfde bordje als de Tomca die jullie hier en in het NOS-topic zeggen te gaan gebruiken. Verschil is dat jullie een 2e gigabit en ik een Promise TX4 onboard heb. Ik heb hierop 5 7K250 hitachi schijven aangesloten en gebruik software raid5. Hiermee heb ik, met een lage I/O load, al een 60mb/s gehaald.

Ik zou dan ook eerder voor meer schijven dan voor grotere schijven gaan. 16mb cache op de schijf zelf is zeker meegenomen, maar ik denk dat je beter alle 8 de poorten vol kunt stoppen met bijvoorbeeld deze.
Ipv 3x 200 kost het 8x 70, je bent er dus goedkoper mee uit (40 euro) voor 60gb meer, en een (veel?) hogere random read.
Je hebt dan wel minder mogelijkheid tot uitbreiden, je controller zit dan namelijk vol Ik zou, icm dat chassis ook eerder voor een 12poort controller gaan, dan kom je precies uit met je 2 PCI-X sloten en je 24 harddisk bays.

Ik zou het OS op 1 of 2 aparte schijven zetten, om zo logfiles etc geen belemmering te laten zijn voor je datastroom. Daar kun je ofwel een 2.5" hd voor nemen (jammer dat er die maar 1 in kan) ofwel 2 van je hdd-bays 'opofferen' (en dan in mirror)

Edit: Ik zie net dat die Tomcat ook 4 extra SATA-poorten heeft
Die zit ws op PCI32/66 (dus ook op een PCI-X slot), de SATA-poorten van de southbridge zitten direct op de southbridge, dus ook die gaan niet ten kosten van de PCI-bus. Enige bottleneck die dan overblijft is de verbinding tussen de north- en southbridge, maar die heb je met PCI-X sloten ook, immers het geheugen hangt aan de northbridge, terwijl de rest aan de south-bridge hangt.

Linux ondersteunt nog geen hotswap op SATA-schijven, dus die functionaliteit ben je dan inderdaad (voorlopig?) kwijt.
Blijft over het vertrouwen in software raid. Qua functionaliteit doet md (raidtools2 en de opvolger mdadm) afaik niet onder voor 3ware, qua snelheid durf ik het niet te zeggen. Qua betrouwbaarheid: ook dat deel van Linux zal uitgebreid getest zijn. Als je mobo/controller doodgaat zit he iig niet aan je huidige keuze vast, omdat de array op iedere linux-pc uit valt te lezen.

[ Voor 22% gewijzigd door Paul op 23-08-2004 16:44 ]

[Snow_King]

Ik heb even de datasheet bekeken van de Tomcat (ftp://ftp.tyan.com/datasheets/d_s5112_100.pdf) en de S-ATA controller zit op de PCI 32/33 Bus, HDD's direct op het mobo levert dus een bottleneck op.

Maar het OS heeft toch niets te maken met de hot-swap? daar is de RAID controller toch voor? Of sla ik de plank nu helemaal mis?

Iig, bedankt voor je info, hebben we een hoop aan

[Sjeng]

En toch kan ik me niet aan de indruk ontrekken dat je de zaak enorm aan het overdimensioneren bent. Je bent nogal lekker vaag te doen over wat het moet worden etc. Laten we eens van de andere kant uit redeneren.

Nederland telt 16 278 522 inwoners Bron CBS. Dat zijn ongeveer 6 995 724 huishoudens Bron CBS. Daarvan hebben er 59% toegang tot internet Bron CBS. Kom ik op 4127478 mogelijke downloaders. Nu ga ik er vanuit dat je bestand 25MB groot is en dat 25% van alle mensen met een internet aansluiting het ook meteen wil hebben. Dan heeft dus nog met een beetje geduld iedereen dit na 3 dagen kunnen downloaden... maw WTF ben je van plan en ik zou er zeker nog eens diep over nadenken. Kom ik terug op een eerder gemaakt argument over de kosten van de verzonden data versus de kosten van het servertje.

En als je zoiets 'populairs' in de markt gaat zetten denk je niet dat het dan in no-time op mirrors te vinden is of via de bekende p2p sharing programma's.... Volgens mij heb je hele grote ideeen een vind je net als ik een beetje dikke pc wel geil maar of je het ooit echt nodig gaat hebben?

En neem anders iemand in de hand zoals in dit lijstje.

[ Voor 55% gewijzigd door Sjeng op 23-08-2004 17:28 ]

[Kippenijzer]

Je hebt het inmiddels weer over hotswap, ik weet niet welk type antec 4u je in gedachten had, maar gezien je de procase daarvoor al noemde (en het nu dus weer over hotswap hebt). Je *weet* hoop ik ongeveer wat dergelijke hotswap chassis kosten toch? (Gezien je budget, als 50% daarvan naar een case gaat... Tja...). Sowiezo, als je hotswap schijven wilt, wil je dus uptime uptime uptime, en dus moet je ook voor een hotswap voeding kiezen (die weer E200,- in het mandje tilt ipv een single voeding.)
Als jullie zo zeker van je zaak zijn, koop dan, als je nu nog niet teveel uit wilt geven, een simpel systeem met 4*sata, al dan niet hotswap (niet doen zou ik zeggen), liefst in 1U of 2U (kant en klare supermicro oplossing bijvoorbeeld), en koop, zodra het zaakje loopt er een dikke 3U fileserver bij (zit je totaal netjes op 4U) en houd de 1u dan in ket rack als backup macvhine mocht er iets kritiek verkeerd gaan met je 3U uber redundante hotswap disks, hotswap voedingen resiliant gbit uplink bak.

[Snow_King]

@ Sjeng, het gaat hier om files van rustig 300MB tot 1.5GB, dat er veel downloaders komen ben ik wel zeker van.

@ Kippenijzer, ja, ik had me verkeken op de prijs van de Procase kast, die valt inderdaad erg duur uit.

Ik denk ook dat hotswap niet de mogelijkheid is. Als het echt goed gaat lopen uiteraard wel.
Maar ik wil die Gbit redden, dus moet wel een controller hebben welke op de PCI-X zit en daar komt de 3ware om de hoek.

[Sjeng]

Snow_King schreef op 23 augustus 2004 @ 17:54:
@ Sjeng, het gaat hier om files van rustig 300MB tot 1.5GB, dat er veel downloaders komen ben ik wel zeker van.

offtopic:
Ik kan niet anders zeggen dan: Dream on!! No way dude. And have a happy life ever after
Maar ik kan het natuurlijk fout hebben en over een paar maanden balen als een stekker dat ik je niet om aandelen in deze prachtige venture heb gebeden.

Toch blijf ik erbij dat er in NL niet veel gebruikers die een voldoende verbinding hebben om dit soort bestanden binnen te halen of beter binnen willen halen. Ik zelf heb de luxe van 10Mbit maar zeg nu zelf wie behalve wij gestoorde tweakers heeft zoiets.

Het aanbieden via het p2p princiepe heb je dat wel overwogen?

[Snow_King]

Ja Sjeng, p2p is overwogen. Ik kan je helaas niet zeggen waar het exact om gaat, het gaat in ieder geval om files welke heel veel mensen direct willen hebben zodra ze released worden.

[Paul]

Snow_King schreef op 23 augustus 2004 @ 16:51:
Ik heb even de datasheet bekeken van de Tomcat (ftp://ftp.tyan.com/datasheets/d_s5112_100.pdf) en de S-ATA controller zit op de PCI 32/33 Bus, HDD's direct op het mobo levert dus een bottleneck op.

550: The system cannot find the file specified. Datasheets is met een hoofdletter D op die site , en het haakje staat momenteel in de url zelf
Overigens: de 2e gigabit controller zit ook op pci32/33

In wezen gebruik je op die pci-bus dan slechts de 4 sata poorten, en met 1x PCI32/33 trek je precies de helft van je full-duplex gigabit dicht. Dat komt goed uit, want het is alleen de upload die zo gigantisch hoog moet zijn, en een deel kan uit de cache komen, ZEKER tijdens die pieken.
Je hebt dan echter slechts heel weinig ruimte over op die bus (ervanuitgaande dat ze dus inderdaad in random read 125mb/s gezamenlijk halen), dus of je het doet of niet moet je zelf weten. Je verliest 1 of 2 schijven (raid 5 resp. 10). Ik denk dat, afgezien van de burst STF, je harde schijven eerder de bottleneck zijn dan die bus
Maar goed, een hardware controller wordt al serieus overwogen, dus geen (data) schijven op het mobo.

Maar het OS heeft toch niets te maken met de hot-swap? daar is de RAID controller toch voor? Of sla ik de plank nu helemaal mis?

Niet specifiek "het OS", maar wel dat stukje software dat de aansturing van je schijven doet.
Hotswap bestaat globaal uit 2 delen. De fysieke electrische draadjes moeten ervoor geschikt zijn zodat je niet je schijf of je controller sloopt door een te groot potentiaalverschil. Dit is al opgelost door de SATA (en SCA bij SCSI) connectoren.

Blijft over de software die verantwoordelijk is voor de low-level (en ook wel higer level) toegang tot je schijf. Of deze software op de proc op je raidcontroller draait en dus deel is van de firmware op die kaart, of dat die software draait op je P4 en onderdeel uitmaakt van je OS maakt niet uit, als het er maar is. Er moet namelijk correct gedetecteerd worden dat je schijf er niet meer inzit, en dat er dus niet meer naar geschreven kan worden, eventuele raid-arrays op die schijf degraden of failen, beheerders sms-en etc.
Netzogoed moet er gedetecteerd worden dat de schijf er weer in zit. Er kan weer naar geschreven worden en eventuele degraded arrays kunnen worden gerebuild

Iig, bedankt voor je info, hebben we een hoop aan

geen dank

Even op rij, waarbij ik even dat dure chassis buiten beschouwing laat:
(3yr garantie op 2mb PATA schijven is een zeldzaamheid, daarom 2x dezelfde schijven als de dataschijven voor je OS)

1x Tomcat	278,-	278,-
2x P4	183,-	183,-
4x 1gb PC3200 Kingston	200,-	800
1x 3ware 8506-8	597,-	597,-
8x 80 GB Hitachi 7K250 voor 560GB in RAID5	69,-	552,-
2x 80 GB Hitachi 7K250 voor je OS in RAID1	69,-	138,-
Totaal		2548,-

Je ziet, je komt (zonder kast!!!) al danig in de knoei met je budget.
Okee, 1gb geheugen erin, en een paar 4gb schijfjes die achter je op de plank liggen te verstoffen. Totaal: 1810,-, nog altijd zonder kast.
Voor 190,- vind je dus GEEN 19" kast met ruimte voor 10 schijven

Andere optie is dus de raidcontroller dumpen, waardoor je met minder schijven toe moet (6 in sowftware raid5, OS op PATA) waardoor je al minder random leessnelheid krijgt, en je PCI-bus gaat opspelen.

Ik vrees dus dat je budget wat ontoereikend is. Alleen al processor, mobo, 1gb ram en schijven kosten samen al ruim 1200 euro, waarbij minder en grotere schijven relatief weinig uitmaakt.

Dan heb je dus 200 a 700 euro voor een 19" rackomount met voldoende ruimte EN een fatsoenlijke raidcontroller, en je hebt slechts 1 GB ram en in feite knullige onprofi diskjes als OS-schijven

Tja, je kunt een ASUS PSCH-L nemen, scheelt je 100 euro, een gigabit controller en je hebt een promise onboard (die het hier overigens onder Debian perfect doet ).

Je kunt een Celeron nemen, scheelt je weer 100 euro. De mijne staat ook uit zijn neus te vreten, als de load al omhoog gaat is dat omdat er veel disk i/o is, maar goed, ik verstook geen gbit/s (zo te lezen voornamelijk uit cache, al zijn de files wel erg groot, 1.5gb... Zijn er dat veel tegelijk van die grootte of past het hele zooitje in zeg 4GB ram ) en heb ik geen honderden threads (lees: simultane connecties) lopen.

Op de Asus kun je software raid nemen met de 6 sata poorten (Asus geeft hier wel aan dat het een PCI32/66 controller is, en ze suggereren dat hij op de PCI-X bus zit, maar echt duidelijk vind ik het niet daar zou je ze over kunnen mailen), waardoor je 6 schijven aan kunt sluiten. 300gb delen door 5 schijven (1 'opofferen' aan parity) komt op 60 gb/stuk, waar die hitachi's weer mooi (ruim) aan voldoen (maar ze zijn zowat de goedkoopste in de PW en de fileserver tests op storagereview zien er ERG goed uit).

Kom je (met Asus, Celly van 90 euro, 1gb ram en 6 dataschijven) dus uit op zo'n 875,-, met dus 625,- a 1125,- over voor een kast, meer RAM en evt wat OS schijven.

[nrg]

Even een snelle reactie op je kostenplaatje (ik ga nu namelijk maar 'ns slapen): bedenk je wel dat de 2000 euro budget exclusief BTW is. Inclusief BTW is dat dus 2380 euro.

Verder zijn de files idd vaak hetzelfde. Ook die files van 1,5GB. Zouden dus in het RAM kunnen.
Als ik bij jouw schema 2 GB RAM er vanaf haal (en er dus 2GB RAM over blijft, wat denk ik voor de aanloopperiode voldoende is), kom ik uit op 2148 euro. Dat is 1805 euro excl. BTW. Blijft er dus 195 euro excl. BTW over voor een case.

Ik weet verder niet hoe vast de grens van het budget is, dat weet Snow_King beter.

[edit]:
Ik bedenk me net dat er voorlopig ook wel wat schijven uit die RAID5 array kunnen. Misschien 2 eraf om een case te kunnen kopen?

[edit2]:
De case die we nu op het oog hadden is de Antec 4U22ATX400EC (4U, 400W, Black). Die kost 212 euro. Dat is 178 euro excl. BTW. Dat past dus binnen het budget, bij jouw voorstel (met 10 hdd's).
De vraag is dan alleen nog even of die voeding het gaat trekken, maar er is ook een 550W variant van die case. De prijs daarvan is mij onbekend.

[ Voor 37% gewijzigd door nrg op 24-08-2004 01:12 ]

[Paul]

BTW had ik bewust gedaan omdat ik niet wist of het genoemde budget in of ex btw was

2 schijven eraf kan dan inderdaad, want dan zit je nog steeds boven je 300gb schijfruimte target

Je hebt dan 80gb OS (2x 80 in mirror) en 400gb data (6x 80 in RAID5), je zou er dus zelfs 3 af kunnen halen, of 1 als hot spare.

Bedenk wel, iedere schijf in je data array erbij zorgt voor een hogere random read

Je moet bij die kast overigens wel gaan klussen, want je hebt dan slechts 7 interne 3.5" posities Tevens weet ik niet hoegoed de koeling is, ik zie 1x 120mm staan, dat lijkt me eerlijk gezegd wat weinig voor zoveel schijven die ook nog eens zo dicht op elkaar staan, ik zou dan eerder 2x 92mm nemen of zo.

Ik heb zelf de Supermicro SC742T-550 voor ongeveer 350,- inclusief btw ex sliders bij Challenge Computers vandaan, maar ook die heeft slechts 7 (hotswap) SATA posities (en 4x 5.25", waarvan 1x2 en 2x1 dmv tussenschotjes, hier zou dus nog een (dure!) 3-in-2 SATA bay inkunnen). (Hmm, er staat nu een ander in de PW maar net ff gekeken en Challenge Computers heeft hem ook nog).

19" + veel schijven is gewoon erg duur

Een mailtje naar Supermicro over de SC933 (3u, 15 hotswap bays, geen overige bays, wel tripleredundant voeding) leerde me dat die iets meer dan 800 ex btw op moest brengen. Nog steeds over het budget heen, maar wel vriendelijker geprijsd (en met wat minder features) dan de eerder genoemde procase

[Raku]

Ik denk dat je de keuze van een voeding beter als laatst kunt doen. Simpelweg omdat je dan alles weet of het een dual word of single proc. Over hdd's hoef je je iig niet druk te maken , ik red 5 hdd's + 9800 XT + P4 met een simpel 360 wat voedinkje van 2,5 jaar oud

Anyway , ik denk dat je zeker wel aan dual vastzit , simpelweg omdat je met een goedkope oplossing en "simpele" pci / onboard controllers nimmer de Gbit gaat halen. Maar denk eens heel goed na over de hoeveelheid gebruikers die tegelijk willen downloaden. Als dit pak hem beet 100 gebruikers zijn , dat betekent circa 10 Mbit per persoon. Ik garandeer je dat je dan nooit de Gbit kan halen. Aangezien je schijven dan drukker zijn met zoeken e.d. dan met daadwerkelijk lezen. Afhankelijk van het aantal gebruikers kun je dan alsnog kiezen tussen scsi en sata. Door de lage accestime van scsi kun je een hogere snelheid halen met meer gebruikers (lijkt me). Als je het hebt over een stuk of 2-4 gebruikers zijn 4 schijven 7k2 in raid 0 al voldoende , maar het lijkt me sterk dat je dat bedoeld.

Maar kom in ieder geval eens met alle mogelijke loads , niet alleen kwa bandwidth , maar ook kwa users , grote van files , kortom , het complete plaatje. Maar zoals ik al zei: met _veel_ gebruikers kun je op voorhand de Gbit throughput wel vergeten.

//edit

Ik weet ook niet precies wie er vanaf moeten downloaden , maar als dat circa 100 mensen met "standaard" 1 Mbit zijn , dan is het natuurlijk geen probleem ... Maar als je met 100 mensen tegelijk die complete gbit wil volstampen , heb je 10 Mbit per persoon...dat lijkt me sterk dat hij dat gaat halen

//edit 2

Gbit via csa kun je meteen uitsluiten imo , met 50 MB/s haalde hij 50% cpu op een 2.8 P4... dat is tamelijk hoog , maar dat was met slechts 6 gebruikers. Laat staan met meer dan dat , dan gaat je cpu nog meer over de zeik lijkt me... Ik zou iig voor een goede basis gaan , dus dual platform , met PCI-X , eventueel 1 proc. Dan een goede gbit kaart erin , die geen gebruik maakt van resources van het mobo Raid kaart idem dito.

[ Voor 26% gewijzigd door Raku op 24-08-2004 01:47 ]

[Femme]

Paul Nieuwkamp schreef op 23 augustus 2004 @ 16:32:
[...]

Die haalt hij fluitend met 1 hand op de rug en 2 vingers in de neus uit zijn geheugen, daar krijg je 3,2 * 8 = 25 GBit/s net niet mee vol

Aangezien de meeste I/O bewerkingen zo te lezen LEES-operaties worden kun je misschien beter de 3ware 8500 nemen, ipv de 9500. Zie ook nieuws: 3ware 9500S-4LP vierkanaals SATA-RAID-controller getest

De 3ware Escalade 8500/8506 presteert zwaar ruk in RAID 5 en blijft ook in de meeste andere RAID levels achter bij andere kaarten. De Escalade 9500 doet het al wat beter dankzij z'n cache, maar komt nog steeds niet in de buurt van de MegaRAID SATA 150-4/6. Die ATTO benches van GamePC zeggen helemaal niets over de performance.

Ik ben op dit moment bezig met het testen van de Escalade 8506-8. Een aantal resultaten bevinden zich al in de BenchDB:

Tweakers.net BenchDB - Server StorageMark 2004 Index
Harde schijf	#	RAID	Controller	Score (StorageMarks)
WD Raptor WD740GD 73GB	4	RAID 5	RAIDCore BC4852	196,1
WD Raptor WD740GD 73GB	4	RAID 5	LSI MegaRAID SATA 150-4	192,0
WD Raptor WD740GD 73GB	4	RAID 5	3ware Escalade 9500S-8	146,9
WD Raptor WD740GD 73GB	4	RAID 5	3ware Escalade 8506-8	114,5

De streaming media simulatie (bijna alleen maar reads) lijkt me wel redelijk representatief voor de toepassing van TS:

Tweakers.net BenchDB - Streaming media server - Small dataset
Harde schijf	#	RAID	Controller	Score (IOps)
WD Raptor WD740GD 73GB	4	RAID 5	RAIDCore BC4852	552
WD Raptor WD740GD 73GB	4	RAID 5	3ware Escalade 9500S-8	500
WD Raptor WD740GD 73GB	4	RAID 5	LSI MegaRAID SATA 150-4	459
WD Raptor WD740GD 73GB	4	RAID 5	3ware Escalade 8506-8	455

Tweakers.net BenchDB - Streaming media server - Large dataset
Harde schijf	#	RAID	Controller	Score (IOps)
WD Raptor WD740GD 73GB	4	RAID 5	3ware Escalade 9500S-8	510
WD Raptor WD740GD 73GB	4	RAID 5	LSI MegaRAID SATA 150-4	450
WD Raptor WD740GD 73GB	4	RAID 5	RAIDCore BC4852	429
WD Raptor WD740GD 73GB	4	RAID 5	3ware Escalade 8506-8	400

[Kippenijzer]

Ehm, zou men bij het bepalen van prijzen rekening willen houden met het continue geroep van "stop er een PCI-X gigabit kaart in"? Houd er *even* rekening mee dat _echte_ PCI-X gigabit kaarten (dus 64/100 of 64/133) zelf ook nog eens een euro of 150 meetellen? Alhoewel er in dit geval, zolang de raidcontroller maar 64/66 ondersteund, ook voor een Intel 1000MT gekozen kan worden, met 32/66 aansluiting. Dan heeft hij 266mb/s en heeft de raidcontroller ook nog 266mb/s voor zich (jaja, theoretisch enzo ), en die kost maar ~40 euro ex.

[Twisted]

Kick.

Is er nog wat geworden van al die plannen en berekeningen? Waarvoor heb je uiteindelijke gekozen en waar kunnen we die spectaculaire files downloaden?

[Snow_King]

De plannen liggen nog steeds op tafel maar zijn door drukte nog niet uitgevoerd.