Home file server met 20 harddisks

[EMP]

Ik ben al een tijd lang voor een kennis uit Luxemburg bezig om een fileserver voor hem te maken.

Hij is specialist op het gebied van lossless audio en lossless HD-TV, en wil daarvoor VEEL ruimte hebben.

We hebben al heel wat uitzoekwerk gedaan, maar zitten eigenlijk vast en we wilden graag toch meer meningen hier over horen, zeker omdat zoiets als dit zeer weinig gedaan wordt.

Het idee is om met linux een softwarematige RAID5 opstelling te maken, dan is er namelijk geen (dure) raid-controller nodig EN mocht er een harddisk kapot gaan gaat de data niet verloren. Downtime vanwege rebuilden is geen probleem en performance... streaming HD-TV is (uit mijn hoofd) ongeveer 25 Mb/s dus spannend is dat niet... Voor het kopieren van de files is het lekker als hij een MB of 20 per seconde kan wegschrijven maar ik denk dat dat metde huidige hardware geen probleem moet zijn.

De volgende hardware hadden we tot nu toe bedacht:

1x Lian-Li V2000 (voor 12 harddisks)
2x 4-in-3 device (voor nog eens 8 harddisks)
1x DVD-RW (moet er ook in)
1x Antec TruePower 550 (zou dat genoeg zijn?)


Als harddisks zeer waarschijnlijk 250 GB schijven omdat deze op het moment gunstig in de markt liggen. Waarschijnlijk worden er eerst 10 van de 20 harddisks aangeschaft en later meer om de kosten wat uit te spreiden.

Om dit alles aan te sluiten had mijn kennis het volgende idee:
Asus P5GD2 Deluxe
Dit bord heeft namelijk 8 sata aansluitingen en 3 IDE kanalen. Op deze manier kunnen er al 10 schijven (plus een klein opstart / OS schijfje en de DVD brander op het 3e IDE kanaal)) aangesloten worden.

Ik vind dit idee nogal vreemd eigenlijk, zoveel onboard controllers, maar voor 160 euro (wat het bord kost) heb je dan wel meteen 8 sata en 3 ide aansluitingen... in contrast: een asus moederbord van bijvoorbeeld 70 euro heeft 2 IDE en 2 sata poorten, daarbij een 4-poorts sata-controller a 75 euro (promise bijvoorbeeld) en je zit al bijna aan hetzelfde bedrag met minder aansluitingen.....

Dit is het punt waar we nu zitten... voor mijn gevoel "klopt" het idee om vanalles onboard aan te sluiten niet bij een stabiele, goed werkende file server niet... Welke moederbord / controller combi zou een goede basis zijn voor een fileserver van deze omvang?

Bijkomende vraag: zou deze voeding dit alles kunnen voeden, of is er een tweede, een redundant of een andere soort voeding voor nodig?

[ Voor 4% gewijzigd door EMP op 05-02-2005 23:58 . Reden: Bijkomende vraag erbij gezet :> ]

[wasco]

ga ook is kijken bij rocketraids van highpoint
ikzelf heb een rocketraid 404 met 8 harde schijven aan te sluiten draaien voor ongeveer dezelfde functionaliteit en da loopt redelijk vlotjes

fijne kaartjes voor belachelijk weinig geld vind ik

[dion_b]

Dit is een Compleet Systeem, graag niet in Overige Hardware dumpen

Ik heb nog nooit een bench gezien van 10 danwel 20 schijven in software RAID, maar ik vermoed dat de XOR voor RAID-5 voor zo idioot veel disks zelfs een Prescott op z'n knieen krijgt. Ik zou bij deze hoeveelheden icm RAID-5 toch echt een I/O processor willen ter ondersteuning

[Trunksmd]

Het moederbord dat je wil gebruiken, is geschikt voor een prescott processor. Deze processor alleen slurpt al richting de 100 Watt (weet het exact niet meer). Ik weet niet hoeveel het moederbord verder nodig heeft en hoeveel elke harde schijf nodig heeft. Maar ik heb een vaag vermoeden dat je antec550 niet genoeg gaat zijn. Dan zit je sowieso met het volgende probleem: hoe ga je 2 of meerdere voedingen koppelen aan dit moederbord?
Zijn die vele aansluitingen trouwens niet gemaakt om je de keuze te geven tussen PATA of SATA?
Hoe gaat het met de stabiliteit zijn van het geheel, denk je?
Kun je niet beter kijken naar een server moederbord dat meer hiervoor gemaakt is?

[rapture]

[off-topic]
Ben je bezig met een poging om de Belgische leechers-battlecruisers (4+ TB) van hun troon af te stoten?
[/off-topic]
Dus veel ruimte en snelheid niet zo van belang?

Promise FastTrak S150 SX4 heeft maar 4 sata-poorten en zou hardwarematig werken. 190 euro per stuk, duur in vergelijking met HighPoint.

HighPoint RocketRAID 1820A heeft 8 sata-poorten en zou ook hardwarematig werken. 249 per stuk, dit is erg budget. Dus er wordt niet over hot-swap of online-uitbreiding gesproken.

Ik zou er 2 HighPoint RocketRAID 1820A kaarten erin steken, zodat je 2 RAID 5 array's van 1,75TB hebt. Samen 3,5GB, hiermee kan je bijna een nationaal record breken.

Antec 550W True power is voldoende voor een dedicated server (waar een grafische kaart niet meer dan een command line moet tonen). Maar als het gamebaar moet zijn, dan zou je een 2de voeding moeten bijsteken.

RAID 5 is perfect voor opslag van grote bestanden, als je films wilt bewerken, doe dat dan op een Raptor en saven op je RAID 5 array.

[ Voor 23% gewijzigd door rapture op 06-02-2005 02:21 ]

[Paul]

Empie schreef op zaterdag 05 februari 2005 @ 23:55:
1x Antec TruePower 550 (zou dat genoeg zijn?)

Hangt een beetje van je proc en je videokaart af. Ik heb zojuist zelf een fileserver samengesteld. Ik ben hierbij voor een Chenbro RM414 behuizing gegaan (19" met 16 hot-swao bays). Ondanks het feit dat deze kasten voor zowel dual Xeons als 16 SATA-schijven gemaakt worden, zitten alle voedingen die je er bij kunt bestellen tussen de 400 en 500 watt. Nu zitten daar wel redundant voedingen tussen (3 van de 4 ) die dus bij het opstarten mee kunnen helpen met de grote vraag aan opstart-power, maar ook een 460 single voeding is leverbaar, die dat dus ook allemaal trekt.

Als harddisks zeer waarschijnlijk 250 GB schijven omdat deze op het moment gunstig in de markt liggen. Waarschijnlijk worden er eerst 10 van de 20 harddisks aangeschaft en later meer om de kosten wat uit te spreiden.

De Maxtor DiamondMax 10 300gb is momenteel goedkoper per GB dan de 250gb Door de schijf (en dus de 50GB extra waarvoor gecompenseerd moet worden) die je kwijtraakt aan parity ligt het omslagpunt rond de 2.5*10^9 ("gigabyte") bytes (wat je in linux (met 0% ruimte voor root, op die dataschijf niet nodig ) 2292*2^30 (gigabyte) oplevert.

Welke moederbord / controller combi zou een goede basis zijn voor een fileserver van deze omvang?

Persoonlijk zou ik, met deze aantallen schijven, voor hardware raid gaan op een fatsoenlijk serverbord.

Ik heb zelf een 2e hands Intel dual Xeon bordje gekocht op ebay, een paar Xeons en wat ECC Registered overgenomen van een vriend, en ik was voor een paar honderd euro mee klaar.
Hiermee heb je echter geen onboard controllers (waar je iets aan hebt, de IDE controllers van dit bord staan schijnbaar erg slecht aangeschreven en om prive meerdere terrabytes aan SCSI-schijven (voor aan de onboard dual U160 controller) te gaan kopen?).
Als controller heb ik een Areca ARC-1160 gekocht. Een dure controller, maar mijns inziens het geld waard. Let wel, met een aantal PCI-kaarten met IDE controlers (PATA of SATA) gaan ook al snel richting een behoorlijk bedrag, en op een gegeven moment kom je gewoon PCI-sloten te kort
Met 65 euro per poort ligt hij uiteraard nog een stuk boven de prijs van simpele domme controllertjes, maar daar krijg je een heleboel prestatie, restwaarde en beheersgemak voor terug. Een andere optie is uiteraard een paar RocketRaid 1820A kaarten (is daar al fatsoenlijke ondersteuning voor in Linux? Geen idee eigenlijk ) Deze kost maar de helft per poort van de Areca Wel ondersteunt hij geen adapter teaming, waardoor je met 2 arrays komt te zitten waardoor je per controller een schijf aan parity kwijt bent.
Femme's review en de website van Areca spreken elkaar schijnbaar tegen, de review zegt dat de Areca controller niet aan adapter teaming doet, terwijl de website zegt dat er "Multi-adapter support for large storage requirement" is? Maar goed, met 16 (of met de nieuw uit te brengen controller: 24) schijven is het nut voor een samenwerkingsverband tussen 2 adapters al weer een stuk kleiner

Bijkomende vraag: zou deze voeding dit alles kunnen voeden, of is er een tweede, een redundant of een andere soort voeding voor nodig?

Als het echt niet lukt (maar met een 550 Antec moet het wel gaan) kun je altijd nog het systeem van de Coolermaster Stacker kopieren Een paar pinnetjes op de ATX-stekker doorverbinden en je kunt er een voeding bijhangen

[ Voor 10% gewijzigd door Paul op 06-02-2005 02:53 . Reden: Verhaal over adapter teaming toegevoegd. ]

[digital8]

Ik heb hier thuis een 3Tb fileserver draaien...

14x Maxtor HDD's
2x Enermax 425W voeding
2x Promise Ultra133 TX2
1x Asus A7V8X
2x 512Mb Matched Pair Corsair XMS geheugen
1x Asus V8460 GF4 Ti4600
1x AMD Athlon 2800+
1x CM Stacker

Ik heb dit over de jaaren opgebouwd en zit nu dus op effectief op 3Tb., als OS draai ik gewoon WinXP pro en dat gaat allemaal goed., het enigste nadeel is dat als er een schijf defect zou raken dat ik dan wel die data die daarop staat kwijt ben. (helaas al 2x gebeurt)


Wat betreft die voeding die jij op het oog hebt., dat gaat met 10 HDD's en een simpele videokaart misschien net., maar ik zou het er niet op gokken., ik heb dat probleem namelijk zelf al eens gehad ik had ook een 510W voeding met daaraan 11HDD's plus GF4 plus Athlon 2000+ en kreeg steeds vaker problemen tijdens het "koud" opstarten., sommige HDD's starte gewoon niet meer mee op of soms startte m'n grafische kaart niet op en dan wel al m'n HDD's dit is een tijdje zo doorgegaan (zo vaak zet ik hem nou ook weer niet uit) totdat m'n HDD's problemen begonnen te krijgen (tikken e.d.) ik heb toen op de zaak die voeding eens door gemeten en tot de conclussie gekomen dat die voeding simpelweg te licht was voor zoveel HDD's en door de scheve belasting waarschijnlijk die 2 HDD's te vroeg naar de eeuwige jachtvelden gejaagt heeft., dus nu heb ik 2x een Enermax 425W voeding in m'n Stacker en alles precies verdeeld, iedere 12v lijn heeft evenveel HDD's., alles werkt nu weer super en geen HDD's troubles meer alles start meteen op ook bij een koude start.

Dus maw. als je 10HDD's of later zelfs meer HDD's wilt aansluiten koop dan gelijk 2x een 550w voeding het is tenslotte het belangrijkste deel van je pc


[edit]
Een beetje een wazige post geworden zie ik maar het is dan ook al laat...

[ Voor 11% gewijzigd door digital8 op 06-02-2005 03:27 ]

[datkanveelbeter]

Dat gedoe met die verschillende controllers moet je meteen vergeten, trouwens.

- 4 SATA schijven op raid 5 (-1 schijf)

- 4 SATA schijven op raid 1 (-2 schijven)

- 2 ATA schijven op raid 1 (-1 schijf)

- 1 ATA schijf die je gaat gebruiken voor je OS

Hier verbruik je al 4 schijven voor het veilig stellen van je data, die verdeelt zijn over verschillende controllers, hier maak je niet optimaal gebruik van je schijven (te zwijgen als je er 20 in wilt hangen) dan is deze opstelling echt absurt.

Ik zou zeggen zoek een fatsoenlijk controller(raid 5) en bouw hier de rest omheen.

Je wilt 20 hardeschijven gaan gebruiken, hier heb je dus een controller nodig die 24 poorten heeft (20 bestaat niet). Die zijn echter nog niet echt te krijgen of ze zijn erg duur, dus gaan we voor een 16 poort controller kijken.

Een super controller is natuurlijk de Areca ARC-1160 16-poorts PCI-X SATA RAID-adapter.
Hier kun je eerste 8 schijven op kwijt(totaal 16 stuks), je kunt dit aantal steeds uitbreiden want deze kaart kan dit natuurlijk ook mounten.
review: reviews: Mega roundup van Serial ATA RAID 5-adapters

Je ziet dat het een PCI-X poort heeft, dus hier moet je dan ook een (server)bordje bij halen, die zoek ik nu niet, omdat het al laat is(morgen misschien)

Waar vergeet in elkgeval wat je in je openingspost hebt staan, dat is alleen verneukerij en zou zonden zijn van al die schijven waar je zo'n moeie dingen mee kunt doen.
Lees anders effe die review door, die hierboven staat, en als je denkt van > wat is die controller duur zeg, dan moet ik zeggen , je hebt gelijk, maar die kost net zoveel als die vier schijven die je weg gooit bij je vorige confugiratie van je openings-post, te zijgen dat dat pas de helft is van wat je er eigenlijk in wilt stoppen. Doe het meteen goed, anders krijg je er toch alleen spijt van, ik ga nu slapen> anders had ik wel effe door gezocht voor een goeie config. Ltr