Storage showcase topic - 50+ TB storage systems

[robertobadjo]

HyperBart schreef op donderdag 09 juni 2011 @ 12:45:
Bwoah, voorlopig kom ik wel toe met mijn QNAP'je...

een producten (in de trant van Synology/QNAP) heeft trouwens nu ook wel wat mooie NAS'jes (jaja, geen zelfbouw I know en de patsfactor is ook minder hoog) met 10 bays uitgebracht... Vind het niet direct terug...

same here. aloewel ik graag een zelfbouw systeem in elkaar zou willen zetten.

heb hier nog wel een moederbordje met e8400 erop 2gb ram etc etc. ik hoef alleen een kast te kopen en 12 keer een schijfje ofzo en een leuke raidcontroler.

kost genoeg maar helaas geen geld. net nieuw huis gekocht...

[Anoniem: 292340]

robertobadjo schreef op donderdag 09 juni 2011 @ 12:48:
[...]

het houd je wel fit ja.

maar jij offert dus je woonkamer op voor een dedicated computer ruimte..

Dat deed het zeker wel ja (en nog steeds overigens).

Yeps, klein offer hoor.
Mijn (nu ex) pc-kamer (4 x 3 meter) werd te klein, daarnaast wil ik een CaseModkamertje hebben, aangezien is dus binnenkort volop ga casemodden, dus de keuze was al snel gemaakt. De gehele computerzut komt nu in wat ooit de huiskamer (7 x 4 meter) was en de gewezen pc-kamer wordt dus een hobbyhok. Het leek mij namelijk niet echt verstandig om de computers en beamer te combineren met een zaagtafel en andere stof veroorzakende machines. Vandaar dus deze hele operatie.

[robertobadjo]

Anoniem: 292340 schreef op donderdag 09 juni 2011 @ 12:57:
[...]


Dat deed het zeker wel ja (en nog steeds overigens).

Yeps, klein offer hoor.
Mijn (nu ex) pc-kamer (4 x 3 meter) werd te klein, daarnaast wil ik een CaseModkamertje hebben, aangezien is dus binnenkort volop ga casemodden, dus de keuze was al snel gemaakt. De gehele computerzut komt nu in wat ooit de huiskamer (7 x 4 meter) was en de gewezen pc-kamer wordt dus een hobbyhok. Het leek mij namelijk niet echt verstandig om de computers en beamer te combineren met een zaagtafel en andere stof veroorzakende machines. Vandaar dus deze hele operatie.

dan is mijn grote vraag waar gaat de huiskamer dan naartoe??

[HyperBart]

robertobadjo schreef op donderdag 09 juni 2011 @ 12:50:
[...]

same here. aloewel ik graag een zelfbouw systeem in elkaar zou willen zetten.

heb hier nog wel een moederbordje met e8400 erop 2gb ram etc etc. ik hoef alleen een kast te kopen en 12 keer een schijfje ofzo en een leuke raidcontroler.

kost genoeg maar helaas geen geld. net nieuw huis gekocht...

Ik durf het eigenlijk gewoonweg niet... Mijn kennis van Linux is dan heel beperkt, en stel dan dat er toch iets misloopt en al mijn data staat er op (ik kan bv mijn bulkdata zoals films (nog) niet backuppen wegens plaatsgebrek... Mijn 1TB eSATA schijfje dient om de echte belangrijke data te backuppen...

Nu, ik heb nog 2 2TB schijven zoals in mijn 439 Pro II liggen, die gaan waarschijnlijk in een 410 die ik 2de hands aan koop en dan heb ik een backup die ik desnoods bij vrienden ofzo kan neerzetten...

[ Voor 12% gewijzigd door HyperBart op 09-06-2011 13:00 ]

[Splendid]

Anoniem: 292340 schreef op donderdag 09 juni 2011 @ 12:39:
[...]


Vanwege de drang om (zeker) de goede films wel vaker dan 1 keer te kijken. Daarnaast begon het bij mij als back-up, alleen groeide het naar meer als een back-up alleen.
Heb onlangs een beamer gekocht en binnenkort bestel ik een 120" projectiescherm. Ben het laatste jaar bezig geweest om allerlei onderdelen (5.1 reciever, 5.1 speakerset, kabels etc) bij elkaar te sprokkelen.
Ben nu bezig met het herinrichten van mijn huiskamer, zodat ik binnenkort echt kan genieten van films en series. Lekker lui van af de bank, zij het alleen, zij het met vrienden.
De 6TB grens ben ik allang gepasseerd, daar zou ik het echt niet meer mee redden vrees ik!

Hehe, nice. Hier ook wel hoor. Binnenkort een nieuwe tv, 55" LED, server wat verder uitbreiden en dan nog eens een nieuwe speakerset op te kop tikken die wél een optical in heeft, zucht Verder is de server configuratie helemaal done. Automatisch worden alle series gedownload en klaar gezet. Films doe ik nog met de hand, lekker ouderwets Vervolgens via de Mac Mini icm Plex de films/series bekijken. Oh wat zijn vrienden en familieleden jaloers

Wie weet sta ik over een poosje ook in de lijst van 10TB+ servers

[tbusquet]

HyperBart schreef op donderdag 09 juni 2011 @ 12:59:
[...]

Ik durf het eigenlijk gewoonweg niet... Mijn kennis van Linux is dan heel beperkt, en stel dan dat er toch iets misloopt en al mijn data staat er op (ik kan bv mijn bulkdata zoals films (nog) niet backuppen wegens plaatsgebrek... Mijn 1TB eSATA schijfje dient om de echte belangrijke data te backuppen...

Nu, ik heb nog 2 2TB schijven zoals in mijn 439 Pro II liggen, die gaan waarschijnlijk in een 410 die ik 2de hands aan koop en dan heb ik een backup die ik desnoods bij vrienden ofzo kan neerzetten...

Dan pak je gewoon FreeNAS, liefst de 0.7 versie. Die is uitontwikkeld, stabiel en heel makkelijk!

Ik zat ook met de hoeveelheid data kwa films waar ik geen 1 op 1 backup van kan maken omdat het gewoon te veel is. Ik had eerst 8 schijven gewoon los geshared, maar bleef bang dat ik mijn films zou kunnen verliezen. Uiteindelijk besloten om ZFS te draaien op FreeNAS. Ik zou niet meer terug willen kan ik je zeggen.

Een goedkope UPS aan mijn server gehangen en ik heb er een stuk beter gevoel over.

[ Voor 21% gewijzigd door tbusquet op 09-06-2011 13:04 ]

[robertobadjo]

HyperBart schreef op donderdag 09 juni 2011 @ 12:59:
[...]

Ik durf het eigenlijk gewoonweg niet... Mijn kennis van Linux is dan heel beperkt, en stel dan dat er toch iets misloopt en al mijn data staat er op (ik kan bv mijn bulkdata zoals films (nog) niet backuppen wegens plaatsgebrek... Mijn 1TB eSATA schijfje dient om de echte belangrijke data te backuppen...

je bent niet verplicht om linux te draaien he. maar bijvoorbeeld een freenas editie moet wel lukken. installatie is een eitje en de rest doe je via een webinterface.

weet alleen niet of er dan out of the box al je hardware ondersteund word.

maar je kan natuurlijk ook gewoon windows 7 draaien en tevens als client gebruiken.

mogelijkheden zat

[Anoniem: 292340]

robertobadjo schreef op donderdag 09 juni 2011 @ 12:59:
[...]

dan is mijn grote vraag waar gaat de huiskamer dan naartoe??

Die wordt geintegreerd in de film/computerruimte.

[robertobadjo]

Anoniem: 292340 schreef op donderdag 09 juni 2011 @ 13:03:
[...]


Die wordt geintegreerd in de film/computerruimte.

big ass huis heb je dan.

[tbusquet]

robertobadjo schreef op donderdag 09 juni 2011 @ 13:01:
[...]

weet alleen niet of er dan out of the box al je hardware ondersteund word.

mogelijkheden zat

Ik heb alleen maar moderne hardware en dat werkt gewoon out of the box, zelfs een usb naar serieele converter-kabel van Sweex werkte meteen

[robertobadjo]

tbusquet schreef op donderdag 09 juni 2011 @ 13:06:
[...]


Ik heb alleen maar moderne hardware en dat werkt gewoon out of the box, zelfs een usb naar serieele converter-kabel van Sweex werkte meteen

maar jij hebt toch ook een areca conrtoler???

werd die dan ook standaard gepakt door linux? met de raidconfig die je gedefineerd hebt op de kaart zelf.

[Anoniem: 292340]

Splendid schreef op donderdag 09 juni 2011 @ 13:01:
[...]

Hehe, nice. Hier ook wel hoor. Binnenkort een nieuwe tv, 55" LED, server wat verder uitbreiden en dan nog eens een nieuwe speakerset op te kop tikken die wél een optical in heeft, zucht Verder is de server configuratie helemaal done. Automatisch worden alle series gedownload en klaar gezet. Films doe ik nog met de hand, lekker ouderwets Vervolgens via de Mac Mini icm Plex de films/series bekijken. Oh wat zijn vrienden en familieleden jaloers

Wie weet sta ik over een poosje ook in de lijst van 10TB+ servers

Heb zelf ook een LED tv overwogen, maar dat werd net zo duur als de beamer met scherm nu. Beamer is een LED/LCD beamer, dus hoef niet na 4000 uur de lamp te vervangen.
De servers worden stapje voor stapje bij mij identiek opgebouwd en dat lukt tot nu toe redelijk goed, moet nog wel wat onderdelen vervangen om ze identiek te krijgen, maar dat staat allemaal in de bestelling. Grotendeels is de hardware er, het zijn nu nog de laatste loodjes.
Had de Logitech Z5500 geen optical in? Mischien dat dat iets voor je is?
Voor het downloaden heb ik een apart servertje staan, van daar gaat het naar mijn workstation om gecontroleerd en om er een isofile van te maken en dan gaat het naar 1 van de servers. Puur handwerk allemaal, maar dat vind ik niet erg.
Heb onlangs een HTPC'tje in elkaar geknutseld en die staat via HDMI op de beamer aangesloten. Geluid wordt naar de 5.1 reciever geleid. Voor deze hardware ga ik binnenkort even snel een kastje in elkaar zetten.
Over jaloezie kan ik wel meepraten, de meeste die hier binnenkomen staan gelijk aan de grond genageld, ze worden heel erg stil, vervolgens zie je hun ogen steeds groter worden en valt hun mond open. Voor de zekerheid hou ik dan maar even mijn hand onder hun openstaande mond zodat mijn vloer droog blijft!

Ik zou ook wel in het lijstje kunnen staan, maar de servers liggen nu nog uitgestald op een houten plaat, binnenkort ga ik echter zelf een behuizing bouwen, daarna meld ik me wel aan!

[ Voor 4% gewijzigd door Anoniem: 292340 op 09-06-2011 13:23 ]

[Anoniem: 292340]

robertobadjo schreef op donderdag 09 juni 2011 @ 13:06:
[...]

big ass huis heb je dan.

Was het maar waar. Huiskamer is 7 x 4, hobbykamer 4 x 3 en slaapkamer 3 x 3. Daarnaast nog aparte douche, toilet en keuken. Als afsluitertje een klein halletje naar de buitendeur. Vind dat toch wel meevallen.

[robertobadjo]

Anoniem: 292340 schreef op donderdag 09 juni 2011 @ 13:19:
[...]


Was het maar waar. Huiskamer is 7 x 4, hobbykamer 4 x 3 en slaapkamer 3 x 3. Daarnaast nog aparte douche, toilet en keuken. Als afsluitertje een klein halletje naar de buitendeur. Vind dat toch wel meevallen.

creatief met ruimte wezen dan idd...

maar dat je je huiskamer opoffert voor een dedicated pc ruimte. dus de bank etc etc blijft staan je creeert gewoon een extra hoek voor je computer ruimte. word je dan niet gek van het lawaai van 3 comps?

[dvl-2]

thof schreef op maandag 16 mei 2011 @ 11:28:
dvl-2 Heb je toevallig ook foto's van je systeem?
Mooi spul trouwens :-)

Hierbij de foto's:
http://tweakers.net/ext/i/?UserID=145705&FotoID=6708
http://tweakers.net/ext/i/?UserID=145705&FotoID=6709
http://tweakers.net/ext/i/?UserID=145705&FotoID=6710

Q schreef op maandag 16 mei 2011 @ 14:28:
Grag ook iets meer vertellen over het systeem als je wilt. Ands hebben anderen er niets aan en kom je niet in de lijst, graag detailed specs ook vet systeem!

Wat wil je weten. Is een uit de hand gelopen hobby waarbij telkens wat disks erbij kwamen. Begonnen ooit op een Areca 1231ML (4j terug) en 8x1tb destijds (nog gekocht voor €300 per disk ). Toen die controller vol zat is hij vervangen voor een 1280 die tot 6mnd terug dienst heeft gedaan en toen vervangen is door een 1880ix-24. Wordt gebruikt als thuisserver en staat ramvol films, muziek etc. Wel nog de nodige tb's vrije ruimte maar dat probleem lost zich vanzelf op.

full specs:

Lian-Li PC343B (gemod, zie hieronder)
DFI Lanparty UT X58
Intel i7 950
EVGA GTX285
OCZ LV Platinum 6GB 1600mhz Cl6
Auzentech Hometheater-HD
Areca 1880ix-24

6x 3TB Hitachi 7K3000 raid5
18x1TB Hitachi 7K1000 raid 6
1.5TB losse disk
100GB vertex2 voor OS

Netto dus 15TB in raid5, 16 in raid6 en 1,5 los. Totaal 32.5TB

Complete waterkoelingset intern ingebouwd, cpu, full-cover gpu, NB en areca (beide blokjes) in de loop opgenomen met 2 eheim 1260 pompjes, een thermochill P120.3 15mm rad en waterreservoir.

Alles wordt getrokken door een thermaltake toughpower 1200W die binnenkort vervangen gaat worden door de thermaltake toughpower grand 1200W (ivm 2 12V lijnen ipv 4 en 10% meer efficientie).

Toelichting casemod:

Normaal zit de voeding in het rechterdeel van de kast, onderin de hoek. Deze is verplaatst naar boven het moederbord, ondersteboven zodat de intakefan van de rad boven de cpu hangt en lucht naar achteren blaast door de 2x80mm gaten die in de kast zaten.

In het linker (systeem)deel van de kast zit achter de onderste 3 5,25" bays de beide pompjes. Daarboven is er ruimte over voor extra uitbreidingen als dat nodig is.

Achter de 12 5,25" bays van de rechterkant zit over de hele lengte het rad gemonteerd dat voorzien is met 3x120mm fans op beide kanten (totaal dus 6 fans op het rad). Daarachter heb ik 2 racks gemaakt voor beide 12 disks. Dit heb ik gewoon van aluminium gemaakt, gebogen in een U vorm die precies om de disks heen past. Bekleed met stevig schuimrubber hangen de disks daarin. Voorop het eerste rack hangen 3x140mm fans die de lucht over de disks duwen, achterop het tweede rack zitten eveneens 3 140mm fans die de lucht over beide racks trekt.

De sata-voedingskabels die origineel bij de voeding zaten (modulaire voeding) waren precies lang genoeg om over de hele hoogte alle disks te voorzien van prik. Heb de originele sata-connectoren eraf gehaald (waren er maar 4) en 8 anderen gepakt van losse molex--> satasplitters. Die heb ik precies op de juiste afstanden op de voedingslijnen gedrukt om zo dus alle disks op 1 lijn te hangen.

Nog vragen?

[Anoniem: 292340]

robertobadjo schreef op donderdag 09 juni 2011 @ 13:21:
[...]

creatief met ruimte wezen dan idd...

maar dat je je huiskamer opoffert voor een dedicated pc ruimte. dus de bank etc etc blijft staan je creeert gewoon een extra hoek voor je computer ruimte. word je dan niet gek van het lawaai van 3 comps?

Creatief ben ik wel genoeg gelukkig!

Tja, had geen andere keuze eigenlijk en vind het ook niet erg. Van mij had de "huiskamer" nog wel een paar keer groter mogen zijn (nadeel is dan wel dat er dan ook meer computers in komen te staan).
De bank en salontafel die blijven inderdaad staan, net als enkele kastjes. Verlichting gaat binnenkort wel vervangen worden, heb al een 15 meter lichtslang klaar liggen.

Extra hoek? De beide muren van mijn huiskamer worden over de lengte volgezet! (1 muur van 7m lang en 2,5m hoog en 1 muur van 4m lang en 2,5m hoog) Moest toch creatief met ruimte zijn??
Vind het nog meevallen dat ik mijn plafond niet volbouw! Owww, dat ga ik wel doen, daar komt de 5.1 speakerset te hangen....

3 computers is wel een understatement hoor. Heb hier nu 2 servers, 1 workstation, een HTPC en een downloadserver draaien. Verder heb ik nog 2 servermobo's liggen, nog een downloadbordje en komen er ook nog wel 1 of 2 workstations bij. En ja, dit alles komt in 1 ruimte, geloof het of niet!
Gek van het geluid zal ik niet worden, voel me juist prettig als alles aanstaat (1 x gedaan als test). Heerlijk dat zoemende geluid, kan er geen genoeg van krijgen!

[FireDrunk]

dvl-2 schreef op donderdag 09 juni 2011 @ 13:39:
Nog vragen?

Wat verbruikt dat? Hoeveel KWh verbruikt dat?

offtopic:
Muggenzifter

[ Voor 20% gewijzigd door FireDrunk op 09-06-2011 13:58 ]

[Anoniem: 292340]

Stroom??

[HyperBart]

HyperBart schreef op donderdag 09 juni 2011 @ 12:45:
Bwoah, voorlopig kom ik wel toe met mijn QNAP'je...

een producten (in de trant van Synology/QNAP) heeft trouwens nu ook wel wat mooie NAS'jes (jaja, geen zelfbouw I know en de patsfactor is ook minder hoog) met 10 bays uitgebracht... Vind het niet direct terug...

Dacht wel dat het QNAP was:
http://www.tomshardware.c...k-router-media,12850.html

[dvl-2]

FireDrunk schreef op donderdag 09 juni 2011 @ 13:55:
[...]


Wat verbruikt dat? Hoeveel KWh verbruikt dat?

offtopic:
Muggenzifter

VEUL!

Powerup piekt op 1300W (heb geen staggerd spinup vanaf cold boot)
idle 390W
diskload (dus gewoon wat kopieren, schuiven etc op de disks) 480-500W
gpu/cpu load (dus tijdens gamen ed) 600-625W
full-load (maximale belasting) 720-750W

op studentenkamer stond dit beestje 24/7 aan (toen nog wel in enigzins afgeslankte vorm (lees: ca 8 disks minder)) omdat de stroomrekening toch gedeeld door 6en was. Verbruik toen ik wegging zakte toen met 2500KWh op jaarbasis. Nu ik zelf de stroom moet betalen staat ie alleen aan als we hm echt nodig hebben (filmpje kijken, gamen etc). Aangezien we nu allebei werken komt het er dus op neer dat hij alleen in het weekend ca. 8-10u aanstaat. Ja dan nog verbruikt het meer stroom maar dan is de schade te overzien.

[ Voor 35% gewijzigd door dvl-2 op 09-06-2011 14:07 ]

[Anoniem: 292340]

dvl-2 schreef op donderdag 09 juni 2011 @ 14:03:
[...]


VEUL!

Powerup piekt op 1300W (heb geen staggerd spinup vanaf cold boot)
idle 390W
diskload (dus gewoon wat kopieren, schuiven etc op de disks) 480-500W
gpu/cpu load (dus tijdens gamen ed) 600-625W
full-load (maximale belasting) 720-750W

op studentenkamer stond dit beestje 24/7 aan (toen nog wel in enigzins afgeslankte vorm (lees: ca 8 disks minder)) omdat de stroomrekening toch gedeeld door 6en was. Verbruik toen ik wegging zakte toen met 2500KWh op jaarbasis. Nu ik zelf de stroom moet betalen staat ie alleen aan als we hm echt nodig hebben (filmpje kijken, gamen etc). Aangezien we nu allebei werken komt het er dus op neer dat hij alleen in het weekend ca. 8-10u aanstaat. Ja dan nog verbruikt het meer stroom maar dan is de schade te overzien.

Hier staat het ook alleen nog maar aan als het nodig is. Kreeg onlangs de jaarafrekening van de NUON, of ik effe 345 euro bij wilde betalen en het had niet eens een heel jaar aangestaan!
Verbruik moet ik nog steeds even meten, maar dat doe ik als ik mijn case gebouwd heb, dan kan ik het per server / Raidset meten, maar ik denk dat alles bij elkaar opgeteld toch wel tot een leuk getal gaat komen!

[dvl-2]

Wij hebben op de studentenkamer wel eens een inval gehad van de politie vanwege stroomverbruik. Met mij waren er namelijk nog 2 'malloten' met een dergelijk systeem en 1 die 3 simpele pc's 24/7 aan had staan. We hebben echt enkele jaren boven de 10.000 kwh gezeten met zn zessen. Achteraf natuurlijk belachelijk maargoed.

Ik meet gewoon wat de voeding uit het stopcontact trekt. Weet niet precies welk onderdeel hoeveel verbruikt maar dat vind ik ook niet erg belangrijk. De waardes die ik opgeef zijn trouwens 'ongeveer' marges want verbruik schommelt natuurlijk altijd een beetje, kan best wel eens een hoge of lage piek zijn. Stroomverbruik van de pompen zit er trouwens niet bij, die zitten rechtstreeks op de 220 (25W samen).

[Anoniem: 292340]

Die dachten natuurlijk dat er een hennepkwekerij aanwezig was!
Met 3 personen gaat het natuurlijk ook wel aardig lukken ja, daar hoef je dan niet bang voor te zijn! 10.000KWh is zeker niet wat je onder normaal verstaat en dat kan dan wel eens vermoedens de wereld in helpen.

Ik heb hier een Cresta Wattmeter, kwam ooit als beste uit de test van Radar. Apparaat kost slechts 10 euro (Blokker, Gamma, Kijkshop) en meet het opgenomen vermogen van het aangesloten apparaat. Je kan er de KWh prijs inzetten en dan berekent die ook nog wat een apparaat per dag, week of maand zou kosten. Ik zou alles wel in 1 keer kunnen meten, maar dat wordt toch wel moeilijk, aangezien iedere mobo en Raidset een eigen voeding heeft en ik niet alles tegelijk aan kan schakelen, tenzij ik stekkerdozen met schakelaar ga gebruiken. Ik ga het dus per onderdeel meten en tel het dan wel bij elkaar op, dan moet ik toch aardig in de buurt komen denk ik zo. Een marge van +/- 10% aanhouden is dan wel realistisch.

[robertobadjo]

Anoniem: 292340 schreef op donderdag 09 juni 2011 @ 13:39:
[...]


Creatief ben ik wel genoeg gelukkig!

Tja, had geen andere keuze eigenlijk en vind het ook niet erg. Van mij had de "huiskamer" nog wel een paar keer groter mogen zijn (nadeel is dan wel dat er dan ook meer computers in komen te staan).
De bank en salontafel die blijven inderdaad staan, net als enkele kastjes. Verlichting gaat binnenkort wel vervangen worden, heb al een 15 meter lichtslang klaar liggen.

Extra hoek? De beide muren van mijn huiskamer worden over de lengte volgezet! (1 muur van 7m lang en 2,5m hoog en 1 muur van 4m lang en 2,5m hoog) Moest toch creatief met ruimte zijn??
Vind het nog meevallen dat ik mijn plafond niet volbouw! Owww, dat ga ik wel doen, daar komt de 5.1 speakerset te hangen....

3 computers is wel een understatement hoor. Heb hier nu 2 servers, 1 workstation, een HTPC en een downloadserver draaien. Verder heb ik nog 2 servermobo's liggen, nog een downloadbordje en komen er ook nog wel 1 of 2 workstations bij. En ja, dit alles komt in 1 ruimte, geloof het of niet!
Gek van het geluid zal ik niet worden, voel me juist prettig als alles aanstaat (1 x gedaan als test). Heerlijk dat zoemende geluid, kan er geen genoeg van krijgen!

sorry voor het lage aantal maar zoals ik eerder zij ik ben slecht in rekenen. maar ik reken mezelf wel rijk.

vwb het geluid zou ik het hinderlijk vinden als er wat staat te zoemen.

zit zelf samen met mijn servers in 1 kantoor en zonder muziek word ik n 5 min toch echt knettergek van die herrie

ben benieuwd wat het eindresultaat dan word.

ik moet het doen met een laptop een Nasje van conceptronic 2bay met 1x2tb en 1x 1tb en me slapende workstation die wegens ruimtegebrek op me werk in een hoekje niks doet (woon tijdelijk weer in bij ouders totdat ik volgend jaar me sleutel krijg van me nieuwe woning)

vraagje voor de areca bezitters. zijn die kaarten nou ook al compatibel met 3tb schijven aangezien daar een andere boot voor gebruikt word meende ik.

[dvl-2]

robertobadjo schreef op donderdag 09 juni 2011 @ 15:26:
[...]
vraagje voor de areca bezitters. zijn die kaarten nou ook al compatibel met 3tb schijven aangezien daar een andere boot voor gebruikt word meende ik.

Waarom zou dat niet zijn dan? Ik draai al maanden 3tb disks op de 1880ix-24. Geen enkel probleem ondervonden, plug & play.. Ik heb er geen OS op staan maar dat zal geen probleem opleveren (mits volume kleiner dan 2TB natuurlijk).

[FireDrunk]

> 2TB kan wel als je een (u)EFI bios hebt

[robertobadjo]

dvl-2 schreef op donderdag 09 juni 2011 @ 15:28:
[...]


Waarom zou dat niet zijn dan? Ik draai al maanden 3tb disks op de 1880ix-24. Geen enkel probleem ondervonden, plug & play.. Ik heb er geen OS op staan maar dat zal geen probleem opleveren (mits volume kleiner dan 2TB natuurlijk).

Nou sla je de spijker op zijn kop. jij hebt er geen OS op staan. maar is dit wel mogelijk. dus gewoon theoretisch gelul. vroeg het me af.

jouw areca heeft ook sata3. dus zijn zowiezowel compatible.

maar als je dus de oudere versie heb met sata2 zou je deze schijven dan ook kunnen gebruiken. is toch backwards compatible.

[robertobadjo]

FireDrunk schreef op donderdag 09 juni 2011 @ 15:34:
> 2TB kan wel als je een (u)EFI bios hebt

maar dan draai je op de sata poorten op het bord zelf.

aparte raidcontroler heeft zijn eigen interface. gaat toch buiten de bios om van de pc zelf?

[FireDrunk]

Nope, je RAID Controller geeft je raidset als bootvolume door aan je 'echte' BIOS.

[Anoniem: 292340]

robertobadjo schreef op donderdag 09 juni 2011 @ 15:26:
[...]




sorry voor het lage aantal maar zoals ik eerder zij ik ben slecht in rekenen. maar ik reken mezelf wel rijk.

vwb het geluid zou ik het hinderlijk vinden als er wat staat te zoemen.

zit zelf samen met mijn servers in 1 kantoor en zonder muziek word ik n 5 min toch echt knettergek van die herrie

ben benieuwd wat het eindresultaat dan word.

ik moet het doen met een laptop een Nasje van conceptronic 2bay met 1x2tb en 1x 1tb en me slapende workstation die wegens ruimtegebrek op me werk in een hoekje niks doet (woon tijdelijk weer in bij ouders totdat ik volgend jaar me sleutel krijg van me nieuwe woning)

vraagje voor de areca bezitters. zijn die kaarten nou ook al compatibel met 3tb schijven aangezien daar een andere boot voor gebruikt word meende ik.

Maakt niet uit, jij kan ook niet weten wat ik hier exact heb staan, dus je kon alleen maar gokken.

Neuh, zoemend geluid werkt bij mij juist rustgevend, tenzij het een irritante zoem is. Maar dat is met de pc's niet zo.

Eindresultaat wordt eigenlijk als volgt. Tegen de lange muur komen er 4 stalen rekken te staan, met tussen de rekken een zwevend bureau van 200 x 80, hiervan komen er zeker 3 op een rij, dus 6 meter aan bureauruimte. Tegen de korte muur wil ik een soortgelijk iets, maar dat moet nog aangeschaft worden.
Ongeveer een halve meter van het raam af, komt het projectiescherm over de breedte van de "huiskamer" te hangen, een 4,5 meter verderop komt er een kast te staan met daarin de HTPC, reciever en de beamer. Tussen scherm en kast komt er zeker 1 bank te staan en de salontafel. Zoals eerder gezegd gaat het speakersysteem aan het plafond, net als een lichtslang van 15 meter. Dit is het eigenlijk in een notedopje, het wordt nog wel verder uitgebreid. Verder ga ik nog een kast bouwen waar zeker 3 servermobo's in komen te zitten en die ruimte bied aan meer dan genoeg harddisks. Hier volgt later een CCIP over, nog even geduld!

Het is nu nog even behelpen voor je, maar zodra je weer je eigen huisje hebt, kan je weer doen en laten wat je wilt. Je kan natuurlijk al enigzins plannen maken hoe je het hebben wil.

[tbusquet]

robertobadjo schreef op donderdag 09 juni 2011 @ 13:15:
[...]

maar jij hebt toch ook een areca conrtoler???

werd die dan ook standaard gepakt door linux? met de raidconfig die je gedefineerd hebt op de kaart zelf.

Nope, ik heb dit kaartje:

http://www.lsi.com/storag...rs/sas_hbas/lsisas3081er/

En daar draait een IT firmware op, werkt dus als HBA en geeft de schijven gewoon door aan het OS. Ik laat alle raid doen door ZFS.

FreeNAS draait op FreeBSD en die heeft de drivers voor de LSI erin zitten. Was gewoon prik en pray.

[ruitech]

dvl-2 schreef op donderdag 09 juni 2011 @ 14:21:
Wij hebben op de studentenkamer wel eens een inval gehad van de politie vanwege stroomverbruik. Met mij waren er namelijk nog 2 'malloten' met een dergelijk systeem en 1 die 3 simpele pc's 24/7 aan had staan. We hebben echt enkele jaren boven de 10.000 kwh gezeten met zn zessen. Achteraf natuurlijk belachelijk maargoed.

Ik meet gewoon wat de voeding uit het stopcontact trekt. Weet niet precies welk onderdeel hoeveel verbruikt maar dat vind ik ook niet erg belangrijk. De waardes die ik opgeef zijn trouwens 'ongeveer' marges want verbruik schommelt natuurlijk altijd een beetje, kan best wel eens een hoge of lage piek zijn. Stroomverbruik van de pompen zit er trouwens niet bij, die zitten rechtstreeks op de 220 (25W samen).

Hadden jullie niet allen 5 plantjes
Was altijd wel gezellig warm bij jullie DVL :-)

[Perkouw]

Laat ook ik dan mijn systeem maar eens posten.

Inmiddels ben ik bezig met Build 2 van dit systeem maar hieronder vind je in ieder geval Build 1
De behuizing is custom build, de planning is om na deze build nog een build te maken maar dan met een herzien ontwerp van deze behuizing. Verder wil ik er dan 3TB schijven in gaan zetten en het OS mirrorren (2x40 of 80GB SSD).

Momenteel passen er 45 + 2 (voor het OS) schijven in de behuizing. De OS disks kunnen hierbij zowel 2.5'' zijn als 3.5''. In den beginne hing er dan ook gewoon een normale HDD voor het OS in inmiddels zit hier een 80GB intel SSD in.

Enfin dan nu de specs waar het allemaal om draait natuurlijk (foto's zijn af en toe crappy geconverteerd i know)


Software: Windows server 2008 R2
(Software)Raid: Aantal Raid 0 clusters
Moederbord: Asus P7P55D EVO
Cpu: i7 870 @2,93GHZ
Geheugen: 16 GB (4x 4 GB Kingston)
HDD: 45x 2TB (data disks) Samsung Spinpoint F4EG
1x 80GB intel SSD (OS)
(5x 2TB disks spare) Samsung Spinpoint F4EG
Fans: 6x120MM Zalman (mega basic fancontroller in de kast verstopt)
Voeding: 2x OCZ Fatal1ty 750 Watt[/td][/tr]

Build is verkocht.

[ Voor 255% gewijzigd door Perkouw op 28-09-2014 10:17 ]

[Splendid]

Gast, 90TB!! Impressive! Zeer ziek! Al mis ik wel een foto waar alle schijven er in zitten

[dvl-2]

hele mooie build moet ik zeggen. Heb je de hele case zelf gemaakt of ben je vanaf een bepaalde basis begonnen? Dat raster voor die hdd's is wel heel strak, dat is niet met een dremeltje oid gedaan maar behoorlijk professioneel aangepakt.

Nieuwsgierig als ik ben, heb je die hele 90TB vol staan met 'prive'-stuff?

[Perkouw]

Splendid schreef op donderdag 09 juni 2011 @ 17:19:
Gast, 90TB!! Impressive! Zeer ziek! Al mis ik wel een foto waar alle schijven er in zitten

Haha die komen nog wel hoor :-) had/heb er alleen even geen tijd voor. Filmpje heb ik ook nog wel ergens van het hele gebeuren aan en wel.

dvl-2 schreef op donderdag 09 juni 2011 @ 17:19:
hele mooie build moet ik zeggen. Heb je de hele case zelf gemaakt of ben je vanaf een bepaalde basis begonnen? Dat raster voor die hdd's is wel heel strak, dat is niet met een dremeltje oid gedaan maar behoorlijk professioneel aangepakt.

Nieuwsgierig als ik ben, heb je die hele 90TB vol staan met 'prive'-stuff?

Even kort maar krachtig antwoorden.
Kast niet zelf ontworpen, ik en ontwerpen gaat niet echt samen.
De rest is gewoon door een bedrijf gemaakt, dus gewoon uit stalen platen gesneden professioneel en wel. Ook daar begin ik zelf niet aan haha.

Privé stuff is check en ook al geloven jullie het vast niet ik heb geen pr0n troep.

[ Voor 13% gewijzigd door Perkouw op 09-06-2011 17:28 ]

[FireDrunk]

HOho, wie zegt dat pr0n troep is

Maar waarom geen softwareraid? Is echt niet langzamer dan hardwareraid hoor... Mis je goede controllers hebt kan softwareraid zelfs veel sneller zijn. Juist bij 48 aansluitingen word het leuker om meerdere controllers te gebruiken icm softwareraid omdat dat veel meer bandbreedte oplevert...

[Perkouw]

FireDrunk schreef op donderdag 09 juni 2011 @ 17:32:
HOho, wie zegt dat pr0n troep is

Maar waarom geen softwareraid? Is echt niet langzamer dan hardwareraid hoor... Mis je goede controllers hebt kan softwareraid zelfs veel sneller zijn. Juist bij 48 aansluitingen word het leuker om meerdere controllers te gebruiken icm softwareraid omdat dat veel meer bandbreedte oplevert...

Ik vond het persoonlijk niet echt ideaal (ook wat inbouwen betreft, zoveel pci-e sloten nodig) laat staan snel vandaar. Wat betreft de controllers die ik gebruik moet ik je voor nu even een antwoord schuldig blijven dit zoek ik vanavond even op voor je

[ Voor 3% gewijzigd door Perkouw op 09-06-2011 17:36 ]

[BrammT]

Wo(oooooo)w wat een megabuild zeg. daar zit alleen al voor 3000 euro aan schijven in.:|

Enig idee wat het stroomverbruik is, of durf je er niet eens naar te kijken?

[Perkouw]

BrammT schreef op donderdag 09 juni 2011 @ 17:48:
Wo(oooooo)w wat een megabuild zeg. daar zit alleen al voor 3000 euro aan schijven in.:|

Enig idee wat het stroomverbruik is, of durf je er niet eens naar te kijken?

Stroomverbruik heb ik geweten maar nu durf ik dat niet meer met zekerheid te zeggen

En het is net wat je zegt ik kijk er liever niet meer naar en voorlopig reboot ik ook liever even niet...

[Nielson]

(Software)Raid: Aantal Raid 0 clusters

Eh, 90TB in RAID0 Wat voor een s-ata kaartjes en multipliers heb je trouwens nu in gebruik?

[heuveltje]

Nielson schreef op donderdag 09 juni 2011 @ 17:54:
[...]
Eh, 90TB in RAID0 Wat voor een s-ata kaartjes en multipliers heb je trouwens nu in gebruik?

Dat rijmt niet echt met : (5x 2TB disks spare) Samsung Spinpoint F4EG

[Perkouw]

Nielson schreef op donderdag 09 juni 2011 @ 17:54:
[...]
Eh, 90TB in RAID0 Wat voor een s-ata kaartjes en multipliers heb je trouwens nu in gebruik?

Kom ik ook vanavond op terug
Wat is er mis met Raid 0? draait niet als geheel in Raid 0, meerdere clusters die allemaal Raid 0 zijn. Ik meen een stuk of 6

heuveltje schreef op donderdag 09 juni 2011 @ 17:56:
[...]


Dat rijmt niet echt met : (5x 2TB disks spare) Samsung Spinpoint F4EG

Sorry, ik denk niet dat ik je begrijp. Die 5x2TB disks zijn spare parts oftewel zitten niet in de case. Deze heb ik dan ook niet meegerekend.

[ Voor 31% gewijzigd door Perkouw op 09-06-2011 18:01 ]

[soulrider]

geïnspireerd door de build beschreven in de blog van Backblaze?
http://blog.backblaze.com...uild-cheap-cloud-storage/
(zelfde kast, indeling,...)

ik ben benieuwd naar de Sata-controllers en port-multipliers

@hieronder: ik kende die blogpost nog, omdat die bij mij ook 'in planning' staat

[ Voor 29% gewijzigd door soulrider op 09-06-2011 18:06 ]

[Perkouw]

soulrider schreef op donderdag 09 juni 2011 @ 18:02:
geïnspireerd door de build beschreven in de blog van Backblaze?
http://blog.backblaze.com...uild-cheap-cloud-storage/
(zelfde kast, indeling,...)

Geniaal, klopt inderdaad! Het is alweer echt een hele tijd terug dat ik begonnen ben met deze build, was de naam dan ook compleet vergeten. Dank hiervoor!

Mijn versie van het design is inmiddels wel behoorlijk veranderd, zoals bijvoorbeeld dual psu in 1 sleuf (redundant server meuk dus). Maar ben hier nog druk mee bezig haha

[ Voor 7% gewijzigd door Perkouw op 09-06-2011 18:08 ]

[analog_]

Iemand eerder in dit topic had het over de Mellanox MHEA28-XTC die onder ESXi zou werken. Hij staat echter niet in de HCL, kan ik dit dubbel bevestigd zien want anders is het zinloos voor mij. Is tevens eenderwelke CX4 kabel met SFF8470 koppen goed want ze gebruiken graag bergen verschillende standaarden.

[ruitech]

analog_ schreef op donderdag 09 juni 2011 @ 18:09:
Iemand eerder in dit topic had het over de Mellanox MHEA28-XTC die onder ESXi zou werken. Hij staat echter niet in de HCL, kan ik dit dubbel bevestigd zien want anders is het zinloos voor mij. Is tevens eenderwelke CX4 kabel met SFF8470 koppen goed want ze gebruiken graag bergen verschillende standaarden.

Ik heb die kaart hier. en krijg deze nog niet werkend
Ga dit weekend verder testen met esxi en de infiniband setup.

[analog_]

ruitech schreef op donderdag 09 juni 2011 @ 18:10:
[...]

Ik heb die kaart hier. en krijg deze nog niet werkend
Ga dit weekend verder testen met esxi en de infiniband setup.

Om eerlijk te zijn, als ik er zo over nadenk heeft deze kaart een vrij 'dikke' driver nodig (zeg maar de fake raid onder raids) omdat er geen onboard ram is zal hij wat in de driver memory space wat voor moeten reserveren enzo. Ik vrees dat tenzij je een linux driver geport krijgt het dan niet gaat (enfin, das mijn ESXi + custom driver) ervaring.

[ruitech]

[b][message=36194981,noline]
Ik wil erg graag overstappen naar een (hardware)raid controller. Waarom, performance! Bij build 1 was dit niet echt van belang, pure storage dus zolang ik mijn gbit poortjes maar vol kreeg was het prima.

Nu heb ik zelf weinig tot geen ervaring met raid kaarten en heb ik dan ook geen idee welke het best geschikt zou zijn voor deze setup. Ik zou het dan ook erg waarderen als jullie me hierbij zouden willen helpen, graag wel zo onderbouwd mogelijk!

P.s en om maar gelijk eerlijk en open bezig te blijven. Linux heb ik 0 ervaring mee op Ubuntu na. Dan weten jullie waarom de keus op Windows is gevallen. Ik heb het wel geprobeerd met OpenFiler maar dat kreeg ik gewoon niet werkend helaas

Om op je vraag qua hardware controller terug te komen; Zelf heb ik bijzonder goede ervaringen (gehad) met de Areca Controllers. De kaart welke DVL-2 ook gebruikt; Areca 1880ix-24 is een 24 poorts hardware raid controller welke je kunt voorzien van meer geheugen (aan te raden bij zo veel disks) en eenvoudig door bijvoorbeeld een HP Extender kaart voorzien kunt van meer poorten (want aan 24 heb je niet genoeg )
Let daarbij wel op, als je een tweede hands SAS Expander kaart koopt dat het 1 is met een recente firmware.

[Perkouw]

ruitech schreef op donderdag 09 juni 2011 @ 18:16:
[...]


Om op je vraag qua hardware controller terug te komen; Zelf heb ik bijzonder goede ervaringen (gehad) met de Areca Controllers. De kaart welke DVL-2 ook gebruikt; Areca 1880ix-24 is een 24 poorts hardware raid controller welke je kunt voorzien van meer geheugen (aan te raden bij zo veel disks) en eenvoudig door bijvoorbeeld een HP Extender kaart voorzien kunt van meer poorten (want aan 24 heb je niet genoeg )
Let daarbij wel op, als je een tweede hands SAS Expander kaart koopt dat het 1 is met een recente firmware.

Dank voor je reactie, zelf zat ik te kijken naar o.a. RocketRaid kaarten met sas aansluitingen.

Is het trouwens 'beter' om 2 kaarten te gebruiken of zeg je pak 1 kaart en bereid deze uit ?! Nogmaals ik heb hier geen ervaring mee

[Anoniem: 292340]

De RocketRaid 3560 zou, denk ik voor jou, een interessante kaart zijn. 24 poorten en 1GB aan geheugen en een snelle I/O processor. Ik zou er liever 2 dan 1 in een systeem stoppen, dit lijkt mij sneller te gaan dan lezen en schrijven tegelijk naar dezelfde controller, maar dat is mijn mening.

[ruitech]

kan je met de RocketRaid ook een array over twee controllers maken? dus bijvoorbeeld: 48 disks in 1 array? met de Areca kan dat, met de RocketRaid weet ik niet (meer)
Twee controllers is de meeste preformance maar vermoedelijk ook de duurste optie.

[brederodekater]

Mocht je een geschikte controller vinden die aan alle eisen voldoet, hoe ga je dan in godesnaam al je data migreren wanneer het zover is?

Ik ben nu zelf ook bezig met een projectje en ik heb al moeite om 4.5TB te verhuizen

[Anoniem: 292340]

ruitech schreef op donderdag 09 juni 2011 @ 18:24:
kan je met de RocketRaid ook een array over twee controllers maken? dus bijvoorbeeld: 48 disks in 1 array? met de Areca kan dat, met de RocketRaid weet ik niet (meer)
Twee controllers is de meeste preformance maar vermoedelijk ook de duurste optie.

Ik weet dat het met sommige RocketRaid kaarten mogelijk is. Of de 3560 daar ook onder valt, dat durf ik zo niet te zeggen.

Edit 1: Ik heb even op internet rondgekeken of de kaart multi-adapter ondersteunt, maar dat kan ik zo 1, 2, 3 niet zo vinden. Ik zou er voor nu in ieder geval van uit gaan, dat het niet mogelijk is.

[ Voor 76% gewijzigd door Anoniem: 292340 op 09-06-2011 18:36 ]

[Anoniem: 191050]

Met de 3560 kon het een jaar of 2 terug toen ik het uitzocht in ieder geval niet. Areca laat overigens max. 32 devices in 1 RAID set toe. Handig om te weten met zoveel disks
Overigens heb ik gelezen dat een Areca 1880ix-xx niet aan te raden is met een SAS expander erachter, omdat er al een SAS expander on-board zit. Daisy-chainen kan, maar schijnt af en toe wel eens problemen op te leveren.

[johnkeates]

Je zou van windows kunnen afstappen, dan heb je het hele array probleem niet meer. Bijna alle hardware RAID controllers zijn in mdadm van linux gewoon direct te configureren, maar je kan ook over controllers heen stripen, met een uiterst goede performance. Heb je meteen dat je met LVM je databeheer wat beter kan regelen.

Er lopen ook heel wat mensen rond met ZFS-boners maar dat is met hardware raid controllers niet op 1 laag te regelen (moet je eerst ROM utility array's maken, en daarna de devices in ZFS 'stripen').

[brederodekater]

johnkeates schreef op donderdag 09 juni 2011 @ 18:36:
Je zou van windows kunnen afstappen, dan heb je het hele array probleem niet meer. Bijna alle hardware RAID controllers zijn in mdadm van linux gewoon direct te configureren, maar je kan ook over controllers heen stripen, met een uiterst goede performance. Heb je meteen dat je met LVM je databeheer wat beter kan regelen.

Er lopen ook heel wat mensen rond met ZFS-boners maar dat is met hardware raid controllers niet op 1 laag te regelen (moet je eerst ROM utility array's maken, en daarna de devices in ZFS 'stripen').

Het lijkt mij dat als je weinig ervaring hebt met Linux je niet het risico wilt nemen met z'n hoeveelheid data. Ik zou gewoon lekker op Windows blijven, IMHO

[Perkouw]

Zoals beloofd hierbij het type port multiplier;



foto's zijn even snel met de telefoon voor jullie gemaakt = verklaring voor de kwaliteit

CFI-BXX53PM (Silicon Image SII3726CBHU)
Hier zitten dus 2 kanten aan in de zin van;

Kant 1 : 5 sata poorten + sata voeding
Kant 2: 2x molex power + 1 sata poort

Ik kan alleen de sata bordjes niet vinden, probeer van het weekend nog wel even te zoeken. Filmpje zal ik dan ook even proberen op te zoeken.

brederodekater schreef op donderdag 09 juni 2011 @ 18:29:
Mocht je een geschikte controller vinden die aan alle eisen voldoet, hoe ga je dan in godesnaam al je data migreren wanneer het zover is?

Ik ben nu zelf ook bezig met een projectje en ik heb al moeite om 4.5TB te verhuizen

Ik had je vraag al beantwoord maar realiseer me ineens dat het er eigenlijk heel sterk vanaf hangt. Of hij gaat weg of hij blijft. In het eerste geval gaat het natuurlijk wel wat werk en met name tijd kosten, in het 2e geval is er natuurlijk niets aan de hand

[ Voor 30% gewijzigd door Perkouw op 09-06-2011 19:46 ]

[thof]

Perkouw schreef op donderdag 09 juni 2011 @ 19:32:
Filmpje zal ik dan ook even proberen op te zoeken.

Tijd om die server te laten indexeren om sneller te kunnen zoeken?

[Q]

0wn@ge!

90 TB

Maar het is nog niet helemaal duidelijk hoe dit nu uiteindelijk gaat draaien ivm RAID controllers e.d. Dus als RAID wordt toegepast is de capaciteit minder maar dan blijft er nog veel over. Ik zou twee RAID 6 arrays maken en die samen in een JBOD gooien oid om 1 groot en redundant vollume te krijgen. Kost je 4 disks en hou je nog 1 hot-spare disk over mocht een disk klappen.

Met zoveel disks is geen RAID toepassen Russische roulette spelen met een pistool

Wat is dit voor kast btw? Het lijkt op een Backblaze storage pod met al die port multipliers.

Hoe die port multipliers gaan samenwerken met een hardware RAID kaart weet ik niet, hoe zit dit? Je gaat wel bandbreedte en performance missen als de disks in RAID arrays worden gestopt. Eigenlijk moet iedere disk op een port multiplier in een andere RAID array worden gestopt zodat disks verspreid over de port multipliers worden aangesproken om de beschikbare bandbreedte te benutten. Je zou dan bijv 5x9 RAID 5 arrays kunnen maken en die weer tot 1 vollume samensmelten.

[ Voor 36% gewijzigd door Q op 10-06-2011 00:33 ]

[Anoniem: 16225]

Perkouw schreef op donderdag 09 juni 2011 @ 17:02:
Laat ook ik dan mijn systeem maar eens posten.

Holy shit! 90TB en dan nog zo weinig ervaring met raid controllers, respect dat je dat überhaupt aandurft.
Het lijkt mij dat je dit inderdaad met meerdere hw-raid controllers moet oplossen.i.c.m SAS expanders, want gaan die poort multipliers niet misschien voor een enorme performance hit zorgen?
Nou dacht ik dat zo'n SAS expander bijna hetzelfde was als een poort multiplier, maar had je niet beter SAS expanders kunnen gebruiking i.p.v. die multipliers?

Een informative ling over SAS expanders VS port multipliers: http://www.sasexpanders.com/vs/port-multipliers/

Ben wel erg benieuwd naar meer foto's waarin alle schijven aangesloten te zien zijn en naar de performance van je systeem met je uiteindelijke oplossing (een of meerdere HW raid controllers)

[ Voor 21% gewijzigd door Anoniem: 16225 op 10-06-2011 10:49 ]

[heuveltje]

Waar heb je die sata backplanes vandaan ?
Klinkt als iets wat misschien voor mijn idee ook handig is

[robertobadjo]

Perkouw schreef op donderdag 09 juni 2011 @ 17:02:
Laat ook ik dan mijn systeem maar eens posten.

Inmiddels ben ik bezig met Build 2 van dit systeem maar hieronder vind je in ieder geval Build 1
De behuizing is custom build, de planning is om na deze build nog een build te maken maar dan met een herzien ontwerp van deze behuizing. Verder wil ik er dan 3TB schijven in gaan zetten en het OS mirrorren (2x40 of 80GB SSD).

Momenteel passen er 45 + 2 (voor het OS) schijven in de behuizing. De OS disks kunnen hierbij zowel 2.5'' zijn als 3.5''. In den beginne hing er dan ook gewoon een normale HDD voor het OS in inmiddels zit hier een 80GB intel SSD in.

Enfin dan nu de specs waar het allemaal om draait natuurlijk (foto's zijn af en toe crappy geconverteerd i know)

90TB DataServer Software: Windows server 2008 R2 (Software)Raid: Aantal Raid 0 clusters Moederbord: Asus P7P55D EVO Cpu: i7 870 @2,93GHZ Geheugen: 16 GB (4x 4 GB Kingston) HDD: 45x 2TB (data disks) Samsung Spinpoint F4EG 1x 80GB intel SSD (OS) (5x 2TB disks spare) Samsung Spinpoint F4EG Fans: 6x120MM Zalman (mega basic fancontroller in de kast verstopt) Voeding: 2x OCZ Fatal1ty 750 Watt
[afbeelding]	[afbeelding]	[afbeelding]
[afbeelding]	[afbeelding]	[afbeelding]
[afbeelding]	[afbeelding]	[afbeelding]
[afbeelding]	[afbeelding]	[afbeelding]
[afbeelding]	[afbeelding]	[afbeelding]
[afbeelding]	[afbeelding]	[afbeelding]
[afbeelding]	[afbeelding]	[afbeelding]
[afbeelding]	[afbeelding]	[afbeelding]

Nu schaam ik me een beetje voor de volgende vraag maar toch wil ik hem aan jullie stellen of althans graag met jullie van gedachten wisselen over het volgende.

Ik wil erg graag overstappen naar een (hardware)raid controller. Waarom, performance! Bij build 1 was dit niet echt van belang, pure storage dus zolang ik mijn gbit poortjes maar vol kreeg was het prima.

Nu heb ik zelf weinig tot geen ervaring met raid kaarten en heb ik dan ook geen idee welke het best geschikt zou zijn voor deze setup. Ik zou het dan ook erg waarderen als jullie me hierbij zouden willen helpen, graag wel zo onderbouwd mogelijk!

P.s en om maar gelijk eerlijk en open bezig te blijven. Linux heb ik 0 ervaring mee op Ubuntu na. Dan weten jullie waarom de keus op Windows is gevallen. Ik heb het wel geprobeerd met OpenFiler maar dat kreeg ik gewoon niet werkend helaas

gast!! 90 TB haleluja

[Q]

@Perkouw, Als de machine afgebouwd is in zijn defintieve staat, wil je dan nog 1 maal een overzichtspost met defintieve foto's maken + verhaal er om heen er bij plaatsen? Kast, hardware, gemaakte keuzes zodat we je op nummer 1 in de lijst mogen zetten

[Perkouw]

Q schreef op vrijdag 10 juni 2011 @ 09:03:
@Perkouw, Als de machine afgebouwd is in zijn defintieve staat, wil je dan nog 1 maal een overzichtspost met defintieve foto's maken + verhaal er om heen er bij plaatsen? Kast, hardware, gemaakte keuzes zodat we je op nummer 1 in de lijst mogen zetten

Dit word machine 2 Ik heb er dus al 1 staan haha...zeg maar wat je meer wilt weten.
Foto's e.d. ga ik in ieder geval van het weekend even uitpluizen. Zal dan ook een lopend verhaaltje proberen te maken haha

Nooit zoveel reacties verwacht eigenlijk, echt leuk! Ook fijn dat jullie mee willen denken over de raid controller(s)!

[ Voor 14% gewijzigd door Perkouw op 10-06-2011 09:08 ]

[soulrider]

Perkouw schreef op vrijdag 10 juni 2011 @ 09:05:
[...]


Dit word machine 2 Ik heb er dus al 1 staan haha...zeg maar wat je meer wilt weten.
Foto's e.d. ga ik in ieder geval van het weekend even uitpluizen. Zal dan ook een lopend verhaaltje proberen te maken haha

Nooit zoveel reacties verwacht eigenlijk, echt leuk! Ook fijn dat jullie mee willen denken over de raid controller(s)!

Dan is mijn vraag: is Machine 1 ook 90TB en ga je nu dus zo'n 2de maken?
of is die 1ste 'ietsje' kleiner?

@hieronder: 't staat er inderdaad duidelijk genoeg in: te weinig slaap
(komt wellicht ook door het missen van een 'final result'-foto in je overzicht. )

damn 45x3TB = 135TB bruto opslag, stel nog een 3x(Raid6 over 15schijven),
dan komt het nog op 3x13 (15-2pariteit) x3TB=117TB

[ Voor 20% gewijzigd door soulrider op 10-06-2011 09:26 ]

[Perkouw]

soulrider schreef op vrijdag 10 juni 2011 @ 09:10:
[...]

Dan is mijn vraag: is Machine 1 ook 90TB en ga je nu dus zo'n 2de maken?
of is die 1ste 'ietsje' kleiner?

Ik geloof dat het al duidelijk in mijn 'startpost' staat, althans dat dacht ik. De nieuwe build wil ik proberen met 3TB disks uit te rusten, mocht de prijs niet heel erg veel dalen dan houd ik het gewoon weer bij 2TB-ers. Minder in ieder geval niet.

[ Voor 3% gewijzigd door Perkouw op 10-06-2011 09:13 ]

[robertobadjo]

3tb schijven zijn letterlijk 2x zo duur als de 2tb variant. 123 euro voor 3tb tot 63 euro voor 2tb.

voor wat betreft raid controler. mss handig om 2x een areca 18xx te kopen en 2 array's te maken. ben je ook niet meteen alles kwijt als 1 controler er mee ophoud.

mss kan je de areca's nog wel combineren als 2 array's maar dat ie het als 1 geheel laat zien maar of dat in de praktijk lukt durf ik niet te zeggen heb er nog nooit mee gespeeld.

[GioStyle]

Gewoon even wachten tot Samsung haar nieuwe schijven uitbrengt. Dan zullen er goedkopere 3TB en zelfs 4TB schijven komen.

[Perkouw]

robertobadjo schreef op vrijdag 10 juni 2011 @ 09:17:
3tb schijven zijn letterlijk 2x zo duur als de 2tb variant. 123 euro voor 3tb tot 63 euro voor 2tb.

voor wat betreft raid controler. mss handig om 2x een areca 18xx te kopen en 2 array's te maken. ben je ook niet meteen alles kwijt als 1 controler er mee ophoud.

mss kan je de areca's nog wel combineren als 2 array's maar dat ie het als 1 geheel laat zien maar of dat in de praktijk lukt durf ik niet te zeggen heb er nog nooit mee gespeeld.

Zijn inderdaad nog wel duur daarom even kijken wat de prijzen doen tegen die tijd dat hij helemaal gevuld gaat worden.

Wat betreft 2 array's vind ik persoonlijk geen probleem, dan wel weer gewoon Raid 0
Ook wel handig dat niet alles kwijt is inderdaad mocht een raid controller falen. Scheelt toch weer de helft

GioStyle schreef op vrijdag 10 juni 2011 @ 09:20:
Gewoon even wachten tot Samsung haar nieuwe schijven uitbrengt. Dan zullen er goedkopere 3TB en zelfs 4TB schijven komen.

Let's hope so!

[ Voor 19% gewijzigd door Perkouw op 10-06-2011 09:22 ]

[robertobadjo]

Perkouw schreef op vrijdag 10 juni 2011 @ 09:20:
[...]


Zijn inderdaad nog wel duur daarom even kijken wat de prijzen doen tegen die tijd dat hij helemaal gevuld gaat worden.

Wat betreft 2 array's vind ik persoonlijk geen probleem, dan wel weer gewoon Raid 0
Ook wel handig dat niet alles kwijt is inderdaad mocht een raid controller falen. Scheelt toch weer de helft


[...]


Let's hope so!

raid 0? vind je dat niet een beetje gevaarlijk. neem dan raid 5. mocht er dan 1 schijf klappen kan je die gewoon vervangen en ben je niet alles kwijt. lever je ook maar 2 schijven voor in.

[Perkouw]

robertobadjo schreef op vrijdag 10 juni 2011 @ 09:29:
[...]


raid 0? vind je dat niet een beetje gevaarlijk. neem dan raid 5. mocht er dan 1 schijf klappen kan je die gewoon vervangen en ben je niet alles kwijt. lever je ook maar 2 schijven voor in.

Je hebt helemaal gelijk. Heb ook niet echt een idee hoe ik het wil opbouwen mede omdat ik dus nu niet met een raid controller werk. Ik heb nu dus gewoon verschillende clusters gemaakt waarbij ik nooit meer kan verliezen dan zo'n 10~30TB.

Ik weet dan ook niet of het bijvoorbeeld handiger is (en of het mogelijk is) om dan 2 clusters te maken in Raid 5 met 1 controller. Of dat je beter 2 controllers kan pakken en die in Raid 5 zet. Ik ben er nog niet echt uit

[SpamLame]

RAID5 is mijn ogen nutteloos met zo'n groot aantal disken en diskgrootte in een tweetal array's
De rebuild tijd is enorm, de kans dat er een disk uitknalt tijdens de rebuild relatief hoog.
Neem dan RAID6 en/of opteer voor kleinere array's zodat het risico wat meer gespreid is.
RAID0 zou ik ook niet doen, wellicht is ZFS iets om aan te denken

Houd er ook rekening mee dat een port multiplier defect kan raken (of de sata kabel komt los of power failure).
Dan ben je gelijk 5 disken kwijt. Dus of de layout van je array's zo indelen dat verlies van een muliplier opgevangen kan worden, of de array juist concentreren ten einde de schade zoveel mogelijk te beperken.

[ Voor 1% gewijzigd door SpamLame op 10-06-2011 09:41 . Reden: genuanceerd ]

[robertobadjo]

SpamLame schreef op vrijdag 10 juni 2011 @ 09:40:
RAID5 is mijn ogen nutteloos met zo'n groot aantal disken en diskgrootte in een tweetal array's
De rebuild tijd is enorm, de kans dat er een disk uitknalt tijdens de rebuild relatief hoog.
Neem dan RAID6 en/of opteer voor kleinere array's zodat het risico wat meer gespreid is.
RAID0 zou ik ook niet doen, wellicht is ZFS iets om aan te denken

Houd er ook rekening mee dat een port multiplier defect kan raken (of de sata kabel komt los of power failure).
Dan ben je gelijk 5 disken kwijt. Dus of de layout van je array's zo indelen dat verlies van een muliplier opgevangen kan worden, of de array juist concentreren ten einde de schade zoveel mogelijk te beperken.

hangt een rebuild niet af van de proc die op de raidcontroler zit.

zowiezo is het aan te raden mits mogelijk is om de controler te voorzien van extra geheugen. zeker met zo'n array als dit

[Dutchmania]

Als PerkouW zo door gaat kunnen we straks een nieuw topic openen: "Storage showoff topic - 100+ TB storage systems"

[robertobadjo]

Dutchmanic schreef op vrijdag 10 juni 2011 @ 11:22:
Als PerkouW zo door gaat kunnen we straks een nieuw topic openen: "Storage showoff topic - 100+ TB storage systems"

geen probleem lijkt mij. vind het alleen maar intresant. ben geen actieve poster maar een lezer maar dit houd ik wel even in de gaten.

ooit komt er bij mij thuis ook wel een projectje maar eerst de lotto winnen en een huis bouwen...

[SpamLame]

robertobadjo schreef op vrijdag 10 juni 2011 @ 11:19:
[...]

hangt een rebuild niet af van de proc die op de raidcontroler zit.

zowiezo is het aan te raden mits mogelijk is om de controler te voorzien van extra geheugen. zeker met zo'n array als dit

True (tenzij softRAID), maar hoe groter de disk hoe langer dat duurt.
Hoe langer het duurt, hoe groter het risico wordt dat er een volgende schijf uitpiept.
Hoe groter je array (en hier is dat dan 20+ disken als ik de bedoelingen goed begrepen heb) hoe groter de kans dat dat kan gebeuren. Te meer ook omdat de disken in batches aangekocht (kunnen) zijn, dus dezelfde firmware issues, zelfde aantal draaiuren, spinups, slechte serie etc.

[Splendid]

Dutchmanic schreef op vrijdag 10 juni 2011 @ 11:22:
Als PerkouW zo door gaat kunnen we straks een nieuw topic openen: "Storage showoff topic - 100+ TB storage systems"

Ja en kunnen wij stoppen met onze servers en alles bij PerkouW onderbrengen

[Dutchmania]

Splendid schreef op vrijdag 10 juni 2011 @ 12:04:
[...]

Ja en kunnen wij stoppen met onze servers en alles bij PerkouW onderbrengen

Ook dat, en dan maar hopen dat PerkouW een beetje snelle up/download heeft

moet wel zeggen dat ik mezelf hier ook wel een keer zie posten, heb nu nog 4TB maar zit al op 75% hiervan, tikt wel snel aan met die HD films/series.

[Sleepie]

Dutchmanic schreef op vrijdag 10 juni 2011 @ 12:13:
moet wel zeggen dat ik mezelf hier ook wel een keer zie posten, heb nu nog 4TB maar zit al op 75% hiervan, tikt wel snel aan met die HD films/series.

Dat gaat inderdaad vrij hard, maar als ik even reken is 90TB:
1.5GB voor een aflevering van een serie in HD = 60.000 afleveringen
15GB voor een HD mkv van een film = 6000 films
Als je het al voor elkaar krijgt om elke dag 2 films te bekijken, ben je nog altijd dik 8 jaar zoet

Ik ben nu eigenlijk toch wel benieuwd hoeveel van de 90TB echt beschreven is?
En na bovenstaand rekensommetje stiekem toch ook wel waar het mee gevuld is

Verder overigens niets dan respect voor Perkouw's build hoor

[robertobadjo]

SpamLame schreef op vrijdag 10 juni 2011 @ 11:28:
[...]

True (tenzij softRAID), maar hoe groter de disk hoe langer dat duurt.
Hoe langer het duurt, hoe groter het risico wordt dat er een volgende schijf uitpiept.
Hoe groter je array (en hier is dat dan 20+ disken als ik de bedoelingen goed begrepen heb) hoe groter de kans dat dat kan gebeuren. Te meer ook omdat de disken in batches aangekocht (kunnen) zijn, dus dezelfde firmware issues, zelfde aantal draaiuren, spinups, slechte serie etc.

ervaring met zulke grote array's heb ik niet.

softraid al helemaal geen ervaring mee. alleen bij bestellen van schijven zou je toch ook een verzoek kunnen meegeven dat het uit 1 batch moet komen (mits mogelijk) en verschillende batchen heb ik zelf ook gehad maar nooit problemen mee. maar dan bestond de array ook niet meer uit 6 schijven. zowel sata als sas

[SpamLame]

robertobadjo schreef op vrijdag 10 juni 2011 @ 12:39:
[...]


ervaring met zulke grote array's heb ik niet.

softraid al helemaal geen ervaring mee. alleen bij bestellen van schijven zou je toch ook een verzoek kunnen meegeven dat het uit 1 batch moet komen (mits mogelijk) en verschillende batchen heb ik zelf ook gehad maar nooit problemen mee. maar dan bestond de array ook niet meer uit 6 schijven. zowel sata als sas

Ja als je groot genoeg aankoopt kan je vast aangeven dat je alles uit 1 partij wilt (uiteindelijk).
Maar dat was niet direct wat ik bedoelde.

Ik bedoelde meer aan te geven dat schijven die je tegelijkertijd koopt
-uit een batch kunnen komen die minder van kwaliteit zijn.
-dezelfde firmware issue's zouden kunnen hebben.
-uiteindelijk dezelfde leeftijd & draaiuren kunnen hebben
waardoor het risico (op den duur) groter wordt dat meerdere schijven tegelijkertijd/vlak na elkaar kunnen sterven.

En dat dan gekoppeld aan de rebuild doorlooptijden.

[robertobadjo]

SpamLame schreef op vrijdag 10 juni 2011 @ 12:47:
[...]


Ja als je groot genoeg aankoopt kan je vast aangeven dat je alles uit 1 partij wilt (uiteindelijk).
Maar dat was niet direct wat ik bedoelde.

Ik bedoelde meer aan te geven dat schijven die je tegelijkertijd koopt
-uit een batch kunnen komen die minder van kwaliteit zijn.
-dezelfde firmware issue's zouden kunnen hebben.
-uiteindelijk dezelfde leeftijd & draaiuren kunnen hebben
waardoor het risico (op den duur) groter wordt dat meerdere schijven tegelijkertijd/vlak na elkaar kunnen sterven.

En dat dan gekoppeld aan de rebuild doorlooptijden.

dan kom je toch uit op de enterprise reeks schijven. (sorry voor misverstand van mijn kant uit)

die schijven zijn alleen een stuk duurder. beste is wel om de aankoop in 1 keer te doen. mss krijg je dan ook wel wat meer korting. bij desktop schijven is het aantal uren toch korter als enterprise schijven. maar de garantie liep ook anders meende ik (shoot me als ik het fout heb ) maar met zo'n grote array zul je toch naar een raid 5/6 met een aantal hotspares gaan lijkt mij. raid 0 is vragen om gezeik imho.

wil je ook echt performance kan je ook nog naar raid 50 of 60 maar dan lever je wel weer een enorme capaciteit in kwa groote. dus het zwikkie verdelen over meerdere array's/controlers is dan geen overbodige luxe lijkt mij. heeft alleen financieel effect.

het valt en staat om de prioriteit van de data. als hij het niet erg vind dat er zo nu en dan eens een rebuild moet plaatsvinden of data die weg is jah dan kan je een gokje nemen lijkt mij.

[SpamLame]

Enterprise (of near- /midline) schijven hebben de zelfde problemen.
Ook daar kan een slecht serie of buggy firmware tussen zitten.
Uiteindelijk hebben ze ook X uren gedraaid/ spinups gehad etc.

Mijn punt is dat is dat indien je grote capaciteits schijven gebruikt (zeg boven 1TB) in grootte arrays (van zeg 20+ schijven) de rebuild tijd (zeg dagen) zo lang wordt, dat je verhoogd risico loopt op een dataverlies indien de volgende schijf klapt.

Daarvoor hebben ze RAID6 uitgevonden, zodat je nog redundantie hebt in het geval er een disk is stuk gegaan. RAID6 verhinderd niet dat er dan nog steeds voor lange tijd gerebuild moet worden, alle data moet immers gecontroleerd en berekend worden.

Helaas zorgen hotspares er niet voor dat de rebuild sneller gaat, wel dat deze sneller kan starten.

Ben met je eens dat je zelf moet bepalen hoe belangrijk je de data vind, vandaar ook dat ik initieel aangaf ook niet in RAID 0 te gaan draaien. Maar goed we weten niet wat Perkouw voor ogen heeft. Als die tweede build bv de backup van de eerste build wordt dan zou RAID0 een aanvaardbaar risico kunnen zijn.

Afhankelijk van de setup, maar ik zou ik bij 1 HW controller of softRAID, per aansluiting (5) op een (portmultiplier -1), een RAID5 setje maken. Dan krijg je 5 array's en zijn het aantal spindels per Array nog enigzins beperkt.
Door de -1, hou je dan een portmultiplier over waarvan de disken dan als Global Spares aangeduid worden.
Hopelijk heb ik het een beetje duidelijk kunnen omschrijven..

[robertobadjo]

SpamLame schreef op vrijdag 10 juni 2011 @ 15:01:
Enterprise (of near- /midline) schijven hebben de zelfde problemen.
Ook daar kan een slecht serie of buggy firmware tussen zitten.
Uiteindelijk hebben ze ook X uren gedraaid/ spinups gehad etc.

Mijn punt is dat is dat indien je grote capaciteits schijven gebruikt (zeg boven 1TB) in grootte arrays (van zeg 20+ schijven) de rebuild tijd (zeg dagen) zo lang wordt, dat je verhoogd risico loopt op een dataverlies indien de volgende schijf klapt.

Daarvoor hebben ze RAID6 uitgevonden, zodat je nog redundantie hebt in het geval er een disk is stuk gegaan. RAID6 verhinderd niet dat er dan nog steeds voor lange tijd gerebuild moet worden, alle data moet immers gecontroleerd en berekend worden.

Helaas zorgen hotspares er niet voor dat de rebuild sneller gaat, wel dat deze sneller kan starten.

Ben met je eens dat je zelf moet bepalen hoe belangrijk je de data vind, vandaar ook dat ik initieel aangaf ook niet in RAID 0 te gaan draaien. Maar goed we weten niet wat Perkouw voor ogen heeft. Als die tweede build bv de backup van de eerste build wordt dan zou RAID0 een aanvaardbaar risico kunnen zijn.

Afhankelijk van de setup, maar ik zou ik bij 1 HW controller of softRAID, per aansluiting (5) op een (portmultiplier -1), een RAID5 setje maken. Dan krijg je 5 array's en zijn het aantal spindels per Array nog enigzins beperkt.
Door de -1, hou je dan een portmultiplier over waarvan de disken dan als Global Spares aangeduid worden.
Hopelijk heb ik het een beetje duidelijk kunnen omschrijven..

hier mag je wat dieper op ingaan want is mij nog niet geheel duidelijk.

bedoel je dus 1 flinke raid controler waar je de 20+ schijven op gaat aansluiten (mits dat bestaat) en dan meerdere array's maken waardoor je dus de kansen spreid. betekend wel dat je 4 spares moet inleveren is dus 4*3TB=12TB in totaal maar de rebuildtijd is korter.

maar 3tb rebuilden lijkt mij toch nog wel meevallen. hij pakt toch alleen de gebruikte data. hoe voller de schijf hoe langer het duurt of heb ik het mis?

[KorneelB]

Perkouw schreef op donderdag 09 juni 2011 @ 17:02:
Laat ook ik dan mijn systeem maar eens posten.

Inmiddels ben ik bezig met Build 2 van dit systeem maar hieronder vind je in ieder geval Build 1
De behuizing is custom build, de planning is om na deze build nog een build te maken maar dan met een herzien ontwerp van deze behuizing. Verder wil ik er dan 3TB schijven in gaan zetten en het OS mirrorren (2x40 of 80GB SSD).

Momenteel passen er 45 + 2 (voor het OS) schijven in de behuizing. De OS disks kunnen hierbij zowel 2.5'' zijn als 3.5''. In den beginne hing er dan ook gewoon een normale HDD voor het OS in inmiddels zit hier een 80GB intel SSD in.

Enfin dan nu de specs waar het allemaal om draait natuurlijk (foto's zijn af en toe crappy geconverteerd i know)

90TB DataServer Software: Windows server 2008 R2 (Software)Raid: Aantal Raid 0 clusters Moederbord: Asus P7P55D EVO Cpu: i7 870 @2,93GHZ Geheugen: 16 GB (4x 4 GB Kingston) HDD: 45x 2TB (data disks) Samsung Spinpoint F4EG 1x 80GB intel SSD (OS) (5x 2TB disks spare) Samsung Spinpoint F4EG Fans: 6x120MM Zalman (mega basic fancontroller in de kast verstopt) Voeding: 2x OCZ Fatal1ty 750 Watt
[afbeelding]	[afbeelding]	[afbeelding]
[afbeelding]	[afbeelding]	[afbeelding]
[afbeelding]	[afbeelding]	[afbeelding]
[afbeelding]	[afbeelding]	[afbeelding]
[afbeelding]	[afbeelding]	[afbeelding]
[afbeelding]	[afbeelding]	[afbeelding]
[afbeelding]	[afbeelding]	[afbeelding]
[afbeelding]	[afbeelding]	[afbeelding]

Nu schaam ik me een beetje voor de volgende vraag maar toch wil ik hem aan jullie stellen of althans graag met jullie van gedachten wisselen over het volgende.

Ik wil erg graag overstappen naar een (hardware)raid controller. Waarom, performance! Bij build 1 was dit niet echt van belang, pure storage dus zolang ik mijn gbit poortjes maar vol kreeg was het prima.

Nu heb ik zelf weinig tot geen ervaring met raid kaarten en heb ik dan ook geen idee welke het best geschikt zou zijn voor deze setup. Ik zou het dan ook erg waarderen als jullie me hierbij zouden willen helpen, graag wel zo onderbouwd mogelijk!

P.s en om maar gelijk eerlijk en open bezig te blijven. Linux heb ik 0 ervaring mee op Ubuntu na. Dan weten jullie waarom de keus op Windows is gevallen. Ik heb het wel geprobeerd met OpenFiler maar dat kreeg ik gewoon niet werkend helaas

nice!
ik geef de storage troffee gaarne door

[lampie1979]

Q schreef op vrijdag 10 juni 2011 @ 09:03:
@Perkouw, Als de machine afgebouwd is in zijn defintieve staat, wil je dan nog 1 maal een overzichtspost met defintieve foto's maken + verhaal er om heen er bij plaatsen? Kast, hardware, gemaakte keuzes zodat we je op nummer 1 in de lijst mogen zetten

Mooie Build zeg! Die backblaze spullen zijn geweldig om mee van start te gaan.

Ik zou bijvoorbeeld geinteresseerd zijn in:

Welke componenten je hebt gebruikt binnenin je storagepod: Dus welke multipliers, merk, type etc..

Hoe is de pasvorm, heb je nog dingen in het backblaze ontwerp aangepast?

Waar heb je je storagepod laten maken en wat kost dit?

Wat zijn nu de totaalkosten van zo kast (dus kast, multipliers, schroefjes, fans etc..)?

Verder hulde voor deze mega build!


Mijn advies:

Gezien de port multiplier setup zou mijn advies zijn ze op te delen in kleine arrays klusters (Raid5) en deze vervolgens in JBOD aanelkaar te linken. B.v. 10 klusters van 5 disks raid-5 arrays.

Twee grote arrays van b.v. Raid-6 zou ik niet aanraden. Mocht er een schijf uitklappen en hij gaat rebuilden, maak dan je borst maar nat met een port multiplier setup. Dat rebuilden gaat namelijk wel de nodige tijd kosten. Binnen deze tijd en hevige schijf activiteit is de kans groot dat er ook andere schijven ten onder gaan....

[ Voor 4% gewijzigd door lampie1979 op 10-06-2011 18:59 ]

[Perkouw]

Ik ga echt nog uitgebreider reageren van het weekend, maar iemand enig idee hoe je makkelijk/snel je foto's op tweakers kan posten zonder ze zo stom te verkleinen als ik heb gedaan ? Heb ooit eens een programmaatje hier voor weten te bemachtigen van Atlex (?) alleen heb ik deze niet meer, deze was toen der tijd ook met een nieuwe bezig meen ik.

Op voorhand kan ik al wel zeggen dat ik echt geen idee meer heb waar ik alles vandaan heb, zal me best doen zoveel mogelijk terug te zoeken. Deze build is dan ook 1 jaar oud ongeveer. Zal bij Build 2, de huidige dus, wat meer m'n best doen in het vastleggen van alles

Verder lees ik de discussie omtrent het raid verhaal aandachtig mee. Voor nu denk ik dat we de richting op gaan van 2 raid conrollers met Raid 6 configuraties.

Ook ben ik erg benieuwd naar dat rebuilden hoe lang dit nu zou duren in het geval er een disk faalt. Zowel in Raid 5 als Raid 6 configuratie. Praten we over 5 minuten? 50 minuten? of een veel grotere tijdsduur ?


@Spamlane
Van wat ik begrijp is dat je dus per multiplier een Raid 5 configuratie wilt doen ? Waarbij je er 1 voor Global Spares houd zoals jij het noemt, is dit een officiële term overigens ? Mij word dan niet echt duidelijk wat dit inhoud of hoe dit werkt.

Verder begreep ik dat je dus 1 raid controller wilde gebruiken. (in jou voorbeeld dan in ieder geval).
Dan krijg je dus 8x Raid 5 clusters met 1x Global Spares. (Zitten 9 multipliers in namelijk)

[ Voor 41% gewijzigd door Perkouw op 10-06-2011 21:10 ]

[robertobadjo]

ik ben benieuwd waarmee je komt maar zal vast niet de enige zijn.

vwb het rebuilden denk ik dat je meer in dagen moet gaan denken met rebuilden....

[ieperlingetje]

Perkouw schreef op vrijdag 10 juni 2011 @ 21:01:
Ik ga echt nog uitgebreider reageren van het weekend, maar iemand enig idee hoe je makkelijk/snel je foto's op tweakers kan posten zonder ze zo stom te verkleinen als ik heb gedaan ? Heb ooit eens een programmaatje hier voor weten te bemachtigen van Atlex (?) alleen heb ik deze niet meer, deze was toen der tijd ook met een nieuwe bezig meen ik.

Zijn photo uploader tool kun je vinden in de meuktracker: meuk: Tweakers.net Photo Poster 1.5.0.4 afbeeldingen die het fotoalbum verkleint vallen nog redelijk mee van kwaliteit

[Perkouw]

robertobadjo schreef op vrijdag 10 juni 2011 @ 21:22:
ik ben benieuwd waarmee je komt maar zal vast niet de enige zijn.

vwb het rebuilden denk ik dat je meer in dagen moet gaan denken met rebuilden....

Dagen nog wel Dat is niet echt ideaal nee.

ieperlingetje schreef op vrijdag 10 juni 2011 @ 21:36:
[...]


Zijn photo uploader tool kun je vinden in de meuktracker: meuk: Tweakers.net Photo Poster 1.5.0.4 afbeeldingen die het fotoalbum verkleint vallen nog redelijk mee van kwaliteit

Ik dank u hartelijk Ai ik moet alleen nog wel steeds de foto's resizen. Zoals je al eerder kon zien ben ik daar niet zo'n ster in...Blijft naar die 2MB limiet, op momenten zoals deze.

[ Voor 49% gewijzigd door Perkouw op 10-06-2011 21:48 ]

[iMars]

Perkouw schreef op donderdag 09 juni 2011 @ 17:02:
Laat ook ik dan mijn systeem maar eens posten.

Inmiddels ben ik bezig met Build 2 van dit systeem maar hieronder vind je in ieder geval Build 1
De behuizing is custom build, de planning is om na deze build nog een build te maken maar dan met een herzien ontwerp van deze behuizing. Verder wil ik er dan 3TB schijven in gaan zetten en het OS mirrorren (2x40 of 80GB SSD).

Momenteel passen er 45 + 2 (voor het OS) schijven in de behuizing. De OS disks kunnen hierbij zowel 2.5'' zijn als 3.5''. In den beginne hing er dan ook gewoon een normale HDD voor het OS in inmiddels zit hier een 80GB intel SSD in.

Enfin dan nu de specs waar het allemaal om draait natuurlijk (foto's zijn af en toe crappy geconverteerd i know)

90TB DataServer Software: Windows server 2008 R2 (Software)Raid: Aantal Raid 0 clusters Moederbord: Asus P7P55D EVO Cpu: i7 870 @2,93GHZ Geheugen: 16 GB (4x 4 GB Kingston) HDD: 45x 2TB (data disks) Samsung Spinpoint F4EG 1x 80GB intel SSD (OS) (5x 2TB disks spare) Samsung Spinpoint F4EG Fans: 6x120MM Zalman (mega basic fancontroller in de kast verstopt) Voeding: 2x OCZ Fatal1ty 750 Watt
[afbeelding]	[afbeelding]	[afbeelding]
[afbeelding]	[afbeelding]	[afbeelding]
[afbeelding]	[afbeelding]	[afbeelding]
[afbeelding]	[afbeelding]	[afbeelding]
[afbeelding]	[afbeelding]	[afbeelding]
[afbeelding]	[afbeelding]	[afbeelding]
[afbeelding]	[afbeelding]	[afbeelding]
[afbeelding]	[afbeelding]	[afbeelding]

Nu schaam ik me een beetje voor de volgende vraag maar toch wil ik hem aan jullie stellen of althans graag met jullie van gedachten wisselen over het volgende.

Ik wil erg graag overstappen naar een (hardware)raid controller. Waarom, performance! Bij build 1 was dit niet echt van belang, pure storage dus zolang ik mijn gbit poortjes maar vol kreeg was het prima.

Nu heb ik zelf weinig tot geen ervaring met raid kaarten en heb ik dan ook geen idee welke het best geschikt zou zijn voor deze setup. Ik zou het dan ook erg waarderen als jullie me hierbij zouden willen helpen, graag wel zo onderbouwd mogelijk!

P.s en om maar gelijk eerlijk en open bezig te blijven. Linux heb ik 0 ervaring mee op Ubuntu na. Dan weten jullie waarom de keus op Windows is gevallen. Ik heb het wel geprobeerd met OpenFiler maar dat kreeg ik gewoon niet werkend helaas

Holy cr... wat een systeem man! Ik moest gelijk aan backblaze denken.
Mag ik vragen wat je met zoveel data doet?

[robertobadjo]

Perkouw schreef op vrijdag 10 juni 2011 @ 21:40:
[...]


Dagen nog wel Dat is niet echt ideaal nee.


[...]


Ik dank u hartelijk Ai ik moet alleen nog wel steeds de foto's resizen. Zoals je al eerder kon zien ben ik daar niet zo'n ster in...Blijft naar die 2MB limiet, op momenten zoals deze.

je kan de foto's ook ergens anders hosten en dan hier linken imageshack ofzo.

aan lange rebuild tijd ontkom je toch niet echt ivm de grote van het systeem. hoe meer array's je maakt je korten maar uit eindelijk zal het toch lang gaan duren.

[Q]

- foutje

De rebuild tijd wordt bepaald door:

1. de snelheid van een schijf
2. de grootte van een schijf.

De rebuild tijd wordt niet bepaald door het aantal schijven.

Bij een rebuild moeten alle schijven zo'n beetje alle data inlezen. 1 schijf moet dan alles schrijven.

Als schijven dus op 1 kanaal zitten zoals bij die expanders, zullen de schijven de beschikbare bandbreedte moeten delen en zullen rebuild tijden fors toenemen.

Mijn 18 TB array met 1 TB disks rebuilt in 5 uur. Op dat moment trekt het systeem totaal 1 GB (gigabyte) per seconde. Van wat mensen hier hoor ik dat 2 TB disks inderdaad 10+ uur rebuilden.

Reken bij 3 TB disks op rebuild tijden van 15+ uur. RAID 6 en hotspares zijn wel gewenst dan. Dat geeft wat capaciteitsverlies maar ach, waar hebben we het over.

Het punt is wel dat bij grote arrays waarschijnlijk de controller op een gegeven moment het best zwaar heeft, maar ik heb daar geen getallen bij.

Voor een setup met port multipliers zou ik dus toch mijn trukje overwegen: maak 5 RAID 5 arrays aan van 9 disks. Iedere disk uit een RAID 5 set zit op een andere port multiplier, zodat je optimaal gebruik maakt van de beschikbare bandbreedte.

Het enige wat ik me afvraag is hoe port multipliers en raid controllers het met elkaar doen. Beetje kut als je een dure controller koopt die dan geen disks herkent.

Als je Linux kennis beperkt is zou ik er zeker niet aan beginnen want je moet ook vaardig genoeg zijn om iets op te kunnen lossen als het mis gaat.

Maar ik fantaseer graag over het idee dat je op basis van build 1 met allemaal losse sata controllertjes gewoon de boel aanstuurt. Dan zou je dus die 5x9 opzet prima kunnen maken en dan met LVM tot 1 enorme array aan elkaar knopen.

Met 9 port multipliers heb je 9x SATA II = 9x 300 MB/s aan bandbreedte. Dat is 2700 MB/s. Stel dat je effectief maar 250 MB/s over 1 kannaal haalt, dan kom je nog op 9x250 = 2250 MB/s.

Dat zou 50 MB/s per disk zijn. Dat gaat eigenlijk prima met software RAID onder Linux. Bij het rebuilden haal ik ook dat soort snelheden.

Reken maar mee: 50 MB/s is ongeveer 180 GB / uur, dus een rebuild kost dan 5.5 uur. Precies conform mijn verhaaltje. Met 3 TB disks wordt dat dus iets van 18 uur. Maak er max 20 van.

Maar dat is dan wel 15 tot 20 uur 100% belasting.

Maar port multipliers zijn helemaal niet zo gek, je haalt niet de prestatie die in de disk zit, maar die haal je meestal toch al niet in dit soort configs.

[ Voor 254% gewijzigd door Q op 11-06-2011 00:06 ]

[robertobadjo]

je controler moet de date toch berekenen dus die komt dan op nr3 te staan. hoe meer schijven je op 1 kanaal zet hoe lager de doorvoer snelheid want hij heeft ze allemaal nodig.

ik moet zeggen dat het me nog wel meevalt om 1tb in 5 uur te rebuilden. maar dat zal wel onder ideale omstandigheden zijn zonder gebruik van het systeem.

[Jormungandr]

Door het spreiden van de disks binnen je raid array over verschillende controllers/multipliers ga je dan ook een single point of failure weghalen. Niks zo klote als een port multiplier van 5 poorten die de fik in gaat en meteen 5 disks uit dezelfde array met zich mee sleurt.
Een beetje zoals de Symmetrix DMX/VMAX die schijven "willekeurig" gaat uitpikken om ze zo optimaal in 1 array te gooien om zoveel mogelijk rendundancy toe te passen. Dat kan je perfect thuis ook uitvoeren.

@ Roberto: voor thuisgebruik valt dat meestal zeer tot uiterst goed mee aangezien de meeste NASsen toch niet constant volledig belast worden. Maar inderdaad, de load op een array is ZEKER een van de factoren aanvullend op Q's post.

[Anoniem: 14124]

En kun je die losse raid sets niet nogmaals combineren tot een raid 6 set? Het is ook niet prettig als straks een van de raid 5 sets faalt en je bij een dergelijk systeem al direct praat over terabytes aan verlies doordat de rebuild faalt bij errors.

[Perkouw]

@Allen

Mijn ''startpost'' heb ik even aangepast. Foto's opnieuw geüpload deze zijn nu dan ook niet meer raar geconverteerd qua afmetingen. Zal kijken of ik even tijd heb nog wat foto's te maken met disks en al, dit heb ik namelijk nog niet eens gedaan haha.

Filmpje zoals beloofd (ja met m'n telefoon gemaakt toen der tijd):
YouTube: ‪Build 1 - 90TB‬‏
Hierin zie je de eerste boot met disks (15 stuks) als ik het goed heb

Weet verder iemand waar ik kabels kan kopen zoals deze in een molex aansluiting zitten. Oftewel de rode/zwarte en gele kabel. Dit omdat ik zelf een strook wil maken met molex aansluitingen voor de multipliers. Scheelt weer met verloop kabeltjes te werken en het scheelt heel veel met inbouwen zowel qua ruimte als moeite.

Onderstaande foto zie je nogmaals duidelijk welke soort koperen kabels ik bedoel;



@Q

Voor een setup met port multipliers zou ik dus toch mijn trukje overwegen: maak 5 RAID 5 arrays aan van 9 disks. Iedere disk uit een RAID 5 set zit op een andere port multiplier, zodat je optimaal gebruik maakt van de beschikbare bandbreedte.

Oké, dan is mijn vraag hoe regel je dat? Dat je dus voor elk array 1 disk pakt per multiplier ?
Zou je hierbij ook gebruik maken van 2 raid controllers of juist 1 ? En dan moet ik natuurlijk nog gaan kijken welke dit dan worden.

Ik denk dat ik er verstandig aan doe om een raid controller te lenen en deze uitvoerig te testen eer ik er één aanschaf als ik het zo hoor.

[ Voor 22% gewijzigd door Perkouw op 11-06-2011 16:39 . Reden: Power cable vraag toegevoegd ]

[prozak]

Perkouw schreef op zaterdag 11 juni 2011 @ 13:10:
@Allen


Weet verder iemand waar ik kabels kan kopen zoals deze in een molex aansluiting zitten. Oftewel de rode/zwarte en gele kabel. Dit omdat ik zelf een strook wil maken met molex aansluitingen voor de multipliers. Scheelt weer met verloop kabeltjes te werken en het scheelt heel veel met inbouwen zowel qua ruimte als moeite.

Onderstaande foto zie je nogmaals duidelijk welke soort koperen kabels ik bedoel;
[afbeelding]

bedoel je dit?

http://www.dealextreme.com/p/sata-power-cable-9809

[FireDrunk]

Hij wil alleen de kabel denk ik... Ik zou zeggen ga naar de lokale electro boer en haal gewoon 2 x 2 aderige kabel en maak ze zelf...