Storage showcase topic - 50+ TB storage systems

[Verwijderd]

zo rond de 700-800w ofzo?

[DDX]

zie bron

[fonsoy]

Verwijderd schreef op vrijdag 31 mei 2013 @ 09:04:
[...]


Toevallig heb ik nog geen 12 uur geleden een oplossing gevonden voor dat probleem die bij mijn setup lijkt te werken:

http://christopher-techni...devices-from-esxi-to.html

Werkte inderdaad als een trein

De kast is een Yeong Yang YY-W201. Jullie zaten dus niet zo in de buurt!
Ik heb hem een tijdje geleden overgenomen van een medetweaker. Alle wanden zijn bedekt met bitumen en schuimrubber. Stiller kan niet

[soulrider]

Xesxen schreef op zondag 09 juni 2013 @ 19:12:
[...]

[afbeelding]
Zijn huide stand bij een torrenttracker

Wie kan inschatten wat voor stroom die setup gebruikt?

2PB upload ... 1TB download bij een tracker
en dat is dan slechts 1 tracker van de mogelijk velen.

Gelukkig voor hem is de rest er nog niet achter gekomen of hij zou zijn hele setup kwijt zijn met een gepepperde rekening wegens uploading...
alhoewel die nu natuurlijk heel mooi om hun radar is verschenen.

Hij maakt het natuurlijk wel makkelijk voor de andere torrent-users
maar ik zou met zulke hardware toch net iets meer oppassen met zulke uploads:
persoonlijk zou ik dat namelijk niet kwijt willen spelen.

ps: bij mij zou het dan wellicht iets meer omgekeerd liggen : veel download, weinig tot niets upload.
Want downloaden wordt vaak gedoogt, sharen/uploaden/verkopen voor geld veel minder.

Maar voordat het offtopic gaat: ik wou dat ik zelf zulke rack had en hij mag zijn serverrack altijd bij mij parkeren maar dan zonder internet connectie :-)

[ Voor 7% gewijzigd door soulrider op 10-06-2013 11:35 ]

[SpamLame]

fcg123 schreef op donderdag 25 april 2013 @ 18:05:
....

De switch heb ik op marktplaats voor 250 op de kop getikt. Alle 16 poorten zijn gelicenced op 4gbit. De dusl port HBA's een jaar geleden voor 75 pst inclusief een boel kabels.

FYI
Die switch is een B200e 16port 4gbit. (of rebranded geval door de IBM's van deze wereld.)
De licenties bepalen alleen hoeveel porten (of welke functionaliteit) je gebruiken kan.
De snelheid wordt bepaalt door de sfp's die je gebruikt (met een max van 4Gb want sneller gaat deze ASIC niet)

Overigens met 1 target 1 initiator zou je ervoor kunnen kiezen alles direct aan te sluiten.
Als je meer metrics wilt weten, kijk dan even naar Cacti waarvoor je templates kunt importeren, maar elke tool waar je SNMP kan uitlezen zou je tegen de switch kunnen aanhouden.

Naast Comstar heb je ook andere mogelijkheden om je FC-HBA's in target mode te zetten.

[ Voor 4% gewijzigd door SpamLame op 10-06-2013 13:42 ]

[Jormungandr]

Brocade 200e switches zijn gemakkelijk te vinden op Ebay en consoorten en voldoen voor de meeste thuis setups. Met wat geluk heb je eentje met alle 16 poorten actief.

[SpamLame]

Of gewoon hier >> V&A aangeboden: IBM Brocade 2005-h16 SAN switch
Een B200, licenties worden niet vermeld.
Voor wie intresse heeft heeft, vraag naar de licenseshow output en kijk of er een POD license opstaat.
Indien ja 16 porten actief zo nee dan 8.

[BartNL]

een Chenbro expander in bestelling omdat ik de 2e Norco kast zonder moederbord wil draaien. Voeding in 2e kast schakel ik dan via een relais dat pin 16 van de 24pins PSU ATX connector naar gnd doorverbind.
Tweede kast zitten nu 6x 4TB Seagates bij in om op termijn de 12x 2TB schijven te vervangen. Daarna nog het enkele 66TB volume te verkleinen en op te splitsen in 2 tot 4 kleinere volumes.
Tot die tijd is storage system 66TB (24x3TB raid6) +15TB (6x3TB raid5) +20TB (12x2TB raid6) +20TB (6x4TB raid5) = 121TB totaal

[Q]

Leuk:

30 TB in 1 U (15x2 TB).



Maar zou 15x4 = 60 TB kunnen zijn.

Je zou dan 42 u x 60 = 2520 TB= 2.5 PB kwijt kunnen per rack.

http://arstechnica.com/in...business-as-we-know-it/2/

[ Voor 22% gewijzigd door Q op 02-07-2013 20:00 ]

[Nielson]

Q schreef op dinsdag 02 juli 2013 @ 19:57:
Leuk:

30 TB in 1 U (15x2 TB).

Maar zou 15x4 = 60 TB kunnen zijn.

Je zou dan 42 u x 60 = 2520 TB= 2.5 PB kwijt kunnen per rack.

Als ik inzoom op het plaatje zitten er ook 4 TB schijven in. Er schijnen twee van die lades in te zitten dus 120 TB in totaal.

[iMars]

Nielson schreef op dinsdag 02 juli 2013 @ 20:18:
[...]
Als ik inzoom op het plaatje zitten er ook 4 TB schijven in. Er schijnen twee van die lades in te zitten dus 120 TB in totaal.

Volgens mij is het dan een 2U, want twee lades (2 normale 3,5" schijven) passen echt niet in een 1U behuizing

[Q]

iMars schreef op dinsdag 02 juli 2013 @ 22:01:
[...]

Volgens mij is het dan een 2U, want twee lades (2 normale 3,5" schijven) passen echt niet in een 1U behuizing

Het rekensommetje klopt dan nog steeds wel. Misschien een paar U minder voor netwerk switches en andere equipment. Zit je nog op 2+ petabyte.

1x4TB is 150 euro consumenten prijs.

1 la kost 15x150 = 2250 euro.

42 lades kost dus 94500 dus een krappe ton per rack.

kom je op 37500 per petabyte.

Dit is echter een flauwekul rekensom omdat dit inclusief BTW is en exclusief quantum korting.

Gezichtsboek betaalt misschien maar 30K per petabyte, misschien minder, exclusief die lades en rack kasten.

Een exabyte (1000 petabyte) kost dan dus 1000 x 30.000 euro = 30 miloen euro.

Voor gezichtsboek is dat prima te doen. Een niet heel vermogende particuliere gek kan makkelijk een petabyte neer zetten maar een exabyte is nog een stapje verder weg denk ik.

De NSA heeft ook wel ambitie:

http://www.npr.org/2013/0...lds-its-biggest-data-farm

Maar eens door rekenen. 1 petabyte is 250 - 4 TB disks. een Exabyte is dan 250.000 disks en een zetabyte is dan 250.000.000 disks. 5 zetabyte is dan 1.000.000.000 disks.

Dat hele gebouw kost 1.2 miljard. Dus ze moeten een verdomd goede deal krijgen op die disks of goedkopere lange-termijn opslag hebben, tapes? Of zie ik iets over het hoofd?

[ Voor 44% gewijzigd door Q op 02-07-2013 23:40 ]

[thalantis]

nu is een van mijn 2TB samsungs overleden en er zit er nog een aan te komen binnenkort maar kan ik deze vervangen door een toshiba 2tb deze heeft namelijk een hogere omwentelingsnelheid.
gaat om raid 5 met areca kaarten

[Q]

Zolang het ding niet kleiner is qua capaciteit dan die samsung lijkt mij dat geen probleem. Je hebt alleen niets aan die extra RPMs.

[ Voor 18% gewijzigd door Q op 10-07-2013 19:05 ]

[Speedwolf]

hier een review over de Seagate 4TB ST4000DM000
Je weet nooit dat iemand zijn NAS wil uitbreiden

http://www.tomshardware.c...st4000dm000-4tb,3494.html

[Verwijderd]

Die dingen hebben hier al ruim 1000 uur gedraaid zonder enig probleem. Prima schijfjes dus

[ Voor 12% gewijzigd door Verwijderd op 12-07-2013 16:33 ]

[FireDrunk]

En we hebben een nieuwe nummer 1

[jjust]

BartNL schreef op zaterdag 29 juni 2013 @ 12:18:
een Chenbro expander in bestelling omdat ik de 2e Norco kast zonder moederbord wil draaien. Voeding in 2e kast schakel ik dan via een relais dat pin 16 van de 24pins PSU ATX connector naar gnd doorverbind.
Tweede kast zitten nu 6x 4TB Seagates bij in om op termijn de 12x 2TB schijven te vervangen. Daarna nog het enkele 66TB volume te verkleinen en op te splitsen in 2 tot 4 kleinere volumes.
Tot die tijd is storage system 66TB (24x3TB raid6) +15TB (6x3TB raid5) +20TB (12x2TB raid6) +20TB (6x4TB raid5) = 121TB totaal

Daar wordt weer fors geïnvesteerd. Mooie setup. Je kan nooit genoeg storage hebben. Ben ook stiekem op zoek naar een serverrack om een daarna de server te upgraden maar 121TB ga ik niet verslaan.

[BartNL]

De 121 TB in actie. 3 arrays aan het scrubben en de 4e aan het initialiseren

[Speedwolf]

@BartNL: ben je tevreden van de disks die je gebruikt in je 3 arrays? Welke schijven gebruik je voor die 6x4TB?

[BartNL]

Speedwolf schreef op zaterdag 13 juli 2013 @ 11:58:
@BartNL: ben je tevreden van de disks die je gebruikt in je 3 arrays? Welke schijven gebruik je voor die 6x4TB?

mijn eisen zijn niet zo hoog, zolang er geen schijven defect raken vind ik het prima. Met de 3TB seagate ST3000DM001-9YN166 modellen heb ik wel opstart problemen gehad (2 of 3 schijven vervangen) maar daar zitten er ondertussen wel 30 van in dus dan is de kans op een fout hoger.
De 4TB schijven zijn Seagate ST4000DM000's en die zijn tot nu toe probleemloos.

[Q]

FireDrunk schreef op vrijdag 12 juli 2013 @ 21:42:
En we hebben een nieuwe nummer 1

Wie dan? BartNL staat er al in

[FireDrunk]

Niet nieuw persoon, maar een nieuw persoon op plaats 1... is toch geen gekke zin?

[Speedwolf]

FireDrunk schreef op zaterdag 13 juli 2013 @ 23:37:
Niet nieuw persoon, maar een nieuw persoon op plaats 1... is toch geen gekke zin?

Misschien tijd voor een upgrade FireDrunk?

[FireDrunk]

Nee hoor, ik ben zelfs aan het terugschalen. Ik heb al minder dan waarmee ik nog in de topicstart sta

[Speedwolf]

je kan nooit storage genoeg hebben. Een speciale reden omdat je aan het terugschalen bent?
Als je nu al je 2TBs omruild voor 4TBs heb je toch meer?

Ik ga binnenkort al mijn losse schijven eens samen steken in een raid en misschien kom ik dan ook wel eens in het lijstje

[j.w.k]

@Xesxen http://hardforum.com/show...?p=1033721843&postcount=7 hier staat zijn build

[Goshimaplonker298]

Op verzoek mijn systeem

Dit systeem is over de jaren groot geworden. Ooit eens begonnen als een normale PC kast met 200GB PATA disks en over de tijd doorgegroeid naar de huidige setup die niet al te lang geleden is uitgebreid met het 2e Supermicro 847E16 chassis.

System specifications
Component	Value
Case systeem	Supermicro 823T-R500LPB
Cases Storage	2x Supermicro 847E16-1400LPB
CPU	2x Xeon E5620
RAM	96GB
Motherboard	Supermicro X8DTH-iF
Operating system	Debian
Controller	LSI 9207-8i
OS SSD	2x 256GB Samsung 830
Hard drive Media	48x WD 3TB EZRX
Hard drive Data	2x WD 1TB
RAID array configuration	Storage disks in JBOD
RAID array configuration	Data Disks in software Raid 1, OS disk in software Raid 1
Netto storage capacity	144TB voor media (TV. Movies, Anime) + 1TB voor data
Network	Gigabit
UPS	APC Smart-UPS RT 3000VA 230V met maintenance bypass panel
Filesystem	EXT 3
Idle power usage totaal	Disks in spindown 500W disks allemaal actief 800W
Idle power usage Systeem	300W
Idle power usage Storage	2x 100w voor het 847 chassis en 2x 150W voor de disks
Extra

Voorkant rack


Achterkant rack


Het systeem:
draait ESXi 5.1 met daarop 3VM's
VM1 is een PFSense firewall
VM2 is een Windows 7 bak waar ik centraal mijn mail, messengers en zo op draai
VM3 is de storage VM. Hier draait Debian als OS met een boel scripts.

VM3 is waar het in dit topic om gaat.
Het OS is Debian aangevuld met een boel scripts om dingen te automatiseren en te bewaken.
Er draait geen RAID voor de media disks en dit is een bewuste keuze. Meeste data die hieropstaat kan opnieuw gedownload worden.

Media disks draaien elke week een smart long test en een file system test. Mijn ervaring tot nu toe is dat op deze manier de falende disks snel geidentificeerd worden.
Hierbij let ik naast het goed doorlopen van de smart long test het meeste op de volgende waardes:
-smart Reallocated_Event_Count
-smart Current_Pending_Sector
-smart Offline_Uncorrectable
-smart UDMA_CRC_Error_Count
-smart Multi_Zone_Error_Rate
UDMA_CRC_Error_Count is in deze niet super interessant maar geeft wel kabel errors aan.
Op het moment dat een smart test failt of een van deze waardes veranderd word de data naar een lege spare disks gekopieerd en RMA ik de falende disk. Dit heeft in de afgelopen 10 jaar goed gewerkt met minimale dataloss. Als er een keer een file niet overgekopieerd kon worden. dan was deze nog weer opnieuw te downloaden.

Naast de media disks draaien er ook 2 1TB disks in software RAID 1 voor data die ik echt belangrijk vind.

In het eerste 2U chassis zit het moederbord met de data store en data disks.
De media disks zitten in 2 Supermicro 847E16 chassis. Deze hebben sas expanders ingebouwd. Elk chassis kan 24 disks voor en 12 disks achter hebben in hotswap trays.
Vanuit dit chassis is de LSI 9207-8i kaart met SFF-8088 <-> SFF-8088 kabels verbonden met de 2 disk chassis.

Heb voor de supermicro chassis gekozen vanwegen de build quality en het feit dat alles geintegreerd is.
Effectief is dit systeem over 10 jaar gegroeid. 3 jaar geleden heb ik voor het supermicro 847 chassis gekozen omdat ik toen al over de 24 1TB en 2TB disks had en dit een compacte oplossing was.

Dit is een foto uit 2006 waar het systeem nog iets anders was.


Had ook weer voor zelfbouw kunnen kiezen met norco of x-case maar dan had ik alles weer los moeten kopen en had de prijs alsnog niet ver van de supermicro cases afgelegen.
Hier vergelijk ik wel appels met appels. Dus een LSI based expander met een redundante PSU.
Niet een norco met een HP sas expander en een huis tuin en keuken voeding.

[FireDrunk]

Gebruik je VT-d?

[BartNL]

Goshimaplonker298 schreef op dinsdag 30 juli 2013 @ 16:19:Dit systeem is over de jaren groot geworden.

klinkt bekend

Voorkant rack

oogt professioneel

Er draait geen RAID voor de media disks en dit is een bewuste keuze. Meeste data die hieropstaat kan opnieuw gedownload worden.

heb ik ook lange gedaan en gedacht maar mij bevalt in de praktijk het gebruik van arrays van 6 of 12 disks beter. Het is makkelijker om een overzicht te houden en bij verschuiven van data gaat dat ook een stuk sneller. Met alleen JBOD zou ik zelf veel te druk worden met media bestanden deleten of kopiëren.

...disks in software RAID 1 voor data die ik echt belangrijk vind.

zou ik dan een off-line backup van maken.

Heb voor de supermicro chassis gekozen vanwegen de build quality

ik heb zelf norco's en kan me gezien het soldeerwerk van norco wel voorstellen dat je supermicro kiest.

Niet een norco met een HP sas expander en een huis tuin en keuken voeding.

Wat is er mis met een norco, een HP sas expander en seasonic psu

Een indrukwekkend systeem

[thalantis]

je kan tegenwoordig niet meer alles downloaden als het weg is ivm incomplete posts, vandaar dat ik ook raid 6 draai

[Goshimaplonker298]

FireDrunk schreef op dinsdag 30 juli 2013 @ 16:29:
Gebruik je VT-d?

Ja en heb wat geexperimenteerd met SR-IOV voor de NIC's

BartNL schreef op dinsdag 30 juli 2013 @ 16:42:

heb ik ook lange gedaan en gedacht maar mij bevalt in de praktijk het gebruik van arrays van 6 of 12 disks beter. Het is makkelijker om een overzicht te houden en bij verschuiven van data gaat dat ook een stuk sneller. Met alleen JBOD zou ik zelf veel te druk worden met media bestanden deleten of kopiëren.

An sich valt het wel mee met hoeveelheid werk. Alles gaat per hele disk. Veel is geautomatiseerd dmv scripts.

zou ik dan een off-line backup van maken.

Er draait nog een Rsync naar een offsite locatie dus die data is veilig

ik heb zelf norco's en kan me gezien het soldeerwerk van norco wel voorstellen dat je supermicro kiest.

Wat is er mis met een norco, een HP sas expander en seasonic psu

Een indrukwekkend systeem

Is niks mis met Norco, behalve het bekende met de backplanes, wordt er alleen moe van dat men vaak appels met peren vergelijkt. Persoonlijk kies ik voor Supermicro omdat de prijs / qual verhouding voor mij juist is. Als ik geen Supermicro zou doen zou ik voor X-Case gaan de RM-424 pro zit goed in elkaar. Kan je nu ook krijgen met SAS expander. Zal ook wel een stukje stiller zijn dan de Supermicro cases.

thalantis schreef op dinsdag 30 juli 2013 @ 16:51:
je kan tegenwoordig niet meer alles downloaden als het weg is ivm incomplete posts, vandaar dat ik ook raid 6 draai

Tot nu toe is het nog geen probleem geweest. (lees de afgelopen 10 jaar) Na verloop van tijd komt er toch wel weer een andere release van uit.

Voor mij is het grootste probleem met RAID dat je niet flexibel disks kan upgraden. Naast het feit dat het moeilijker wordt met spindown.

Systeem is nog niet helemaal lekker wat power usage betreft Daar moet ik hier en daar nog wat aan schaven. Heb van de week de basis power usage van de 847 chassis al terug gebracht naar 75W. Als ik ipv 7 fans 4 fans laat draaien gaat daar nog meer vanaf.
Maar all in all hou je die powerusage toch. Misschien die E5620's eens vervangen voor de L5639's die nu beschikbaar komen. Zou nog best veel uit kiunnen maken..

[BartNL]

Goshimaplonker298 schreef op dinsdag 30 juli 2013 @ 17:36:[...]Is niks mis met Norco, behalve het bekende met de backplanes, wordt er alleen moe van dat men vaak appels met peren vergelijkt.

humor voor mij was dat je als niet inferieur voorbeeld exact de opbouw van mijn fileserver beschreef

[Q]

Goshimaplonker298 schreef op dinsdag 30 juli 2013 @ 16:19:
Op verzoek mijn systeem

Bedankt, je staat op nummer 1.

Erg toffe build. Dit gaat mijn portemonnee (loonslaaf) wel te boven

Linux software RAID arrays kun je prima upgraden met grotere disks alleen duurt dat heel lang. Je moet in principe iedere disk lost vervangen door een grotere, dan rebuilden, en dan de volgende. Met grote disks kan dit hele traject weken duren, dus toegegeven, hoe flexibel het echt is...

Spindown en RAID is een probleem met grotere arrays dus ook hier heb je een punt.
Ik los dit probleem zelf op door de server altijd uit te zetten. In jouw geval kun je de VM poweroff
doen en als je hardware pass-through oid doet dan zouden die disks ook uit moeten gaan?!

Met EXT3 als FS geeft volgens mij best wat overhead en kost je opslagruimte, volgens mij.

Hoe orden je de data over de losse disks?

[ Voor 16% gewijzigd door Q op 30-07-2013 18:17 ]

[BartNL]

Q schreef op dinsdag 30 juli 2013 @ 18:12:
[...] je staat op nummer 1.

Erg toffe build.

't is een toffe build zonder redundantie. Vind het wel discutabel of íe eigenlijk wel in dit topic mag

[Tsurany]

Zonder redundantie? HIj heeft toch 2x1TB in RAID1?

[-Venom-]

Ik denk dat dat geen serieuze reactie was maar wat een vet ding zeg! ook netjes weggewerkt zo!

[BartNL]

nou niet serieus, qua topic niks mis mee want het is een interessant systeem met duidelijke keuzes maar als #1 in de overview of GoT 10+ TB storage arrays klopt het niet (en ja ik sta nu 2).

[Goshimaplonker298]

Q schreef op dinsdag 30 juli 2013 @ 18:12:
[...]


Bedankt, je staat op nummer 1.

Erg toffe build. Dit gaat mijn portemonnee (loonslaaf) wel te boven

Linux software RAID arrays kun je prima upgraden met grotere disks alleen duurt dat heel lang. Je moet in principe iedere disk lost vervangen door een grotere, dan rebuilden, en dan de volgende. Met grote disks kan dit hele traject weken duren, dus toegegeven, hoe flexibel het echt is...

Spindown en RAID is een probleem met grotere arrays dus ook hier heb je een punt.
Ik los dit probleem zelf op door de server altijd uit te zetten. In jouw geval kun je de VM poweroff
doen en als je hardware pass-through oid doet dan zouden die disks ook uit moeten gaan?!

Met EXT3 als FS geeft volgens mij best wat overhead en kost je opslagruimte, volgens mij.

Hoe orden je de data over de losse disks?

Helaas blijven de disks draaien als je de VM poweroff doet. De chassis moeten dus apart echt met de hand uitgezet worden.
EXT3 geeft geen overhead. 2750GB usable space per disk.
Doe altijd mke2fs -j -m 0 -L <naam> /dev/sdxx. De -m 0 zorgt er voor dat er geen space gereserveerd wordt voor de superuser. Standaard is dat 5%.

Dit geheel is over een aantal jaar opgebouwd. 3 jaar geleden heb ik het eerste 847 chassis gekocht. Tijdje geleden de 2e. toen heb ik ook besloten om het mobo en zo in een aparte kast te doen. Geeft iets meer flexibiliteit. Hoeveel geld ik hier de afgelopen 10 jaar aan uit heb gegeven wil ik eigenlijk niet weten denk dat ik daar niet gelukkig van wordt.

-Venom- schreef op dinsdag 30 juli 2013 @ 19:27:
Ik denk dat dat geen serieuze reactie was maar wat een vet ding zeg! ook netjes weggewerkt zo!

Heb het eigenlijk nooit gepost in deze thread omdat ik nagenoeg geen RAID gebruik om de data te beschermen. Het was omdat ik een verzoek kreeg van Q uit een andere thread dat ik het gepost heb.

Wat betreft het wegwerken. Een aantal kabels moeten eigenlijk nog vervangen worden voor langere zodat ik de cases individueel kan uitschuiven. Moet ook de temp/humidity probes nog beter wegwerken. Die hangen er nu maar een beetje bij.

Tot voor kort lag het chassis los op de grond maar het lag altijd in de weg
Op deze foto's zat alles nog in 1 chassis (36 disks) met 8 disks er los bovenop voor een totaal van 44. (naast data disks enz enz). Toen ik er nog 4 bij wilde doen begon het nijpend te worden. Het had wel mogelijk geweest. Voordeel van de Supermicro expander backplanes is dat je op de cascade ports ook disks kan aansluiten. Ze krijgen alleen allemaal een ID0.
Voorste backplane heeft 2 cascade poorten achterste 1. daar heb ik gewoon een multilane naar sas/sata kabel aangehangen en die weer op de disks aangesloten. met dat backplane uit een 3U supermicro server er tussen om makkelijker te kunnen hotswappen.




Fan is voor airflow als die disks uit de spindown komen.

[Q]

Gaaf hoor. Deze laatste foto's was van een test setup of had je het zo een tijdje draaiende?

Fuck ik moet ZZPer worden.

[Goshimaplonker298]

Q schreef op dinsdag 30 juli 2013 @ 20:23:
Gaaf hoor. Deze laatste foto's was van een test setup of had je het zo een tijdje draaiende?

Fuck ik moet ZZPer worden.

Het heeft zo een paar maanden gedraaid. Was toen nog aan het dubben om een upgrade te doen naar 4TB maar als ik aanschafprijs, inc nieuw chassis, tegen verbruik (met spindown) afzet. Dan blijven 3TB disks voorlopig de beste optie.

[Q]

Ik ben zelf een storage gek en vind het niet erg om wat geld stuk te slaan, maar het is bederfelijke waar. Na 5 jaar wordt de kans op uitval van disks fors groter, je draait op geleende tijd.

Mijn array is nu 4 jaar oud, de tijd tikt. Nog nul defecte disks. Ik denk dat ik niets preventief ga vervangen, maar defecte drives - mochten ze komen - vervangen door 4 TB schijven en dan op een gegeven moment flikker ik wel wat nieuws neer met 4 TB disks tegen die tijd.

[BartNL]

Q schreef op dinsdag 30 juli 2013 @ 23:26:
Ik ben zelf een storage gek en vind het niet erg om wat geld stuk te slaan, maar het is bederfelijke waar. Na 5 jaar wordt de kans op uitval van disks fors groter, je draait op geleende tijd.

laatste jaren is dat wel meegevallen, schijven zijn redelijk waardevast gebleven. Heb zelf net 12 stuks 2TB schijven verkocht en de opbrengst daarvan is 2/3 van de kosten om dezelfde capaciteit in 4TB terug te kopen.
Vraag me ook af waar die 5 jaar vandaan komt? Mijn persoonlijke ervaring is dat ik alleen bij opstart van array bovengemiddeld uitval heb. Mijn arrays draaien ook lang geen 24/7 en ik heb de indruk dat de schijven langer mee kunnen gaan. Heb ik ook geen bewijs van aangezien ik te vaak upgrade

[Goshimaplonker298]

Meestal vervang ik drives als ze tegen het einde van de garantie aangaan. Met garantie zijn ze beter te verkopen dan zonder. Mocht er wat mis gaan kan er altijd nog een RMA gedaan worden.
Garantie termijnen zijn alleen korter geworden de laatste tijd.
WD Green disks hebben nog maar 2 Jaar.
WD Red disks hebben 3 jaar
WD Black, RE en SE disks hebben 5 jaar maar daar betaal je ook voor.

Hoop zelf dat met de komst van de 4TB green en Red disks in Q3/Q4 van dit jaar de WD Se disks goedkoper gaan worden. Die zijn interessant voor RAID en NAS builds. Maar nu nog redelijk aan de prijs.

Mijn ervaring geeft veel opstart problemen met disks. Nieuwe disks of ze nu van de winkel of RMA komen zijn bij mij altijd suspect en meestal doe ik een burnin met badblocks -vws en een smart long test. Als de disks daar doorheen komt dan kan er data op.
Wat ik de laatste tijd heb gehad met de nieuwe 3TB EZRX disks, 3 platter version, zijn meer failed smart long tests. Met een multi zone error rate die omhoog schiet.
Met de 4 platter, oudere versie zit het euvel vaak in bad sectors.

Heb de RMA's eens nagekeken. Teller staat op 20 stuks in de afgelopen 3 jaar. Das op een totale hoeveelheid disks van +/- 80 stuks met alle vervangingen van oude 2TB naar 3TB upgrade enz enz.
EADS/EZRX/EARX. en 5 jaar tijd wat betreft disk leeftijden.
Op zich veel maar ik RMA een disk al als hij 1 pending sector heeft.

[Q]

Ik heb nog eens gekeken, van mijn 20 disks hebben er 0 pending sectors. Maar ik verwacht dat mijn schijven ook veel langer mee gaan omdat mijn machine 99% van de tijd uit staat. (Zet 'm aan met WOL).

Ik weet nog hoe er gescholden werd op die Samsung F1 schijven in combinatie met hardware raid, maar met software RAID nooit problemen gehad.

Ik heb al mijn dozen eens nagelopen met:

code:

for x in ls -1 /dev/sd?; do echo $x; smartctl -a -d ata $x | grep -i pending;  done

En het blijkt dat in mijn download bak, met allerlei soorten schijven nu een van de vier 500GB Samsungs 37 pending sectors heeft. Een disk uit 2007 dus zes jaar oud. De andere drie hebben nul pending sectors.

Op dit moment heb ik in totaal in mijn Linux systeempjes (3 stuks) 36 harde schijven in gebruik in alle soorten en maten. Daarvan is het merendeel 4+ jaar oud. Ik heb nul uitval.

Goshimaplonker298, nu heb je echt fors meer disks, maar ik vind het toch vreemd dat je zoveel disks met uitval hebt gehad, op basis van pending sector. Zou er iets kunnen zijn dat deze uitval kan verklaren? Die leeftijd van 5 jaar?

[BartNL]

Q schreef op woensdag 31 juli 2013 @ 19:58:
...ik verwacht dat mijn schijven ook veel langer mee gaan omdat mijn machine 99% van de tijd uit staat. (Zet 'm aan met WOL).... Zou er iets kunnen zijn dat deze uitval kan verklaren? Die leeftijd van 5 jaar?

ik denk dat je hetzelf al aangeeft, een hogere up-time. Jouw ervaring lijkt in lijn met mijn eigen ervaring. Ik heb ondanks hardware raid nauwelijks uitval met consumer disks. Ook mijn fileserver staat normaliter in slaapstand.

[Goshimaplonker298]

Q schreef op woensdag 31 juli 2013 @ 19:58:
Ik heb nog eens gekeken, van mijn 20 disks hebben er 0 pending sectors. Maar ik verwacht dat mijn schijven ook veel langer mee gaan omdat mijn machine 99% van de tijd uit staat. (Zet 'm aan met WOL).

Ik weet nog hoe er gescholden werd op die Samsung F1 schijven in combinatie met hardware raid, maar met software RAID nooit problemen gehad.

Ik heb al mijn dozen eens nagelopen met:

code:

for x in ls -1 /dev/sd?; do echo $x; smartctl -a -d ata $x | grep -i pending;  done

En het blijkt dat in mijn download bak, met allerlei soorten schijven nu een van de vier 500GB Samsungs 37 pending sectors heeft. Een disk uit 2007 dus zes jaar oud. De andere drie hebben nul pending sectors.

Op dit moment heb ik in totaal in mijn Linux systeempjes (3 stuks) 36 harde schijven in gebruik in alle soorten en maten. Daarvan is het merendeel 4+ jaar oud. Ik heb nul uitval.

Goshimaplonker298, nu heb je echt fors meer disks, maar ik vind het toch vreemd dat je zoveel disks met uitval hebt gehad, op basis van pending sector. Zou er iets kunnen zijn dat deze uitval kan verklaren? Die leeftijd van 5 jaar?

Het zit hem denk ik in 2 dingen.
1. Ik RMA een disk voor alles. Dus pending sector +1, multi zone error rate +1 enz enz
2. Er zitten bij mij heel veel desk top disks hutje mutje in een kast gepropt. Dat geeft meer vibratie, dit lijkt toch iets uit te maken.

Mijn sample size is redelijk groot met 80 disks, we praten over een periode van 3 jaar met disks leeftijden tot 5 jaar oud. In deze periode heb ik een upgrade gedaan van 2TB op 3TB disks en de WD EARS disksen hadden hogere failure rate. Daarnaast zijn er een boel vervangen omdat ze te oud zijn. Dus komen er weer nieuwe disks bij. Die meestal in de eerste weken failen.
Zoals ik bij punt 1 al noem stuur ik een disk met de RMA op het moment dat hij een smart test failt of een van deze 4 smart waardes: Reallocated_Event_Count, Current_Pending_Sector, Offline_Uncorrectable, Multi_Zone_Error_Rate, met 1 omhoog gaat.
Dit omdat ik geen RAID draai.
Reallocated_Event_Count, Current_Pending_Sector, Offline_Uncorrectable. hebben met elkaar te maken als ik deze zie dan heb ik meestal ergens een file die niet gekopieerd kan worden tijdens het veiligstellen van data.
Multi_Zone_Error_Rate zegt "iets" over de staat van de disk surface. Deze kan in theorie heel hoog zijn maar je disk is nog steeds leesbaar.

Mijn ervaring is dat nieuwe disks vaak de smart long test failen
Oudere disks hebben het meest, Reallocated_Event_Count, Current_Pending_Sector, Offline_Uncorrectable, Multi_Zone_Error_Rate die omhoog gaat.

Op het einde moet ik accepteren dat het ooit eens mis zal gaan. Ergens zal een disks in zijn geheel gewoon eens zeggen van bekijk het maar en dan moet ik die data opnieuw gaan halen. Maar dat is de uitruil die ik heb met de 300W tot 400W die ik spaar omdat mijn disks langdurig in de spindown kunnen. Dat maakt op jaarbasis nog een boel euro's uit.

[Q]

Goshimaplonker298 schreef op woensdag 31 juli 2013 @ 21:18:
[...]


Het zit hem denk ik in 2 dingen.
<knip>

Helder verhaal. Dat kan de uitval zeker verklaren.

Maar als ik het zo beluister is het misschien toch een keer interessant om naar (software) RAID te kijken want voor het geld hoef je het niet te laten en het is een stuk relaxeter. MDADM en spindown werkte bij mij niet zo maar volgens mij gaat ZFS er beter mee om. Ik ben zelf risico mijdend, dat mag duidelijk zijn, het is een beetje persoonlijk wat je acceptabel vind.

[ Voor 9% gewijzigd door Q op 07-08-2013 01:29 ]

[thalantis]

Denk dat mijn areca 1260 aan het overlijden is, zet zomaar disk 1 op failed terwijl seatools aangeven dat er niks aan de hand is met de disk.

Krijg steeds deze melding
2013-08-07 15:25:07 H/W Monitor : Fan Recovered
2013-08-07 15:25:27 H/W Monitor : Fan Failed

Andere schijf erin die blijft eerst op failed staan todat ik de sata mode op 150 zet, dan word de schijf als free gezien, en bij supported mode staat weer sata 300 + ncq dus daar opgezet en reboot en ja hoor schijf weer failed.
plus het feit dat rebuilden naar mijn idee wel heel traag gaat.

rebuilden is klaar maar de fan is ermee opgehouden

[ Voor 5% gewijzigd door thalantis op 09-08-2013 14:22 ]

[Q]

En wat heb je met die falende fan gedaan?

[thalantis]

die draait gewoon constant dat is het gekke

[Goshimaplonker298]

Q schreef op woensdag 07 augustus 2013 @ 01:28:
[...]


Helder verhaal. Dat kan de uitval zeker verklaren.

Maar als ik het zo beluister is het misschien toch een keer interessant om naar (software) RAID te kijken want voor het geld hoef je het niet te laten en het is een stuk relaxeter. MDADM en spindown werkte bij mij niet zo maar volgens mij gaat ZFS er beter mee om. Ik ben zelf risico mijdend, dat mag duidelijk zijn, het is een beetje persoonlijk wat je acceptabel vind.

Spindown maakt een boel euro's uit op jaarbasis met current load is dat €600 +
daarnaast scheelt het een boel warmte en lawaai.

Heb wel naar ZFS gekeken. Er zijn oplossingen te bedenken om de disks zoveel mogelijk spindown te laten gaan. Bijvoorbeeld door een separate pool maken voor de nieuwe data. Daarnaast een grote pool draaien als archief. het archief kan dan relatief veel in spindown blijven.
Op dit moment als ik een keer iets uit het archief wil hebben doet er maar 1 disks spinup. Met ZFS.......

Dan komt er nog bij dat ik een boel extra disks nodig ga hebben:
Heb nu 48 disks voor archief waar er 3 dual duty doen als incoming disk. Totaal is dat 144TB aan space die al aardig vol staat.
4x3TB disks mirror voor incoming = 6TB
60x3TB disks in Raid-Z2 (6x10 disks) = 144TB

Separate incoming buiten beschouwing gelaten. Is het resultaat + 12 disks voor de gelijke hoeveelheid raw storage.
Het heeft zeker voordelen omdat de data redelijk zeker is. Het Migreren van de data is going to be a bitch maar is zeker mogelijk.

Voorlopig blijf ik maar bij mijn JBOD.

[thalantis]

gebruik je ook bepaalde tools om bij te houden wat op welke disk staat en als er een niet door de smart test heen komt, kopieer je de data dan met total commander ofzo?

[Goshimaplonker298]

thalantis schreef op woensdag 07 augustus 2013 @ 21:57:
gebruik je ook bepaalde tools om bij te houden wat op welke disk staat en als er een niet door de smart test heen komt, kopieer je de data dan met total commander ofzo?

Er is een index met wat waar staat.

Als er een disk errors geeft dan wordt hij gewoon met het linux cp commando gekopieerd.
Wat hij niet kan kopieeren zie ik in de console en dat download ik nog een keer.

Meeste is d.m.v. scripts geautomatiseerd

[thalantis]

ah ok bedankt voor de opheldering

[thalantis]

Heb een nieuwe kast besteld bij ri-vier, hun eigen merk
Ri-vier 4U 24bay storage chassis (No SGPIO) - RV4324-03A

Na 5 jaar gaat mijn areca 1220 met pensioen samen met mijn areca 1260 (wat kan ik nog voor die kaarten vragen 75 en 100 euro?)
In plaats daarvan heb ik een areca 1882ix-24 besteld bij azerty.
Plus 2x een bbu een voor mijn areca 1880ix-24 (backup machine norco-4224) en een voor de nieuwe kaart.

Volgende week de leuke klus om alles over ter bouwen vanuit mijn lian-li cube.

[Mr_gadget]

BartNL schreef op woensdag 31 juli 2013 @ 20:53:
[...]

ik denk dat je hetzelf al aangeeft, een hogere up-time. Jouw ervaring lijkt in lijn met mijn eigen ervaring. Ik heb ondanks hardware raid nauwelijks uitval met consumer disks. Ook mijn fileserver staat normaliter in slaapstand.

Maar is regelmatig opspinnen niet erg slecht voor je disks? Er was een studie van Google waar ze hun uitval van schijven correleerden met de temperatuur en dat maakte niet zoveel uit geloof ik. Echter draaien die schijven continue. Ik denk juist dat wisselende temperaturen niet er goed zijn.

[BartNL]

Mr_gadget schreef op vrijdag 09 augustus 2013 @ 14:32:
[...]Maar is regelmatig opspinnen niet erg slecht voor je disks? Er was een studie van Google waar ze hun uitval van schijven correleerden met de temperatuur en dat maakte niet zoveel uit geloof ik. Echter draaien die schijven continue. Ik denk juist dat wisselende temperaturen niet er goed zijn.

geloof ik niet. Eigen ervaring is dat er bij mij weinig disks sneuvelen bij een vrij agressief spin-down regime van 10 minuten per array. Daarnaast zijn de temperatuur wisselingen in disks a.g.v. starten niet groot. Wanneer ik de server start en de schijven draaien zitten de disk temperaturen 10°C-15°C boven omgevingstemperatuur. Niet een temperatuurwisseling waar iets mis mee is.
Ik denk dat je te veel aan verbrandingsmotoren e.d. denkt waarbij heel andere temperaturen optreden. Dan krijg je last met spanningen a.g.v. uitzetting en bij afkoeling condensatie en op termijn daardoor eerder problemen.
Misschien is het los van minder slijtage ook een voordeel om disk in spindown te hebben omdat disks het meest kwetsbaar zijn wanneer ze draaien.

[BartNL]

thalantis schreef op vrijdag 09 augustus 2013 @ 14:21:
Heb een nieuwe kast besteld bij ri-vier, hun eigen merk
Ri-vier 4U 24bay storage chassis (No SGPIO) - RV4324-03A

Na 5 jaar gaat mijn areca 1220 met pensioen samen met mijn areca 1260 (wat kan ik nog voor die kaarten vragen 75 en 100 euro?)
In plaats daarvan heb ik een areca 1882ix-24 besteld bij azerty.
Plus 2x een bbu een voor mijn areca 1880ix-24 (backup machine norco-4224) en een voor de nieuwe kaart.

Volgende week de leuke klus om alles over ter bouwen vanuit mijn lian-li cube.

Goed om te lezen dat ik niet de enige ben die nog hardware raid gebruikt

Waarom heb je een apart chassis en extra controller voor backup? Kun je niet gewoon een extra array aan je controller hangen, eventueel in een 2e chassis?

Graag terugmelding hoe soldeerwerk op de backplanes er uit ziet. Mijn volgende kast in het serverrack wordt waarschijnlijk ook een ri-vier 4u chassis.

[thalantis]

omdat de backup bak wel eens ergens anders staat als we op vakantie zijn bijvoorbeeld

ik ga er een foto van maken voor je bart

[Q]

Goshimaplonker298 schreef op woensdag 07 augustus 2013 @ 20:04:
[...]


Spindown maakt een boel euro's uit op jaarbasis met current load is dat €600 +
daarnaast scheelt het een boel warmte en lawaai.

Heb wel naar ZFS gekeken. Er zijn oplossingen te bedenken om de disks zoveel mogelijk spindown te laten gaan. Bijvoorbeeld door een separate pool maken voor de nieuwe data. Daarnaast een grote pool draaien als archief. het archief kan dan relatief veel in spindown blijven.
Op dit moment als ik een keer iets uit het archief wil hebben doet er maar 1 disks spinup. Met ZFS.......

Dan komt er nog bij dat ik een boel extra disks nodig ga hebben:
Heb nu 48 disks voor archief waar er 3 dual duty doen als incoming disk. Totaal is dat 144TB aan space die al aardig vol staat.
4x3TB disks mirror voor incoming = 6TB
60x3TB disks in Raid-Z2 (6x10 disks) = 144TB

Separate incoming buiten beschouwing gelaten. Is het resultaat + 12 disks voor de gelijke hoeveelheid raw storage.
Het heeft zeker voordelen omdat de data redelijk zeker is. Het Migreren van de data is going to be a bitch maar is zeker mogelijk.

Voorlopig blijf ik maar bij mijn JBOD.

Ik geef je vanuit je situatie gelijk dat je voorlopig bij JBOD blijft.

Ik denk dat alleen die vdevs worden opgespind die worden beschreven. Dus zeg dat je pool uit 4 vdevs zou bestaan van 20 disks in raid-z2 dan wordt alleen die ene vdev gestart waar jij je data naartoe schrijft. Dat even 20 disks actief zijn maakt niet zoveel uit voor je stroom rekening. Als je maar spin-down configureert.

Mocht je nu ruimte te kort komen zou je een bunch nieuwe schijven, zeg 12 x 4 - 2 voor parity = 10x4 = 40 TB extra, dan kun je die nieuwe space mooi gebruiken om je data te migreren.

Omdat je nu met JBOD werkt kun je bijvoorbeeld de data van 13-14 disks overpompen en de vrije disks dan in een vdev gooien. 14 disks per vdev is alleen niet zo efficient, ik zou zelf kijken of je meteen 20 disks in een vdev kan gooien. i/o performance boeit toch niet. Ik heb er zelf ook 18 in 1 dikke RAID6 met MDADM en dat gaat prima.

[ Voor 32% gewijzigd door Q op 09-08-2013 18:00 ]

[nightwing]

Nou, ik vond dat het tijd werd dat ik mijn huidige fileserver maar eens hier post.

Ik gebruik voor al mijn machines een Japanse naam die meestal een of andere betekenis hebben tot het doel or het uiterlijk van de machine.
Ik gebruik al een aantal jaar ZFS voor mijn thuis fileservers en de reden hiervoor is dat ik tijdens BSDCan 2008 Pawel Dawidek heb mogen ontmoeten die destijds bezig was met het poorten van ZFS naar FreeBSD. Na zijn presentatie was ik laaiend enthousiast en ben thuis meteen begonnen met een server op te zetten.

M'n 1e build was een machine waar ik de naam niet meer van herinner maar het was een machine op basis van raidz1 en 8x 1.5TB en draaide op FreeBSD
M'n 2e build was 'Zutto' (Japans voor 'Veel') op FreeBSD met raidz1 5x 2TB.
M'n 3e build was een aanvulling op m'n 2e build met de naam 'Koshi' (afgeleid van imasukoshi wat inhoud 'een beetje meer') en draaide ook op FreeBSD met raidz1 5x 2TB

M'n huidige build is m'n 4e build en die verving m'n 2e en 3e build.
Voor deze build me de naam 'Chozou' (Japans voor 'Storage') gegeven.

System specifications
Component	Value
Case	Spire Epoxi rev.2 (met kleine aanpassing voor de vele bays)
CPU	AMD A8-3870
RAM	8GB
Motherboard	Asus F1A75-V Evo
Operating system	FreeBSD 9.1
Controller	HighPoint Rocket 640L + IBM M1015 in passthrough
HD array 1	10x 2TB in raidz2
HD array 2	6x 3TB in raidz2
Netto storage capacity	28TiB
Network	Standaard gigabit
UPS	Nee
Filesystem	ZFS v28
Idle power usage	Laatste meeting gaf aan ~120watt
Extra	5x 3-in-2 hotswap bays van Sharkoon

Pics or it didn't happen :

De binnenkant :


De hotswap bays :


Nu met kabeltjes :


En de voorkant :



Ik ben ondertussen al weer bezig met de 5e build die m'n huidige build gaat vervangen, de nieuwe build gaat uit 2 machines bestaan met ieder 6x 3TB in raidz2 met FreeBSD. Ik ga er dan wel 4TB in netto space er op achter uit, maar dat is momenteel te overzien en tegen de tijd dat ik het nodig ga hebben upgrade ik wel naar 4TB disks.

[ Voor 0% gewijzigd door nightwing op 27-08-2013 11:14 . Reden: bij aankoop had ik er 16GB in zitten, echter terug gegaan naar 8GB omdat dit meer dan zat is. ]

[Shamalamadindon]

Maakt dat geen absolute tering herrie met al die kleine fans?

[nightwing]

Leo1010 schreef op vrijdag 09 augustus 2013 @ 21:08:
Maakt dat geen absolute tering herrie met al die kleine fans?

Ik zal deze build nooit een stille build noemen, maar hij maakt ook absoluut geen tering herrie, kan het niet eens herrie noemen. ik zit momenteel in de kamer er naast en de deuren staan open en ik hoor hem niet. als ik de gang deur dicht do van die kamer dan hoor ik hem ook niet meer en ik heb geen speciaal geluidsdichte deuren ofzo

[Q]

nightwing schreef op vrijdag 09 augustus 2013 @ 18:52:
Nou, ik vond dat het tijd werd dat ik mijn huidige fileserver maar eens hier post.

Leuke build. Ik heb je in de lijst gezet.

Ik denk wel dat je voor die 3-in-2 HDD bays ook een hot-swap server case (Norco) had kunnen kopen. Daarbij neem ik aan dat ze ongeveer 100 euro per stuk zijn en je dus op 500 euro komt.

[ Voor 11% gewijzigd door Q op 11-08-2013 13:20 ]

[Goshimaplonker298]

Q schreef op vrijdag 09 augustus 2013 @ 17:53:
[...]


Ik geef je vanuit je situatie gelijk dat je voorlopig bij JBOD blijft.

Ik denk dat alleen die vdevs worden opgespind die worden beschreven. Dus zeg dat je pool uit 4 vdevs zou bestaan van 20 disks in raid-z2 dan wordt alleen die ene vdev gestart waar jij je data naartoe schrijft. Dat even 20 disks actief zijn maakt niet zoveel uit voor je stroom rekening. Als je maar spin-down configureert.

Mocht je nu ruimte te kort komen zou je een bunch nieuwe schijven, zeg 12 x 4 - 2 voor parity = 10x4 = 40 TB extra, dan kun je die nieuwe space mooi gebruiken om je data te migreren.

Omdat je nu met JBOD werkt kun je bijvoorbeeld de data van 13-14 disks overpompen en de vrije disks dan in een vdev gooien. 14 disks per vdev is alleen niet zo efficient, ik zou zelf kijken of je meteen 20 disks in een vdev kan gooien. i/o performance boeit toch niet. Ik heb er zelf ook 18 in 1 dikke RAID6 met MDADM en dat gaat prima.

Zou dan uitgaan van 18 disk in Raid-Z2 per vdev.
Komt ook mooi uit 128/16=8
Als ik dit 3x doe heb ik ook 144TB.
Gaat ook mooi in de cases. Elke case kan 36 disks per 4U kwijt voor 72 disks totaal.
72 = 4x18 dus met 3TB disks zou ik dan op max 192TB kwijt kunnen.

Op het moment ben ik in dubio:
Of de WD Se disks komen in prijs naar benedenkomen.
Of ik ga door met de Greens. Verwacht dat WD de 4TB Greens over 2 of 3 maanden uitbrengt.
Met het een zal het andere ook wel gebeuren. Verwacht dat het de WD Se serie wordt...

Voorlopig blijf ik bij JBOD. Het heeft voor mij een aantal voordelen. Wat ik zelf fijn vind is dat ik een disk zo uit het systeem kan halen. Ergens anders aan kan hangen en zo bij mijn data kan.
Dit geeft veel flexibiliteit bij upgrades.

nightwing schreef op vrijdag 09 augustus 2013 @ 18:52:
Nou, ik vond dat het tijd werd dat ik mijn huidige fileserver maar eens hier post.
[...]

Heb zelf ook een tijd zo'n setup gehad. Werkt erg goed met die hotswap behuizingen.
Als ik nu zoiets zou bouwen zou ik voor een Xigmatek Elysium kast gaan. Erg veel ruimte en goede afwerkingsmogelijkheden. Kan je iets van 32 disks in kwijt.

[ Voor 20% gewijzigd door Goshimaplonker298 op 11-08-2013 17:44 ]

[Q]

Goshimaplonker298 schreef op zondag 11 augustus 2013 @ 17:29:
[...]


Zou dan uitgaan van 18 disk in Raid-Z2 per vdev.
Komt ook mooi uit 128/16=8
Als ik dit 3x doe heb ik ook 144TB.
Gaat ook mooi in de cases. Elke case kan 36 disks per 4U kwijt voor 72 disks totaal.
72 = 4x18 dus met 3TB disks zou ik dan op max 192TB kwijt kunnen.

Leuk om in het achterhoofd te houden.

Op het moment ben ik in dubio:
Of de WD Se disks komen in prijs naar benedenkomen.
Of ik ga door met de Greens. Verwacht dat WD de 4TB Greens over 2 of 3 maanden uitbrengt.
Met het een zal het andere ook wel gebeuren. Verwacht dat het de WD Se serie wordt...

Wil je op enterprise disks overstappen vanwege de uitval? Of misschien de 'gok' nemen en hitachi of seagate proberen? Al je uitval had je met western digital disks. enterprise disks zijn meteen weer tandje duurder en dat is misschien geen probleem maar het is zonde als het niet hoeft natuurlijk. Dan zou je ook lekker naar 4 TB disks over kunnen gaan.

[ Voor 15% gewijzigd door Q op 12-08-2013 11:46 ]

[thalantis]

ik wil binnenkort over op de Hitachi 4TB schijven vooral in combinatie met areca kaarten doen deze het erg goed

[Dadona]

Q schreef op zondag 11 augustus 2013 @ 13:20:
[...]


Leuke build. Ik heb je in de lijst gezet.

Ik denk wel dat je voor die 3-in-2 HDD bays ook een hot-swap server case (Norco) had kunnen kopen. Daarbij neem ik aan dat ze ongeveer 100 euro per stuk zijn en je dus op 500 euro komt.

Die bays kosten grofweg 55 euro per stuk.

[DYX]

thalantis schreef op maandag 12 augustus 2013 @ 11:57:
ik wil binnenkort over op de Hitachi 4TB schijven vooral in combinatie met areca kaarten doen deze het erg goed

Ik draai nu al een tijdje met 8x 4TB HGST (HDS5C4040ALE630) icm een Acrea 1882x-24 en tot nu toe geen problemen. Hetzelfde geldt voor de Hitachi 2TB drives welke ook nogsteeds goed draaien. Zit erover te twijfelen om nog een hand HGST aan te schraffen, maar heb even op het moment andere kosten om me druk om te maken (net een huis gekocht ). Bij de WD RED heb ik niet een erg goed gevoel, zeker als je de grote hoeveelheid uitval ziet bij deze serie. De Seagate ST4000VN000, 4TB ziet er ook wel oke uit, maar is alleen prijstechnisch net iets minder interessant.

[Tsurany]

Dadona schreef op maandag 12 augustus 2013 @ 12:01:
[...]
Die bays kosten grofweg 55 euro per stuk.

Wel jammer dat ze zo idioot duur zijn. Zou er graag twee willen plaatsen maar het kost ruim 100 euro om die twee aan te schaffen, aardig prijzig vergeleken met de complexiteit van het product.

[FireDrunk]

Tweedehands komen ze redelijk vaak langs, ik heb ze laatst ook weggedaan (niet meer nodig) via VA.

[Shamalamadindon]

Het kan wel goedkoper.

Deze van Silverstone is 3 tientjes,
pricewatch: Silverstone CFP52B

P.S.
Overigens heb ik zelf nog een Chieftec SNT-3141SATA in de V&A staan
Prijs mag over onderhandeld worden.

[ Voor 26% gewijzigd door Shamalamadindon op 12-08-2013 14:00 ]

[Tsurany]

Ik zag m inderdaad al voorbij komen, na de tip van FireDrunk eens gaan zoeken. Waar ik vooral mee zit is momenteel server indeling en warme issues. Ik heb een Full ATX kast met onderin ruimte voor 9 schijven (allen gevuld) en twee schijven die op een 5,25" plek zitten. Totaal 11 schijven dus. Echter is het een behoorlijk grote kast, is de koeling van de schijven onderin niet optimaal en wil ik liever naar kleiner en beter gekoeld.

Echter zijn er gewoon weinig kasten waar je veel schijven in kwijt kan zonder dat ze zoveel ruimte innemen. Zijn dan altijd full towers met onderin aparte ruime, nooit kasten met enkel 3,5" bays op een handige manier ingedeeld.

[Dadona]

Absoluut! Ik zou graag zien dat het moederbord als het ware tussen de schijven zit. Het is altijd dat het moederbord achter de schijven zit/hangt. De ATX voeding zit dan ook nog eens naast het moederbord.

Waarom niet een moederbord met eronder een lading aan schijven, lage tower heatsink (Ninja Mini of zelfs een server heatsink) en dan 12cm ventilatoren om de warmte naar de achterkant te krijgen. PSU ernaast en een zooitje schijven daarvoor. Met een thin ITX moederbord en één van de low profile moederborden heb je zo een 'desktop' sized behuizing met een lading aan schijven erin.

[ Voor 4% gewijzigd door Dadona op 12-08-2013 14:24 ]

[Q]

Dadona schreef op maandag 12 augustus 2013 @ 12:01:
[...]
Die bays kosten grofweg 55 euro per stuk.

Touché maar dat is nog 270 euro. Ik zou zeggen: betaal een beetje bij. Maar ok het is wel nog 200+ er bij dan.

[FireDrunk]

Tsurany schreef op maandag 12 augustus 2013 @ 14:14:
Ik zag m inderdaad al voorbij komen, na de tip van FireDrunk eens gaan zoeken. Waar ik vooral mee zit is momenteel server indeling en warme issues. Ik heb een Full ATX kast met onderin ruimte voor 9 schijven (allen gevuld) en twee schijven die op een 5,25" plek zitten. Totaal 11 schijven dus. Echter is het een behoorlijk grote kast, is de koeling van de schijven onderin niet optimaal en wil ik liever naar kleiner en beter gekoeld.

Echter zijn er gewoon weinig kasten waar je veel schijven in kwijt kan zonder dat ze zoveel ruimte innemen. Zijn dan altijd full towers met onderin aparte ruime, nooit kasten met enkel 3,5" bays op een handige manier ingedeeld.

Fractal Design Define XL te groot?

[Tsurany]

Die kast is net 8 centimeter lager dan de Nexus Edge die ik nu heb, dat scheelt te weinig In mijn ogen moet het gewoon een stuk kleiner kunnen zolang we accepteren dat we geen 5,25" bays meer hebben. Om eerlijk te zijn heb ik thuis geen pc meer waar die bay nog actief wordt gebruikt. In mijn eigen systemen zit er helemaal niks meer in.

Een 3,5" hardeschijf is ~10cm breed, waarom geen behuizingen die iets breder zijn maar dan twee rijen van 10 hardeschijven naast elkaar hebben? Dan heb je de hoogte van een micro ATX behuizing met genoeg ruimte tussen de schijven voor koeling maar kan je wel 20 schijven kwijt. Behuizing wordt wat breder dan normaal maar het scheelt enorm in diepte en hoogte.

[Dadona]

Tot die tijd kun je met een 5-in-3 module de ruimte iets efficiënter benutten. Maar goedkoop zijn ze niet...

[FireDrunk]

Je kan ook die coolermaster dingen halen, kosten maar 15,- ofzo.

[Dadona]

Die zijn inmiddels EOL toch?

[thalantis]

DYX schreef op maandag 12 augustus 2013 @ 13:26:
[...]


Ik draai nu al een tijdje met 8x 4TB HGST (HDS5C4040ALE630) icm een Acrea 1882x-24 en tot nu toe geen problemen. Hetzelfde geldt voor de Hitachi 2TB drives welke ook nogsteeds goed draaien. Zit erover te twijfelen om nog een hand HGST aan te schraffen, maar heb even op het moment andere kosten om me druk om te maken (net een huis gekocht ). Bij de WD RED heb ik niet een erg goed gevoel, zeker als je de grote hoeveelheid uitval ziet bij deze serie. De Seagate ST4000VN000, 4TB ziet er ook wel oke uit, maar is alleen prijstechnisch net iets minder interessant.

hoe zit het met de warmte van die 4tb hitachi schijven?

[Speedwolf]

DYX schreef op maandag 12 augustus 2013 @ 13:26:
[...]
De Seagate ST4000VN000, 4TB ziet er ook wel oke uit, maar is alleen prijstechnisch net iets minder interessant.

De ST4000DM000 is scherper in prijs en is zeker een goede schijf. Het proberen waard als je niet naar de duurdere ST4000VN000 wil.

[fonsoy]

thalantis schreef op maandag 12 augustus 2013 @ 21:32:
[...]


hoe zit het met de warmte van die 4tb hitachi schijven?

Als je de vijf platter versie hebt, ik vind ze extreem veel hitte genereren.
Zonder fan in een 4 in 3 bay zijn ze ~65 graden. Dit terwijl de Samsung HD204UI's eronder in dezelfde bay dan ~45 graden zijn.

[FireDrunk]

65c is wel erg warm voor een schijf

[BartNL]

Speedwolf schreef op maandag 12 augustus 2013 @ 22:48:
[...]De ST4000DM000 is scherper in prijs en is zeker een goede schijf. Het proberen waard...

ik heb er 18 aan een 1882ix24 hangen en tot nu toe geen enkel probleem. Eerste 6 draaien nu zo'n 4 maanden en de laatste 6 een maand. Met andere schijven had ik juist in de eerste dagen/weken wel eens een disk uitval maar bij deze seagates nog niet.
Ook bij scrubben van de 60TB aan volumesets op deze schijven nog niet een bit-error.

[DYX]

thalantis schreef op maandag 12 augustus 2013 @ 21:32:
[...]


hoe zit het met de warmte van die 4tb hitachi schijven?

De schrijven blijven netjes rond de 32-34 graden de laatste keer dat ik het bekeken heb. Dit valt dus best wel mee. Volgens mij zijn er ook twee verschillende versies van deze schrijven. De HGST(versies die ik heb) worden door WD gemaakt ipv echt door Hitachi. Mijn oude 2TB schrijven zijn wel echt door Hitachi gemaakt. Ik kan me niet herringen dat mijn schrijven zo heet zijn geworden zoals andere zeggen.

[ Voor 7% gewijzigd door DYX op 13-08-2013 11:40 ]

[Kokmeister]

Hierbij mijn laatste server build/upgrade.

De oude server was een low cost H67 Asrock bordje met een i3 3220T en wat 2/3 TB schijven in een Bitfenix Merc kast. Het heeft ongeveer 1 jaar geduurd voordat de schijven vol waren, dus hoog tijd voor een upgrade.

Na wat onderdelen bij elkaar gestruind te hebben van Marktplaats en Tweakers V/A is dit het geworden:

Component	Value
Case	Lian Li Armorsuit PC-P50
CPU	Intel Core i7 920
RAM	3 x 4GB Corsair XMS3 DDR3
Motherboard	Supermicro X8ST3-F + Unlock key
Operating System	MS Windows Server 2008R2 (Windows 7 Virtueel)
Controller	Onboard LSI SAS1068E 8 ports
	LSI ServeRaid M5014 8 ports
HD Array	8 x 3TB RAID5
	3 x 1TB RAID0
	2 x 2TB RAID1
HD	80GB Intel SSD
	500GB Sata
Netto Storage	+/- 24TB
Network	1Gb NIC
	10Gb NIC
	IPMI port
UPS	Nee
Filesystem	NTFS
Idle power usage	+/- 160 Watt
Extra	2 x 5-in-3 hotswap bay van SuperMicro

De keuze voor het Supermicro X8ST3-F bord was snel gemaakt, aangezien ik nog een Core i7 920 had liggen en dit bord voor een relatief lage prijs een onboard SAS controller heeft. Initieel zou er een array van 8 x 3TB in RAID5 op de onboard controller gaan draaien, dus had ik de unlock key (AOC-iButton68) voor RAID5 erbij besteld voor € 75. Helaas bleek de LSI 1068 niet meer dan 2TB per schijf te ondersteunen Dus was ik genoodzaakt om alsnog een losse SAS controller erbij te halen. Extra voordelen van dit bord zijn het aantal RAM slots, netwerk poorten (3 in totaal waarvan 1 IPMI), het grote aantal PCI-e slots, ondersteuning voor server platformen. Al met al een mooi server bordje.

Qua schijven is het een beetje een bij elkaar geraapt zooitje. 1 x 3TB Toshiba, 1 x 3TB WD Green (dit waren er 2 maar heb er moeten terugbrengen, gevalletje DOA), 2 x 3TB Samsung, 5 x 3TB WD Red. En dan nog wat 1TB en 2TB SATA's uit mijn oude PC's. De totale netto capaciteit is 24TB.

Het verbruik is wat aan de hoge kant (150~160 Watt idle/180~190 Watt onder load). Ik heb er nog wel ongeveer 20 watt af kunnen snoepen door de processor te underclocken naar 1.6 Ghz.

De server heeft nog capaciteit voor een 8 x 2TB array in RAID5. De onboard SAS controller komt dan toch nog van pas! Onderin de behuizing kan nog een 5-in-3 bay van SuperMicro geplaatst worden.

In het begin had ik Windows Home Server 2011 geïnstalleerd, maar wegens limitaties (WHS ondersteund maar maximaal 8GB RAM) ben ik uiteindelijk maar voor Windows Server 2008 Server gegaan. Deze wordt momenteel gebruikt als File Server en Hyper-V server, maar zal in de toekomst waarschijnlijk nog wat extra rollen gaan vervullen. Ik heb een Windows 7 virtuele machine draaien als download/internet/aanklooi bak.

Zoals je in de onderstaande afbeeldingen kan zien heb ik de server in de meterkast staan, momenteel kamp met wat temperatuur problemen als ik de deur de hele dag dicht staat (een dag ging het interne temperatuur alarm van het moederbord zelfs af!). De warmte wordt als het ware rond gepompt in de kast. Maar daar verzin ik wel wat voor.

[thalantis]

voor bartnl, plaatjes zijn klikbaar




hoop dat je er wat aan hebt

vind over het algemeen de bouwkwaliteit van de ri-vier case wel beter dan de norco

[BartNL]

thalantis schreef op woensdag 14 augustus 2013 @ 09:08:voor bartnl,

thx, zie dat de backplanes er vertikaal in zitten i.t.t. bij Norco. Print en soldeerwerk ziet er netter uit.
Is kast qua lengte en indeling gelijk aan de Norco?

[thalantis]

nee de kast is langer, een beetje een verhoging waar het moederbord zit, de fan wall in het midden zit los kan je er zo uit halen, "zweeft"op rubbers, zit aan de zijkantervan grote stukken schuim met een kleine opening onderop voor kabels, niet van die open gaten die de norco fan wall in het midden heeft.

op de zijkant zat een plaatje waar je een hd op kon vast maken maar die zit mijn moederbord in de weg.

norco 4224 Dimensions ( W x D x H ): 19" x 25.5" x 7.0" (483mm x 650mm x 176mm)
ri-vier kast D*W*H in mm 680*430*176

[ Voor 12% gewijzigd door thalantis op 14-08-2013 13:35 ]

[thalantis]

zal vanavond wel even wat meer foto's maken.
foto van de norco http://thalantis.eu/foto.JPG

wat dat betreft had ik nog wel zo'n ri-vier kast willen hebben ipv mijn norco 4224

[ Voor 68% gewijzigd door thalantis op 14-08-2013 14:17 ]

[DYX]

Hoe is de ruimte voor de kabels vanaf de backplanes in die ri-vier case? Zoals je ook op de foto van de Norco ziet, zitten de 8087 kabels bij mij ook in een onhandige 90 graden hoek. De kabels zijn niet het meest flexibele(zeker het 1e stuk niet) en bij het worstelen met de kabel heb ik ook 1 van mijn connectors op mijn norco backplane gesloopt. Ze hadden gewoon, netals de fanwall met de 80mm fans een sleuve in het midden moeten maken voor de kabels, dan was het verder geen probleem geweest

[thalantis]

die kabels is nog erger als in de norco, die brede fan wall van de ri-vier kast zit gewoon in de weg, nog dichterbij als de norco.

[nightwing]

Q schreef op zondag 11 augustus 2013 @ 13:20:
[...]


Leuke build. Ik heb je in de lijst gezet.

Ik denk wel dat je voor die 3-in-2 HDD bays ook een hot-swap server case (Norco) had kunnen kopen. Daarbij neem ik aan dat ze ongeveer 100 euro per stuk zijn en je dus op 500 euro komt.

Ze zijn op moment dat ik ze kocht ~55eu per stuk en dus ~275eu bij elkaar.

Ik wou op moment dat ik de kast aan het bouwen was geen 19" kast hebben, dit komt omdat deze kast wel in m'n meterkast past en een Norco niet. In de tussentijd ben ik afgestapt van m'n fileserver in de meterkast willen hebben en is het niet meer van toepassing.

[Q]

Een kratje bier voor de gene die thuis een Ceph cluster opzet met minimaal 4 nodes en 200 TB storage.

Ik kende het niet goed maar ceph is cool en het ziet er beter uit qua design dan Lustre.

https://www.usenix.org/co...uted-storage-system-scale

[DYX]

thalantis schreef op donderdag 15 augustus 2013 @ 08:53:
die kabels is nog erger als in de norco, die brede fan wall van de ri-vier kast zit gewoon in de weg, nog dichterbij als de norco.

Mhh, dat is jammer. Dan is het niet echt een goed case als opvolger/aanvulling op mijn huidige Norco. Bij de X-Case RM 424 Pro lijken ze het kabel stuk wel beter opgelost te hebben door ze aan de zijkant te doen en ze 90graden te draaien zodat geen rare bochet hoeft te maken, maar dat je ze ook eenvoudig kan loshalen.

[Jormungandr]

Waarom bij vele rackmountables de SAS connectors op de meest onmogelijke plaatsen staan is mij ook een raadsel . Kan je de fanbracket meer naar achter monteren of kan de kast dan niet meer toe?

[DYX]

Bij mijn Norco 4224 heb ik uiteindelijk de fans aan de achterkant van de fanwall geschroeft. hierdoor won ik 1-2cm waardoor ik uiteindelijk de bocht wel heb kunnen maken. Standaard kan je de fanwall niet verder naar achter verplaatsen. Ook door de aansluiting van de 8087 kabels aan de achterkant van mijn Areca 1882-24 was het ook niet mogelijk om bv extra gaten te boren om de fanwall verder naar achteren te schuiven.

[BartNL]

heb eigenlijk helemaal geen problemen, of in ieder geval niet zo ervaren, met de aansluiting van de SAS kabels op de backplanes in mijn norco 4224. Is setup met areca 1882ix-24.

[ Voor 9% gewijzigd door BartNL op 16-08-2013 12:41 ]