Storage showcase topic - 50+ TB storage systems

[tHe_BiNk]

Ik gebruik nu al vele jaren Areca (1210,1220,1261) RAID5 arrays van 4 tot 7 disks. Dit is voor ons voldoende ruimte. En ik moet zeggen nog nooit 1 groot probleem heb gehad. Je moet na het aanmaken van een nieuwe array, de array vullen met test data, en dan kijken of gedurende 1 week/maand er schijven uitklappen. Als dat niet het geval is, neem je de array in productie/gebruik. Dan moet de array gewoon jaren up en running blijven met 1 enkele hotswap drive.

Ga je voor 8 of meer disks in 1 array gebruik dan RAID6. Kleinere arrays hebben obv mijn ervaring voldoende aan
RAID5 + hotspare. Persoonlijk zou ik ook geen grotere arrays aanmaken dan 8 disks. Liever meerdere kleine arrays (maximaal de helft van je aantal poorten van je kaart) die zijn makkelijk te vervangen/upgraden, dan 1 groot array op 1 kaart.

Een linux based software array zou ik alleen aanraden aan mensen die er echt veel verstand van hebben. Of voor data die niet al te belangrijk is. RAID5/6 is GEEN backup. Zorg altijd voor offsite/cloud backup van je belangrijkste data. Helaas leer je dit alleen door ervaring als het echt goed fout gaat.

[ Voor 7% gewijzigd door tHe_BiNk op 20-07-2012 00:27 ]

[KorneelB]

tHe_BiNk schreef op vrijdag 20 juli 2012 @ 00:23:
Ik gebruik nu al vele jaren Areca (1210,1220,1261) RAID5 arrays van 4 tot 7 disks. Dit is voor ons voldoende ruimte. En ik moet zeggen nog nooit 1 groot probleem heb gehad. Je moet na het aanmaken van een nieuwe array, de array vullen met test data, en dan kijken of gedurende 1 week/maand er schijven uitklappen. Als dat niet het geval is, neem je de array in productie/gebruik. Dan moet de array gewoon jaren up en running blijven met 1 enkele hotswap drive.

Ga je voor 8 of meer disks in 1 array gebruik dan RAID6. Kleinere arrays hebben obv mijn ervaring voldoende aan
RAID5 + hotspare. Persoonlijk zou ik ook geen grotere arrays aanmaken dan 8 disks. Liever meerdere kleine arrays (maximaal de helft van je aantal poorten van je kaart) die zijn makkelijk te vervangen/upgraden, dan 1 groot array op 1 kaart.

Een linux based software array zou ik alleen aanraden aan mensen die er echt veel verstand van hebben. Of voor data die niet al te belangrijk is. RAID5/6 is GEEN backup. Zorg altijd voor offsite/cloud backup van je belangrijkste data. Helaas leer je dit alleen door ervaring als het echt goed fout gaat.

alhoewel ik je comment erg lief vind, en je advies niet per definitie verkeerd, dit is een topic met storage hoeren.. het is voor de meeste hier prima acceptabel raid 6 arrays over 24 disks te draaien

[Q]

Met de huidige diskgrootte van 2TB tm 4TB zou ik zelf nooit meer RAID5 doen omdat het rebuilden met deze grote disks zo lang duurt. Bovendien wil je niet met het verlies van 1 disk niet meer redundant zijn. Zelfs al draai je meerdere RAID5s. Verlies van 1 disks is in principe gegarandeerd. Hotspare is leuk, maar zet 'm dan meteen gewoon in voor RAID6.

[Verwijderd]

Q schreef op donderdag 19 juli 2012 @ 23:52:
[...]

Je schat de risico's ten aanzien van RAID6 veel te groot in. De kans dat je door de bliksem wordt getroffen is groter dan dat je RAID6 array naar de klote gaat.

Gezien het aantal decennia dat mij dat eerste niet is overkomen, durf ik voor die uitspraak m'n hand niet in het vuur te steken

Als ik de werking van flexraid goed begrijp. de kans op uitval van 2 disks voor een RAID array of losse disks zie ik als gelijk. Volgens mij ben je met flexraid dan data kwijt, tenzij je dus meer parity inzet.

Klopt, wat dat betreft is Flexraid gelijk aan RAID. Met dit verschil dat je met Flexraid naar hartelust parity-disks aan dezelfde array kunt toevoegen, desnoods al naar gelang je gemoedstoestand Met een array van 20 disks zou je bv. 4 parity-disks kunnen gebruiken, zodat je dus bestand bent tegen een uitval van 4 disks, ongeacht welke dat zijn. Met RAID 6 is dat max. 2 disks per array, hoewel de arrays dan natuurlijk ook maar half zo groot zijn.

Je hebt het over een 'thuis' situatie, maar laten we eerlijk zijn. Als je 20+ disks hebt liggen is het wel een beetje uit de hand gelopen. Dan maken die paar extra disks 'parity' ook niet meer zoveel uit. Wel 20+ disks hebben maar dan opeens zuinig gaan doen? Dat is een beetje als een dikke Porsche kopen en dan klagen over de (onderhouds)kosten.

Correctie, ik bedoel inderdaad een thuissituatie van een hobbyende tweaker die de boel uit de hand heeft laten lopen
Maar je hebt gelijk, bezuinigen op parity-disks is met zo'n array verkeerde zuinigheid. Moet alleen nog wel een geschikte kast zien te vinden.

Je moet nu met catalogus software werken (ook gedaan in de tijd van iomega zipdrives) om niet te vergeten welke data je hebt en waar het staat. Vervolgens een disk aansluiten. Begrijpelijk dat je daar vanaf wilt.

Het klinkt wellicht gek, maar dat catalogussysteem wil ik eigenlijk niet kwijt. Met zoveel (statische) data wil je eigenlijk een goede indexer hebben om alles snel te kunnen vinden, want iedere keer realtime zoeken (ik gebruik TC) wil je niet. Nu heb je natuurlijk dingen als Copernic Desktop Search (geen idee of dat ook met netwerkschijven werkt) of locate, maar whereisit heeft de meeste/handigste opties. Metadata, comments, thumbnails, previews, tags, regular expressions, virtual views, het zit er allemaal in. Waar ik wel naar uitkijk is de storagepool. Kan ik eindelijk alles een beetje fatsoenlijk organiseren

Of een goed excuus om, als het om een thuis situatie gaat en je op de centen wilt letten, Ubuntu er op te flikkeren en met een commando of 5 een schaalbare RAID6 setup te bouwen. Die je dan ofwel via iSCSI of via SMB exporteert.

Liever Debian (kan zelfs in combinatie met Flexraid). Maar ik weet het nog niet. Eerst dacht ik eraan om alles in één virtualisatieserver te stoppen. Maar met zoveel disks lijkt me dat niet verstandig, en bovendien draait het meeste dan onnodig 24/7. Dus een dedicated fileserver, dan kan de virtualisatieserver ook nog als (gedeeltelijke) backupserver fungeren. Voor (o.a.) offsite backup van de allerbelangrijkste troep verder nog een huurserver met 1 TB, waar ik Proxmox VE op wil draaien. Maar de uiteindelijke OS'sen thuis ben ik nog niet over uit. Voor het filegebeuren zal het (iig voorlopig) wel iets met Flexraid worden, maar Openfiler of ZFS (-oplossingen) hebben ook mijn aandacht, hoewel je dan weer de voordelen van Flexraid mist. Dus dat wordt afwegen. Virtualisatieserver mag evt. met RAID 5. Voorkeur voor ESXi, maar 2x 2k8(12)/Hyper-V lijkt me ook wel lekker, maar dat hangt een beetje van de (officieuze) support voor non-Windows guests af. Er valt nog genoeg te prutsen dus

Vergeet je trouwens niet om dan ook een UPS te kopen?

Ik heb er pas één weggedaan

Met je 3e levensjaar!

Toegegeven het is flauw, maar mijn losse disks-'systeem' zit al in z'n 10e levensjaar Maar inderdaad: juist daarom wil ik er vanaf, want ik durf de risico's van dat systeem niet nóg eens 10 jaar te tarten. Desalniettemin, je systeem is om van te watertanden

// edit:

freak1 schreef op vrijdag 20 juli 2012 @ 07:57:
[...]

alhoewel ik je comment erg lief vind, en je advies niet per definitie verkeerd, dit is een topic met storage hoeren.. het is voor de meeste hier prima acceptabel raid 6 arrays over 24 disks te draaien

Ok, ik ben te preuts merk ik al

[ Voor 4% gewijzigd door Verwijderd op 20-07-2012 08:36 ]

[Verwijderd]

// edit: pardon, was te enthousiast met de reply-knop.

[ Voor 110% gewijzigd door Verwijderd op 20-07-2012 08:39 ]

[Tsurany]

Q schreef op donderdag 19 juli 2012 @ 20:18:
RAID 6 kan het verlies van 2 disks hebben.

Met (Linux Software) RAID kun je prima disks naar behoefte bij prikken. Ook van verschillende groottes als je het slim aanpakt met LVM.

Maar mocht je op Windows draaien dan ben je op dit vlak 'fucked' of netjes: gelimiteerd.

Maar dan ben je alsnog je data kwijt als drie disks uitvallen. Ik kan altijd nog de data van de resterende hardeschijven afhalen aangezien dit gewoon los benaderbare NTFS schijven blijven. Daarnaast vraag ik me af of je bij Linux ook telkens kan blijven upgraden van schijven waarbij je direct de maximale capaciteit beschikbaar hebt. Maar ik draai sowieso op Windows, geen zin me in Linux te verdiepen en me te beperken op applicatie vlak.

[thalantis]

Q schreef op donderdag 19 juli 2012 @ 23:52:
[...]

knip

Anyway, Alleen Thalantis doet het goed(*), die koopt gewoon een hele extra machine. Een droom. Want ik heb het mee gemaakt, dat de voeding in mijn 18 TB NAS letterlijk stond te roken. Toen toch maar elcheapo voeding vervangen door kwaliteit van Corsair. Maar dat is dus een risico als je alles in een fs gaat stoppen.

(*) Bijna, want eigenlijk moet die 2e machine op een andere fysieke lokatie staan 1+ km van machine 1. Vereist dus ook 2e locatie met 1 gigabit internet / huurlijn + goed klimaat (hint datacenter).

ja klopt, eigenlijk fysiek scheiden van locatie, datacenter is een idee, maar dat kost wel aardig wat per maand.
en de echt belangrijke data staat online bij wuala (o.a foto's, films van de kleine)

[ Voor 5% gewijzigd door thalantis op 20-07-2012 20:45 ]

[Q]

Tsurany schreef op vrijdag 20 juli 2012 @ 09:57:
[...]

Maar dan ben je alsnog je data kwijt als drie disks uitvallen. Ik kan altijd nog de data van de resterende hardeschijven afhalen aangezien dit gewoon los benaderbare NTFS schijven blijven. Daarnaast vraag ik me af of je bij Linux ook telkens kan blijven upgraden van schijven waarbij je direct de maximale capaciteit beschikbaar hebt.

Ja dat kan.

Maar ik draai sowieso op Windows, geen zin me in Linux te verdiepen en me te beperken op applicatie vlak.

Dan ben je dus geen Tweaker, lever meteen maar je GoT account in.



Hoezo beperken?

[Q]

Verwijderd schreef op vrijdag 20 juli 2012 @ 08:34:

Het klinkt wellicht gek, maar dat catalogussysteem wil ik eigenlijk niet kwijt. Met zoveel (statische) data wil je eigenlijk een goede indexer hebben om alles snel te kunnen vinden, want iedere keer realtime zoeken (ik gebruik TC) wil je niet. Nu heb je natuurlijk dingen als Copernic Desktop Search (geen idee of dat ook met netwerkschijven werkt) of locate, maar whereisit heeft de meeste/handigste opties. Metadata, comments, thumbnails, previews, tags, regular expressions, virtual views, het zit er allemaal in. Waar ik wel naar uitkijk is de storagepool. Kan ik eindelijk alles een beetje fatsoenlijk organiseren

Ok ligt aan de content die je hebt.

Liever Debian (kan zelfs in combinatie met Flexraid). Maar ik weet het nog niet. Eerst dacht ik eraan om alles in één virtualisatieserver te stoppen. Maar met zoveel disks lijkt me dat niet verstandig, en bovendien draait het meeste dan onnodig 24/7. Dus een dedicated fileserver, dan kan de virtualisatieserver ook nog als (gedeeltelijke) backupserver fungeren. Voor (o.a.) offsite backup van de allerbelangrijkste troep verder nog een huurserver met 1 TB, waar ik Proxmox VE op wil draaien. Maar de uiteindelijke OS'sen thuis ben ik nog niet over uit. Voor het filegebeuren zal het (iig voorlopig) wel iets met Flexraid worden, maar Openfiler of ZFS (-oplossingen) hebben ook mijn aandacht, hoewel je dan weer de voordelen van Flexraid mist. Dus dat wordt afwegen. Virtualisatieserver mag evt. met RAID 5. Voorkeur voor ESXi, maar 2x 2k8(12)/Hyper-V lijkt me ook wel lekker, maar dat hangt een beetje van de (officieuze) support voor non-Windows guests af. Er valt nog genoeg te prutsen dus

Als je je storage in dit geval los houdt van je VM. Of wat storage via ISCSI aan je vmware server geeft, kun je gescheiden keuzes maken. Kost meer geld, maar geeft hoop meer plezier. Ik was trouwens vroeger van de Debian, maar dat OS trap ik overal van af en ga nu over op Ubuntu LTS met 5 jaar support (debian max 3 als je mazzel hebt).

Ik heb er pas één weggedaan

Tja. Zonder kan ook, graaf alvast een graf voor de data die je ongetwijfeld gaat verliezen.

Toegegeven het is flauw, maar mijn losse disks-'systeem' zit al in z'n 10e levensjaar Maar inderdaad: juist daarom wil ik er vanaf, want ik durf de risico's van dat systeem niet nóg eens 10 jaar te tarten. Desalniettemin, je systeem is om van te watertanden

Thanks, het ligt ook in jouw handbereik.

[Q]

freak1 schreef op vrijdag 20 juli 2012 @ 07:57:
het is voor de meeste hier prima acceptabel raid 6 arrays over 24 disks te draaien

Dat is mijn volgende project .
24 x 4TB in RAID 6 = 88 TB netto.

8000+ euro alleen al voor de disks...



Goh, een nieuwe auto of meer storage...hmmm,

Ik zou totaal 5 (vijf) stuks van mijn huidige NAS moeten maken om aan die capaciteit te komen.

[ Voor 11% gewijzigd door Q op 20-07-2012 22:27 ]

[tHe_BiNk]

Q schreef op vrijdag 20 juli 2012 @ 22:26:
[...]
Dat is mijn volgende project .
24 x 4TB in RAID 6 = 88 TB netto.

Top of the range (de 4GB harddisks) is altijd een stuk duurder. Dan moet je gewoon 2x een 24 x 3TB setup bouwen. Een "stuk" goedkoper, meer storage en makkelijker te upgraden doordat je twee RAID arrays/kaarten hebt.

freak1 schreef op vrijdag 20 juli 2012 @ 07:57:
[...]
alhoewel ik je comment erg lief vind, en je advies niet per definitie verkeerd, dit is een topic met storage hoeren.. het is voor de meeste hier prima acceptabel raid 6 arrays over 24 disks te draaien

Dat is wel 1 van de voordelen van software RAID, dat je makkelijker de array kunt vergroten door harddisks te vervangen door grotere. Bij hardware RAID moet je vaak een nieuwe array aanmaken voor de nieuwe disks.

Als al je poorten vol zitten met 1 array, moet je een nieuwe build/kaart/computer hebben voor de nieuwe array. Upgraden naar meer storage lijkt mij dan een behoorlijke klus, bij hardware RAID.

[soulrider]

Dacht dat het een showoff topic was?
Kan de rest zoals voordeel/nadeel van raid 5 over 6 in het diy-topic besproken worden, waar het beter op zijn plaats is?

Dus meer show and tell aub.

Onderbuur: je kunt discussieren over een grote build, maar sommige van de vorige posts horen toch beter thuis in het diy-topic volgens mij. Kwestie om de diy-info bijeen te houden ;-) (
(Ruimte voor disussie vs tientallen posts over raid 5 vs 6... )

[ Voor 40% gewijzigd door soulrider op 25-07-2012 20:39 ]

[Q]

Dit topic is ook voor discussie, het is geen topic zoals 'show je apple' waarbij je alleen maar plaatjes mag posten. Lees ook de TS.

[Q]

Deze output laat zien dat alle disks in mijn geliefde 18 TB Nas prima in orde zijn, op 1 na die 2 reallocated sectors heeft. Maar dat is in zichzelf niet zo spannend, zolang dit maar niet op loopt...

code:

Bunny:~# for x in `ls -1 /dev/sd?`; do echo /////// $x /////; smartctl -a -d ata $x | grep -i -e "capacity\|sector" ; done
/////// /dev/sda /////
User Capacity:    60,011,642,880 bytes
  5 Reallocated_Sector_Ct   0x0033   100   100   024    Pre-fail  Always       -       0 (2000, 0)
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
/////// /dev/sdb /////
User Capacity:    1,000,204,886,016 bytes
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
/////// /dev/sdc /////
User Capacity:    1,000,204,886,016 bytes
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
/////// /dev/sdd /////
User Capacity:    1,000,204,886,016 bytes
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
/////// /dev/sde /////
User Capacity:    1,000,204,886,016 bytes
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
/////// /dev/sdf /////
User Capacity:    1,000,204,886,016 bytes
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
/////// /dev/sdg /////
User Capacity:    1,000,204,886,016 bytes
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
/////// /dev/sdh /////
User Capacity:    1,000,204,886,016 bytes
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
/////// /dev/sdi /////
User Capacity:    1,000,204,886,016 bytes
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
/////// /dev/sdj /////
User Capacity:    1,000,204,886,016 bytes
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
/////// /dev/sdk /////
User Capacity:    1,000,204,886,016 bytes
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
/////// /dev/sdl /////
User Capacity:    1,000,204,886,016 bytes
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
/////// /dev/sdm /////
User Capacity:    1,000,204,886,016 bytes
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
/////// /dev/sdn /////
User Capacity:    1,000,204,886,016 bytes
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       2
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
/////// /dev/sdo /////
User Capacity:    1,000,204,886,016 bytes
  5 Reallocated_Sector_Ct   0x0033   252   252   010    Pre-fail  Always       -       0
197 Current_Pending_Sector  0x0032   252   252   000    Old_age   Always       -       0
/////// /dev/sdp /////
User Capacity:    1,000,204,886,016 bytes
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
/////// /dev/sdq /////
User Capacity:    1,000,204,886,016 bytes
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
/////// /dev/sdr /////
User Capacity:    60,011,642,880 bytes
  5 Reallocated_Sector_Ct   0x0033   100   100   024    Pre-fail  Always       -       0 (2000, 0)
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
/////// /dev/sds /////
User Capacity:    1,000,204,886,016 bytes
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
/////// /dev/sdt /////
User Capacity:    1,000,204,886,016 bytes
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
/////// /dev/sdu /////
User Capacity:    1,000,204,886,016 bytes
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
/////// /dev/sdv /////
User Capacity:    1,000,204,886,016 bytes
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0

Mijn separate download server heeft 2x 1 TB en 6x500GB aan boord. Hoorde opeens luid gepiep, disk uit RAID5 array geknikkerd. 1 van de 2 TB disks had IO problemen en door MDADM ontslagen.

Toen maar eens verder gekeken naar de toestand van alle disks. Niet zo goed.

code:

root@server:~# for x in `ls -1 /dev/sd?`; do echo /////// $x /////; smartctl -a -d ata $x | grep -i -e "capacity\|sector" ; done
/////// /dev/sda /////
User Capacity:    500,107,862,016 bytes
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
/////// /dev/sdb /////
User Capacity:    500,107,862,016 bytes
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
/////// /dev/sdc /////
User Capacity:    1,000,204,886,016 bytes
  5 Reallocated_Sector_Ct   0x0033   099   099   010    Pre-fail  Always       -       38
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
/////// /dev/sdd /////
User Capacity:    1,000,204,886,016 bytes
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       3
/////// /dev/sde /////
User Capacity:    500,107,862,016 bytes
  5 Reallocated_Sector_Ct   0x0033   253   253   010    Pre-fail  Always       -       0
197 Current_Pending_Sector  0x0012   253   253   000    Old_age   Always       -       0
/////// /dev/sdf /////
User Capacity:    500,107,862,016 bytes
  5 Reallocated_Sector_Ct   0x0033   253   253   010    Pre-fail  Always       -       0
197 Current_Pending_Sector  0x0012   253   253   000    Old_age   Always       -       0
/////// /dev/sdg /////
User Capacity:    500,107,862,016 bytes
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       1
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       5
/////// /dev/sdh /////
User Capacity:    500,107,862,016 bytes
  5 Reallocated_Sector_Ct   0x0033   253   253   010    Pre-fail  Always       -       0
197 Current_Pending_Sector  0x0012   253   253   000    Old_age   Always       -       0
/////// /dev/sdi /////
User Capacity:    74,355,769,344 bytes
  5 Reallocated_Sector_Ct   0x0033   199   199   140    Pre-fail  Always       -       14
197 Current_Pending_Sector  0x0012   200   200   000    Old_age   Always       -       0

Ik zie drie disks die beginnen met sterven en 1 disk die nog okish is. Maar feit is dat voor deze machine de disks hun langste tijd wel hebben gehad. En dat is ook niet zo vreemd.

De 500 GB disks zijn 4 jaar oud en hebben veel 24/7 gedraaid en goed op hun flikker gehad.
De 1 TB disks zijn 3.5 jaar oud.

De disks in mijn 18 TB nas worden veel warmer dan deze (40+ graden) maar nog in goede conditie. Maar dat komt omdat mijn grote NAS zo'n beetje 24/7 uit staat en alleen on-demand een paar uurtjes tot een dag aan staat.

Voor iedereen is het interessant om eens naar deze waarden te kijken. Ik ga in ieder geval preventief nu een nieuwe RAID5 opzetten met 4 nieuwe disks in de download server. Om gezeik voor te zijn.

[ Voor 7% gewijzigd door Q op 25-07-2012 00:52 ]

[thalantis]

hoe kan je nu zien dan dat die disks niet meer goed zijn, en is er ook een windows alternatief

[Sleepie]

thalantis schreef op woensdag 25 juli 2012 @ 11:40:
hoe kan je nu zien dan dat die disks niet meer goed zijn, en is er ook een windows alternatief

Ik neem aan dat hij doelt op de (oplopende?) reallocated sector count voor die disks uit de SMART data.
SMART data is natuurlijk ook prima uit te lezen in Windows, zijn genoeg (gratis) tools voor beschikbaar.

[Verwijderd]

Ik zou meer zorgen maken om de Current Pending Sector. Aangezien twee disks pending sectoren hebben, zou je in feite al dataverlies moeten hebben op RAID5; tenzij die sectoren betreft die niet in gebruik waren door het filesystem. In dat geval is er niets aan de hand; doordat die sectoren erg lang ongebruikt zijn gebleven, zijn ze gedemagnetiseerd. In dat geval is het een bad sector doordat die sector heel lang niet meer aangesproken is.

Maar als die pending sectoren zich wel in data voordoen, kan het zijn dat de MD (Multiple Disk) driver (die je met mdadm utility aanstuurt) die twee disks eruit gooit, en dan zit je dus met een failed RAID5 array. Voorzichtigheid is dus wel geboden.

Overigens gebruik ik mijn 500GB schijven nog steeds. Het aantal bad sectors is al jaren stabiel, maar bijna allemaal hebben ze bad sectors. Een schijf met bad sectors hoeft geen hogere kans op uitval te hebben. Plotseling overlijden heeft meer met de mechanische kant van een hardeschijf te maken zo vermoed ik.

[Verwijderd]

Q schreef op vrijdag 20 juli 2012 @ 22:22:
[...]
Als je je storage in dit geval los houdt van je VM. Of wat storage via ISCSI aan je vmware server geeft, kun je gescheiden keuzes maken. Kost meer geld, maar geeft hoop meer plezier. Ik was trouwens vroeger van de Debian, maar dat OS trap ik overal van af en ga nu over op Ubuntu LTS met 5 jaar support (debian max 3 als je mazzel hebt).

Yep. En wellicht maak ik me zorgen om niets, maar ik ben bovendien een beetje huiverig om 20 disks (zeker in RAID) toe te vertrouwen aan een 'unsupported' ESXi-bak.

Tja. Zonder kan ook, graaf alvast een graf voor de data die je ongetwijfeld gaat verliezen.

Ik stuur je wel een rouwkaartje als het zover is

Maar ik denk dat het wel mee zal vallen. Overspanningsbeveiliging heb ik wel, en aangezien ik geen hardware- of striping-RAID gebruik vermoed ik niet dat een evt. stroomuitval (hier 1x gebeurd in 30+ jaar) m'n hele array zal doen verliezen. Je zult wellicht wat nog niet weggeschreven data verliezen, maar dat lijkt me doorgaans zeer beperkt, vergelijkbaar met het gebruiken van de reset-knop van een PC. Als het dataverlies werkelijk zo onvermijdelijk (op welke termijn?) is, hebben heel wat users in dit topic, die zonder UPS een risicovoller setup draaien dan ik, een groot probleem Maar ok, indien noodzakelijk is een UPS zo gekocht.

Thanks, het ligt ook in jouw handbereik.

I know, ik zit alleen nog te twijfelen over de behuizing. Ik heb een originele serverkast (12x 5,25") die ik prefereer (tower), maar met de kosten van de 5-in-3 modules ben je al een heel eind op weg voor een Norco-case, die toch ook niet te versmaden is

Verwijderd schreef op woensdag 25 juli 2012 @ 12:23:
Maar als die pending sectoren zich wel in data voordoen, kan het zijn dat de MD (Multiple Disk) driver (die je met mdadm utility aanstuurt) die twee disks eruit gooit, en dan zit je dus met een failed RAID5 array. Voorzichtigheid is dus wel geboden.

Dus 3 disks met current pending sectors kan je hele RAID 6 array onbruikbaar maken? Maar dat is gelukkig geen serieus risico
Even voor de zekerheid: Current pending sectors zijn toch bad sectors waarvan de data nog niet 'herverdeeld' is, zoals bij reallocated sectors? Gaat dat herverdelen vanzelf? Want ik heb ook 1 schijf met current pending sectors (WD EARS, toevallig nét de nieuwste van de 20, amper een half jaar oud), en die waarde verandert niet. Wellicht een garantiegeval of ben ik te ongeduldig?

[DDX]

Verwijderd schreef op woensdag 25 juli 2012 @ 12:23:
doordat die sectoren erg lang ongebruikt zijn gebleven, zijn ze gedemagnetiseerd. In dat geval is het een bad sector doordat die sector heel lang niet meer aangesproken is.

Daarom hebben veel raid controllers (en linux md raid ook) een patrol read die langskomt om de disken eens in de zoveel tijd aan te spreken.

docje van dell hierover: http://www.dell.com/downl...ps1q06-20050212-Habas.pdf

[ Voor 10% gewijzigd door DDX op 25-07-2012 21:36 ]

[Q]

Verwijderd schreef op woensdag 25 juli 2012 @ 17:01:
[...]


Yep. En wellicht maak ik me zorgen om niets, maar ik ben bovendien een beetje huiverig om 20 disks (zeker in RAID) toe te vertrouwen aan een 'unsupported' ESXi-bak.

Dat moet je ook niet doen. 1 doos voor storage. 1 doos voor ESXi.

I know, ik zit alleen nog te twijfelen over de behuizing. Ik heb een originele serverkast (12x 5,25") die ik prefereer (tower), maar met de kosten van de 5-in-3 modules ben je al een heel eind op weg voor een Norco-case, die toch ook niet te versmaden is

Je weet dat je een 24 disk norco case wilt. Verwen jezelf.

Dus 3 disks met current pending sectors kan je hele RAID 6 array onbruikbaar maken? Maar dat is gelukkig geen serieus risico

Een pending sector is een sector waarvan de disk weet dat deze brak is. De schijf zal niet meer schrijven naar deze sector. Data kan mogelijk niet meer gelezen worden. Dan ben je blij met RAID want dan ben je geen data kwijt. De disk kan door leesfouten wel uit de array worden gekickt.

Zodra naar de pending sector wordt geschreven wordt de sector geremapped en neemd het aantal pending sectors af. De reallocated sector count neemt toe. Dus als je de disk in de array terug stopt en het ding rebuild (dus volledig herschreven) dan zou je mogelijk tijden geen problemen meer hoeven te ehbben.

De reallocated sector count is dus zeker iets om je serieus zorgen over te maken. De disk vind steeds meer rotte plekken. Het aantal reserve sectoren is beperkt.

Al die reallocated sectors zouden dus ooit pending sectors moeten zijn geweest.

Als een disk probeert te lezen van een bestaande pending sector en dit gaat fout, dan zou de RAID array dit met parity kunnen corrigeren, dus geen data verlies. Dat de disk vervolgens uit de array wordt gekickt is punt twee.

Een disk heeft pas 'echte' bad sectors als ze niet meer ge remapped kunnen worden omdat de spare sectoren op zijn. Dan beginnen er steeds meer gaten in je disk te vallen. Vervangen die hap. Dan zie je de uncorecctable error spul omhoog gaan.

ZFS neemt hier meer risico's weg omdat ZFS niet klakkeloos disks om 'kleine' issues uit een array kickt. Het is zich bewust van bestanden en checksumming enzo. ZFS kan daar veel beter mee om gaan. Daarom is ZFS met de huidige disks en array sizes het overwegen waard. Helaas is het geen native onderdeel van Linux door licentie issues.

Inderdaad loopt er op Linux systemen periodiek een check om te verifieren of disks ok zijn.

[ Voor 27% gewijzigd door Q op 25-07-2012 21:55 ]

[Q]

Ik heb voor de grap de gehele array vol geschreven met een test file.

Bij 1 disks waren de pending sectors opeens verdwenen, maar de reallocated count is niet omhoog gegaan.

code:

/////// /dev/sdg /////
User Capacity:    500,107,862,016 bytes
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       1
197 Current_Pending_Sector  0x0012   253   098   000    Old_age   Always       -       0

[jan99999]

Linux met software raid doet volgens mij geen controle/scrubbing van de sectors.
http://blog.ringerc.id.au...tware-raid-cron-raid.html

---

A simple shell script like this, dropped in /etc/cron.weekly and flagged executable, will save you a LOT of hassle:
(deze werkt)

#!/bin/bash
for f in /sys/block/md? ; do
echo check > $f/md/sync_action
done
(deze werkt)

Make sure to TEST YOUR EMAIL NOTIFICATION from mdadm, too. If a drive fails and you never get notified, you're very likely to lose that data the moment anything else goes wrong.

---

[ Voor 58% gewijzigd door jan99999 op 26-07-2012 20:10 ]

[DDX]

jan99999 schreef op donderdag 26 juli 2012 @ 20:09:
Linux met software raid doet volgens mij geen controle/scrubbing van de sectors.

Even gekeken op centos6 machine bij mijn vader met md raid :

code:

]# cat /etc/cron.d/raid-check 
# Run system wide raid-check once a week on Sunday at 1am by default
0 1 * * Sun root /usr/sbin/raid-check
]# cat /usr/sbin/raid-check 
#!/bin/bash
#
# This script reads it's configuration from /etc/sysconfig/raid-check
# Please use that file to enable/disable this script or to set the
# type of check you wish performed.

# We might be on a kernel with no raid support at all, exit if so
[ -f /proc/mdstat ] || exit 0

# and exit if we haven't been set up properly
[ -f /etc/sysconfig/raid-check ] || exit 0
. /etc/sysconfig/raid-check

[ "$ENABLED" != "yes" ] && exit 0

case "$CHECK" in
    check) ;;
    repair) ;;
    *) exit 0;;
esac

ionice=""
renice=""
case $NICE in
    high)
        renice="-n -5"
        ;;
    low)
        renice="-n 5"
        ionice="-c2 -n7"
        ;;
    idle)
        renice="-n 15"
        ionice="-c3"
        ;;
    *)
        ;;
esac

active_list=`grep "^md.*: active" /proc/mdstat | cut -f 1 -d ' '`
[ -z "$active_list" ] && exit 0

declare -A check
dev_list=""
check_list=""
for dev in $active_list; do
    echo $SKIP_DEVS | grep -w $dev >&/dev/null && continue
    if [ -f /sys/block/$dev/md/sync_action ]; then
        # Only perform the checks on idle, healthy arrays, but delay
        # actually writing the check field until the next loop so we
        # don't switch currently idle arrays to active, which happens
        # when two or more arrays are on the same physical disk
        array_state=`cat /sys/block/$dev/md/array_state`
        if [ "$array_state" != "clean" -a "$array_state" != "active" ]; then
            continue
        fi
        sync_action=`cat /sys/block/$dev/md/sync_action`
        if [ "$sync_action" != idle ]; then
            continue
        fi
        ck=""
        echo $REPAIR_DEVS | grep -w $dev >&/dev/null && ck="repair"
        echo $CHECK_DEVS | grep -w $dev >&/dev/null && ck="check"
        [ -z "$ck" ] && ck=$CHECK
        dev_list="$dev_list $dev"
        check[$dev]=$ck
        [ "$ck" = "check" ] && check_list="$check_list $dev"
    fi
done
[ -z "$dev_list" ] && exit 0

for dev in $dev_list; do
    echo "${check[$dev]}" > /sys/block/$dev/md/sync_action

    resync_pid=""
    wait=10
    while [ $wait -gt 0 -a -z "$resync_pid" ]; do
        sleep 6
        let wait--
        resync_pid=$(ps -ef | awk -v mddev=$dev 'BEGIN { pattern = "^\\[" mddev "_resync]$" } $8 ~ pattern { print $2 }')
    done
    [ -n "$resync_pid" -a -n "$renice" ] &&
        renice $renice -p $resync_pid >&/dev/null
    [ -n "$resync_pid" -a -n "$ionice" ] &&
        ionice $ionice -p $resync_pid >&/dev/null
done
[ -z "$check_list" ] && exit 0

checking=1
while [ $checking -ne 0 ]
do
        sleep 60
        checking=0
        for dev in $check_list; do
        sync_action=`cat /sys/block/$dev/md/sync_action`
                if [ "$sync_action" != "idle" ]; then
                        checking=1
                fi
        done
done
for dev in $check_list; do
        mismatch_cnt=`cat /sys/block/$dev/md/mismatch_cnt`
        # Due to the fact that raid1/10 writes in the kernel are unbuffered,
        # a raid1 array can have non-0 mismatch counts even when the
        # array is healthy.  These non-0 counts will only exist in
        # transient data areas where they don't pose a problem.  However,
        # since we can't tell the difference between a non-0 count that
        # is just in transient data or a non-0 count that signifies a
        # real problem, simply don't check the mismatch_cnt on raid1
        # devices as it's providing far too many false positives.  But by
        # leaving the raid1 device in the check list and performing the
        # check, we still catch and correct any bad sectors there might
        # be in the device.
        raid_lvl=`cat /sys/block/$dev/md/level`
        if [ "$raid_lvl" = "raid1" -o "$raid_lvl" = "raid10" ]; then
            continue
        fi
        if [ "$mismatch_cnt" -ne 0 ]; then
                echo "WARNING: mismatch_cnt is not 0 on /dev/$dev"
        fi
done
]# cat /etc/sysconfig/raid-check 
#!/bin/bash
#
# Configuration file for /usr/sbin/raid-check
#
# options:
#       ENABLED - must be yes in order for the raid check to proceed
#       CHECK - can be either check or repair depending on the type of
#               operation the user desires.  A check operation will scan
#               the drives looking for bad sectors and automatically
#               repairing only bad sectors.  If it finds good sectors that
#               contain bad data (meaning that the data in a sector does
#               not agree with what the data from another disk indicates
#               the data should be, for example the parity block + the other
#               data blocks would cause us to think that this data block
#               is incorrect), then it does nothing but increments the
#               counter in the file /sys/block/$dev/md/mismatch_count.
#               This allows the sysadmin to inspect the data in the sector
#               and the data that would be produced by rebuilding the
#               sector from redundant information and pick the correct
#               data to keep.  The repair option does the same thing, but
#               when it encounters a mismatch in the data, it automatically
#               updates the data to be consistent.  However, since we really
#               don't know whether it's the parity or the data block that's
#               correct (or which data block in the case of raid1), it's
#               luck of the draw whether or not the user gets the right
#               data instead of the bad data.  This option is the default
#               option for devices not listed in either CHECK_DEVS or
#               REPAIR_DEVS.
#       CHECK_DEVS - a space delimited list of devs that the user specifically
#               wants to run a check operation on.
#       REPAIR_DEVS - a space delimited list of devs that the user
#               specifically wants to run a repair on.
#       SKIP_DEVS - a space delimited list of devs that should be skipped
#       NICE - Change the raid check CPU and IO priority in order to make
#               the system more responsive during lengthy checks.  Valid
#               values are high, normal, low, idle.
#
# Note: the raid-check script is run by the /etc/cron.d/raid-check cron job.
# Users may modify the frequency and timing at which raid-check is run by
# editing that cron job and their changes will be preserved across updates
# to the mdadm package.
#
# Note2: you can not use symbolic names for the raid devices, such as you
# /dev/md/root.  The names used in this file must match the names seen in
# /proc/mdstat and in /sys/block.

ENABLED=yes
CHECK=check
NICE=low
# To check devs /dev/md0 and /dev/md3, use "md0 md3"
CHECK_DEVS=""
REPAIR_DEVS=""
SKIP_DEVS=""

[ Voor 24% gewijzigd door DDX op 26-07-2012 21:24 ]

[gertvdijk]

jan99999 schreef op donderdag 26 juli 2012 @ 20:09:
Linux met software raid doet volgens mij geen controle/scrubbing van de sectors.
http://blog.ringerc.id.au...tware-raid-cron-raid.html

---

A simple shell script like this, dropped in /etc/cron.weekly and flagged executable, will save you a LOT of hassle:
(deze werkt)

#!/bin/bash
for f in /sys/block/md? ; do
echo check > $f/md/sync_action
done
(deze werkt)

Make sure to TEST YOUR EMAIL NOTIFICATION from mdadm, too. If a drive fails and you never get notified, you're very likely to lose that data the moment anything else goes wrong.

---

Ligt aan je distributie denk ik. In Debian/Ubuntu tref je deze aan: /etc/cron.d/mdadm en die checkt via het eveneens meegeleverde scriptje /usr/share/mdadm/checkarray volgens mij hetzelfde.

[Intellium]

Net ook maar een bestelling geplaatst voor de onderdelen van een nieuwe storage server.

Case : Norco RPC-4224
RAID : Areca 1882-ix-24
HD : 12 x Hitachi DeskStar 7k4000 (4TB)
SSD: 2 x Crucial 128GB (mirrored)
Mobo : SuperMicro X9SCM-F
RAM : 2 x 8GB 1333Mhz DDR3 ECC CL9
CPU: Xeon E3-1230
NIC: Intel i350-T4, Quad port

Deze machine gaat dienen ter vervanging van de oude. Hij zal gebruikt worden als storage voor een geclusterde KVM farm, en als media storage.

De 12 HD's zullen in raid6 gezet worden, met een global hotspare, wat effectief 36TB aan netto storage oplevert.

[brederodekater]

Intellium schreef op vrijdag 27 juli 2012 @ 17:33:
Net ook maar een bestelling geplaatst voor de onderdelen van een nieuwe storage server.

Case : Norco RPC-4224
RAID : Areca 1882-ix-24
HD : 12 x Hitachi DeskStar 7k4000 (4TB)
SSD: 2 x Crucial 128GB (mirrored)
Mobo : SuperMicro X9SCM-F
RAM : 2 x 8GB 1333Mhz DDR3 ECC CL9
CPU: Xeon E3-1230
NIC: Intel i350-T4, Quad port

Deze machine gaat dienen ter vervanging van de oude. Hij zal gebruikt worden als storage voor een geclusterde KVM farm, en als media storage.

De 12 HD's zullen in raid6 gezet worden, met een global hotspare, wat effectief 36TB aan netto storage oplevert.

Kan niet wachten op je build-review! Beter dan al die terminal copy/paste posts

[Intellium]

Ik zal me best doen

Vandaag komen de case en de SSD's en wat kabels binnen. De rest komt pas in de loop van volgende week helaas.

[Q]

Kijk, weer eens een mooie build er straks bij. Wat gaat daar voor OS op?

[victorb]

Youtube filmpje maken van de build! en veel foto's

[Intellium]

Q schreef op zaterdag 28 juli 2012 @ 12:16:
Kijk, weer eens een mooie build er straks bij. Wat gaat daar voor OS op?

Daar komt een Linux distro op te draaien. Waarschijnlijk OpenSuse.

[Q]

Met die kaart ga je hardware RAID doen neem ik aan?
Ben stiekem benieuwd hoe zo'n setup met zoveel grote drives zou presteren met software RAID en hoe dat zich verhoudt met hardware RAID. Zowel IO als raw throughput.

[Intellium]

Q schreef op zaterdag 28 juli 2012 @ 23:35:
Met die kaart ga je hardware RAID doen neem ik aan?
Ben stiekem benieuwd hoe zo'n setup met zoveel grote drives zou presteren met software RAID en hoe dat zich verhoudt met hardware RAID. Zowel IO als raw throughput.

Uiteraard gaan we met die kaart HW RAID doen... Ik kan wel even kijken, als ik genoeg tijd heb, of ik een paar testjes kan draaien met de schijven in software en vervolgens in hardware raid.

[Q]

Kijk maar, dat kost vaak wel wat tijd, het moet je zelf ook interesseren. Het enige wat je hoeft te doen is 12 jbods te maken op de raid kaart zelf en die in Linux in een RAID 6 met 64kb clustergrootte te zetten met:

mdadm --create /dev/md0 --level=6 --raid-devices=12 --chunk=64 /dev/sda /dev/sdb etc.

daarna formatteren met mkfs.xfs /dev/md0 en mounten op een gewenst punt (/storage).

Vervolgens een dd if=/dev/zero of=/storage/test.bin bs=1M en vice versa om een performance idee te krijgen. Is alleen maximum doorvoer natuurlijk, geen random io.

[ Voor 81% gewijzigd door Q op 29-07-2012 20:39 ]

[FireDrunk]

JBOD op een Areca icm MD? Dat is vragen om problemen...

[Nelisj]

Intellium schreef op vrijdag 27 juli 2012 @ 17:33:

Case : Norco RPC-4224
RAID : Areca 1882-ix-24
HD : 12 x Hitachi DeskStar 7k4000 (4TB)
SSD: 2 x Crucial 128GB (mirrored)
Mobo : SuperMicro X9SCM-F
RAM : 2 x 8GB 1333Mhz DDR3 ECC CL9
CPU: Xeon E3-1230
NIC: Intel i350-T4, Quad port

Je hebt de grotere broer van mijn eigen NAS gebouwdt

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1220 Boxed	€ 190,40	€ 190,40
8	Hitachi Deskstar 5K3000, 2TB	€ 118,80	€ 950,40
1	Norcotek RPC-4220	€ 437,92	€ 437,92
1	Areca ARC-1880ix-24	€ 984,-	€ 984,-
1	be quiet! Pure Power L7 630W	€ 62,90	€ 62,90
2	Crucial m4 CT064M4SSD2 64GB	€ 66,95	€ 133,90
1	Kingston ValueRAM KVR1333D3E9SK2/8G	€ 59,40	€ 59,40
1	Supermicro X9SCM-F	€ 186,30	€ 186,30

[Intellium]

Q schreef op zondag 29 juli 2012 @ 20:22:
Kijk maar, dat kost vaak wel wat tijd, het moet je zelf ook interesseren. Het enige wat je hoeft te doen is 12 jbods te maken op de raid kaart zelf en die in Linux in een RAID 6 met 64kb clustergrootte te zetten met:

mdadm --create /dev/md0 --level=6 --raid-devices=12 --chunk=64 /dev/sda /dev/sdb etc.

daarna formatteren met mkfs.xfs /dev/md0 en mounten op een gewenst punt (/storage).

Vervolgens een dd if=/dev/zero of=/storage/test.bin bs=1M en vice versa om een performance idee te krijgen. Is alleen maximum doorvoer natuurlijk, geen random io.

Die test is zo gedaan, de IO kan getest worden met FIO. Zodra alles binnen is, zal ik eens kijken.

FireDrunk schreef op zondag 29 juli 2012 @ 21:25:
JBOD op een Areca icm MD? Dat is vragen om problemen...

Voor een testje geen probleem lijkt me

Nelisj schreef op zondag 29 juli 2012 @ 21:42:
[...]


Je hebt de grotere broer van mijn eigen NAS gebouwdt

Nice Hoe bevalt het mobo? Wordt mijn eerste SuperMicro board...

[Nelisj]

Intellium schreef op zondag 29 juli 2012 @ 21:56:
Nice Hoe bevalt het mobo? Wordt mijn eerste SuperMicro board...

Bevalt mij perfect! Ook mijn eerste bordje van SuperMicro ook mijn eerste met IPMI. En dat bevalt mij heel goed! Heb de installie van 2008R2 via IPMI gedaan. (daarna uiteraad met RDP)

Enige wat mij opviel is dat als je spanning er op zet en hem direct aan wil zetten dat het dan nogal lang duurt voor dat er reactie/beeld komt. Als je even wacht tot de IPMI console is opgestart (live ledje op moederbord knippert) is hij zo in de lucht.

En enige wat ik jammer/vreemd vind is dat hij de CPU temp niet weergeeft maar allen low medium en high aangeeft.

Verder is het een perfekt mobotje!

[FireDrunk]

Nelisj schreef op zondag 29 juli 2012 @ 22:06:
Enige wat mij opviel is dat als je spanning er op zet en hem direct aan wil zetten dat het dan nogal lang duurt voor dat er reactie/beeld komt. Als je even wacht tot de IPMI console is opgestart (live ledje op moederbord knippert) is hij zo in de lucht.

Komt omdat de BMC (Baseboard Management Controller) eerst een OK moet geven voordat je server aan mag...
Alle voltages worden gecontroleerd, geheugen, CPU's en dat soort gein. Mijn TYAN doet het andersom, die *kan* ik wel aanzetten, maar dan gaan alle fans op 100% aan, en na de eerste 3 regels van het bios staat er:
Waiting for BMC Initialization. Zodra die klaar is, gaan alle fans weer langzamer draaien.

[Intellium]

Net bericht binnen dat er een mogelijke aanpassing is in de levertijden van een aantal van de onderdelen

Even wachten op confirmatie....

[Birdie_NL]

Dit najaar schijnt er ook een nieuwe Norco behuizing uit te komen. Dit is de enige afbeelding die ik kon vinden.

Mini ITX en 8 x 3,5''.

[GioStyle]

Holy crap. Dat ziet er toch wel nice uit. Waar heb je deze informatie vandaan?

Van HardForum zeker?

[ Voor 14% gewijzigd door GioStyle op 31-07-2012 14:42 . Reden: Bron ]

[Birdie_NL]

GioStyle schreef op dinsdag 31 juli 2012 @ 14:38:
Holy crap. Dat ziet er toch wel nice uit. Waar heb je deze informatie vandaan?

Van HardForum zeker?

Klopt, uit het official Norco Thread topic. Heb nog even verder gezocht maar kon helemaal niets vinden qua informatie etc.

[Jormungandr]

Er is een topic op overclockers waar de case in gebruik is en meer info staat. Link terug te vinden in het norco topic op [H].

[BartNL]

Omdat mijn fileserver nu weer een tijdje draait en misschien nog zal veranderen zet ik de aanpassingen en updates ook in dit topic,

System specifications
Component	Value
Case	2x Norco RPC-4224, 1x Ri-Vier RV4324-03A en 1x X-Case RM424-EX-Gen II- 24
CPU	Intel Xeon E3-1275v2
RAM	32 GB
Motherboard	Asus P8C WS
Operating system	Windows 8.1 64bit
Controller	Areca 1882ix-24 with BBU in 1e Norco RPC-4224
Controller	Chenbro SAS expander in 2e Norco RPC-4224
Controller	Chenbro SAS expander in 3e Ri-Vier RV4324-03A
Controller	LSI SAS expander backplane van 4e X-Case RM424-EX
Harddrive	1x 512GB Crucial M550 SSD (OS boot)
Harddrive	12x 3TB Seagate ST3000DM001
Harddrive	54x 4TB Seagate ST4000DM000
Harddrive	12x 4TB Toshiba MD04ACA400
Raid Array configuration	1x 12x3TB Raid6
Raid Array configuration	2x 12x4TB Raid6
Raid Array configuration	7x 6x4TB Raid5
Netto storage capacity	250TB
Network	Onboard Intel Dual Port Adapter Teamed
UPS	APC Smart UPS1500
Filesystem	NTFS
Idle power usage	S3 sleep ~1W and WOL
Extra	Ingebouwd in 19"StarTech rack

Idee van deze server is dat deze hier in huis als fileserver dient. Voornaamste doelen zijn het centraal beschikbaar hebben van blu-rays, foto's, video en muziek. Daarbij wordt de server gebruikt als download station waarvoor Newsbinpro wordt gebruikt en draait er Squeezebox server op t.b.v. de muziek.
Media wordt afgespeeld via twee HTPC's met OpenElec XBMC en Squeezebox duet.

Foto voorkant sever rack waar systeem ingebouwd is, van boven naar beneden Norco RPC-4224, Norco RPC-4224 en Ri-Vier RV4324-03A met ruimte voor 72 harddisks.


Achterkant van hetzelfde rack waar doorlussing SAS expanders te zien is


Bovenste Norco 4224 kast bevat PC met Areca controller. Intern is met wat moeite te zien dat ik de 3x 120mm fan optie heb toegepast. Alle fans via moederbord temperatuur geregeld. Links naast RAM zit 12V relais dat wanneer deze PC opstart / uit standby gaat schakelt. De contacten worden gebruikt om de andere kasten in te schakelen.


Areca controller voorzien van Zalman VF900 koelers


2e Norco 4224 met alle ventilatoren vervangen door Artic Freezer TC (regelen zelfstandig temperatuur). In deze kast zitten naast de harddisks alleen een PSU en SAS expander. Kast wordt opgestart via relaiscontact uit bovenste kast.


3e kast Ri-Vier RV4324-03A en is net als de 2e Norco zonder moederbord en bevat enkel PSU, SAS expander en de schijven. Verschil is dat hier de originele Ri-Vier fans worden gebruikt die via een standalone T-Balncer miniNG temperatuur regelaar worden aangestuurd.


4e kast X-Case RM424-EX-Gen II- 24 niet op de foto.

[ Voor 75% gewijzigd door BartNL op 23-05-2015 16:44 . Reden: 12x 4TB Toshiba MD04ACA400 toegevoegd ]

[victorb]

Toffe setup!

Hoe bevallen de seagate disken? Ik heb er 6 in gebruik. 1 in workstation en 5 in server in zfs raidz2

[BartNL]

@victorb
Ik ben nog niet helemaal overtuigd van de Seagates maar sinds de laatste firmware er op staat bevallen ze goed. Daarvoor heb ik er binnen een maand 2 moeten RMA-en en had de Areca controller er ook meer moeite mee.
Laatste raid-6 initialize van 30TB ging nu in ruim 5 uur en sindsdien (paar weken nu) werken ze probleemloos.

[ Voor 3% gewijzigd door BartNL op 05-08-2012 17:30 ]

[victorb]

Ik heb in me server de laatste firmware draaien en in mijn workstation gewoon die erop zat toen ik hem kocht. Ik heb de disken ook expres bij de mycom hier om de hoek gekocht. Als je dan RMA nodig heb kan je ze snel langs brengen en hoef je niet te gaan opsturen En ik kan gewoon online een disk reserveren, voordat ik naar de winkel ga als ik een kapotte disk heb

[Birdie_NL]

Jormungandr schreef op woensdag 01 augustus 2012 @ 13:00:
Er is een topic op overclockers waar de case in gebruik is en meer info staat. Link terug te vinden in het norco topic op [H].

Thanks voor de tip, ik heb even gekeken maar het blijkt dus helemaal niet om een Norco behuizing te gaan.
Het is 1 of andere chineze NAS via Alibaba.com

[-Venom-]

Ook mijn servertje maar eventjes netjes:

Tabel met systeem info

System specifications
Component	Value
Case	Istar & custom behuizing
CPU	AMD 4850E
RAM	4 x Kingston Hyper X 1GB
Motherboard	Asus m2n-sli Deluxe
Operating system	Windows Home Server 2011
Controller	8x sata onboard + 3Ware 9500 12poorts + 3Ware 9500 8poorts+ Addonics port multiplier
Hard drive	1 x WD velociraptor 150gb
Hard drive	2 x WD Green 2tb
Hard drive	5 x WD Green 1,5tb
Hard drive	13 x WD Green 1tb
Hard drive	3 x Samsung Spinpoint f3 1tb
Hard drive	2 x Seagate Barracuda 1tb
Hard drive	2 x WB Black 250gb
RAID array configuration	raid 10
Netto storage capacity	26tb
Network	Gigabit door heel het huis
UPS	APC 750VA
Filesystem	NTFS
Idle power usage	met spindown rond de 100 watt alles actief rond de 200 watt
Extra	Bovenste behuizing is zelfbouw ook is alles matzwart gespoten

Hier mijn "oude" server in een chieftec behuizing die toch al snel te klein werd.


Daarna een grotere chieftec behuizing gekocht maar dat was het toch ook niet helemaal.


Toen toch maar eens voor een echte serverbehuizing gaan zoeken en dat is na wat klussen dit geworden:










En al snel moesten er toch weer meer harde schijven in dus toch weer aan het klussen, ik was al in het bezit van 4 chieftec 3in2 modules die nog 1tje bijgekocht via vraag en aanbod en daarna met wat hdf en een plaat metaal zelf maar een hotswap behuizing gemaakt:





En uiteindelijk (of voorlopig) ziet het er dan zo uit:



Er draait momenteel WHS 2011 op voorheen WHS 2003 maar op de 1 of andere manier werkte dat niet lekker met zoveel harde schijven.
De server wordt voornamelijk gebruikt voor opslag van films series heel veel foto's en films van de kleine, ook worden van elke pc in huis dagelijks backups gemaakt (en dat zijn er ook behoorlijk wat)
Daardoor is snelheid ook niet zo heel erg belangrijk.
Van echt belangrijke data worden dagelijks backup's gemaakt ook wissel ik maandelijks de backup schijven en leg ik ze op mijn werk neer (zodat ik altijd ook echt een backup heb)
Als extra backup heb ik ook nog een oud pctje in de meterkast staan met whs 2003 die gaat 1 x in de week aan en daar staat dus ook nog eens alles op wat echt onvervangbaar is (beetje para om iets te verliezen )

Momenteel toch de mogelijkheid van flexraid aan het bekijken na wat tips hier, ook raakt de opslagruimte weer aardig vol dus misschien flexraid + wat nieuwe schijven in de toekomst.

23-11-2012

8 x WD green 1TB schijven aangeschaf waarvan 4 in een raid 10 configuratie gezet en 4 als extra opslag totaal aan opslag is nu 24 TB
Heb nu nog ruimte voor 2 HDD's en dan is het qua ruimte en aansluitingen op
Ook de voeding is inmiddels vervangen want mijn 600watt igreen bleek niet in staat alle hdd's te laten opspinnen, nu zit er een corsair AX850 in die wel voldoende power heeft

6-4-2013

Controllers vervangen en 2 x WD Green 1,5TB schijven toegevoegd + Satadock met Esata aangesloten voor backups momenteel nog 1 Bay vrij .

[ Voor 8% gewijzigd door -Venom- op 06-04-2013 21:20 . Reden: verandering opslagruimte ]

[BartNL]

victorb schreef op zondag 05 augustus 2012 @ 17:42:.... Ik heb de disken ook expres bij de mycom hier om de hoek gekocht.....kan gewoon online een disk reserveren, voordat ik naar de winkel ga als ik een kapotte disk heb

maar zo te zien heeft Mycom de Seagate schijven vandaag uit het assortiment genomen en verkopen ze alleen nog maar WD

[victorb]

BartNL schreef op dinsdag 07 augustus 2012 @ 20:56:
[...]

maar zo te zien heeft Mycom de Seagate schijven vandaag uit het assortiment genomen en verkopen ze alleen nog maar WD

Ik heb meteen gekeken en hij is nu euro goedkoper. Misschien keek je tussen prijs update ofzo?

[Q]

@Venom, bedankt voor de nette post en de uitgebreide foto's, erg leuk om te zien en helder dat je daar wat tijd en moeite in hebt gestoken.

[BartNL]

victorb schreef op dinsdag 07 augustus 2012 @ 22:09:
[...]Ik heb meteen gekeken en hij is nu euro goedkoper. Misschien keek je tussen prijs update ofzo?

hmm, vreemd maar inderdaad nu geven ze weer aan dat de schijf uit voorraad leverbaar is.

[Phasis]

Verwijderd schreef op woensdag 15 juni 2011 @ 16:02:
[...]


nieuwe build.. storage/ESXi server

[afbeelding]
- testing.. wachtend op componenten

Xeon X3440
SUPERMICRO X8SIL-F
16 GB : 2 x 8 GB ECC
SASUC8I 2 x
F4EG16 x
SSD 4 x

borroz welk merk/type geheugen gebruik jij icm de X8SIL-F?

[Sleepie]

Phasis schreef op woensdag 08 augustus 2012 @ 23:43:
borroz welk merk/type geheugen gebruik jij icm de X8SIL-F?

Als ik het me goed herinner (ik heb hetzelfde bord en samen met borroz het geheugen uitgezocht, was dat deze: pricewatch: Kingston KVR1066D3Q8R7SK2/16G

[Phasis]

Sleepie schreef op donderdag 09 augustus 2012 @ 03:05:
[...]

Als ik het me goed herinner (ik heb hetzelfde bord en samen met borroz het geheugen uitgezocht, was dat deze: pricewatch: Kingston KVR1066D3Q8R7SK2/16G

Owk bedankt. Het wordt ons niet makkelijk gemaakt met dit moederbord. Ik zie dat dit die Quad ranked is uit de lijst van Kingston. Volgens de handleiding draait je geheugen dan op 1066mhz.
Ik was opzoek naar 2x8 dual rank 1333mhz zodat ik in de toekomst kan uitbreiden naar 32gig. Alleen is het me nog niet duidelijk of dit nu wel of niet kan. En er is voor zover ik kan vinden geen geverifieerd geheugen hiervoor.

[FireDrunk]

Dual ranked 8GB? Bestaat dat uberhaupt? Zijn die niet allemaal 4GB?

[Sleepie]

Phasis schreef op donderdag 09 augustus 2012 @ 09:18:
Owk bedankt. Het wordt ons niet makkelijk gemaakt met dit moederbord. Ik zie dat dit die Quad ranked is uit de lijst van Kingston. Volgens de handleiding draait je geheugen dan op 1066mhz.
Ik was opzoek naar 2x8 dual rank 1333mhz zodat ik in de toekomst kan uitbreiden naar 32gig. Alleen is het me nog niet duidelijk of dit nu wel of niet kan. En er is voor zover ik kan vinden geen geverifieerd geheugen hiervoor.

32 GB met dual rank kan volgens mij niet.
Pagina 2-11 van de handleiding bovenaan: Dual Rank : Up to 16GB ( 4x 4GB modules).

En ik weet niet zeker of die modules die jij zoekt uberhaupt wel bestaan.
Wat FireDrunk dus ook al zegt

[Phasis]

Ik heb je post gevonden Sleepie: Kingston ValueRAM KVR1066D3Q8R7SK2/8GI ook quad rank.

Dit zou natuurlijk ook goed kunnen dat zou een logische verklaring zijn waarom ik niemand kan vinden die het gebruikt in combinatie met dit moederbord.

Ja idd dat van pagina 2-11 had ik gezien. Had alleen gister gebeld naar Supermicro en hij zei dat het wel kan als ik maar voor dual rank geheugen zou gaan en RDIMM.
Degene waar hij mee kwam waren deze.

Anders word het gewoon 4x4

[Sleepie]

Phasis schreef op donderdag 09 augustus 2012 @ 09:39:
Ik heb je post gevonden Sleepie: Kingston ValueRAM KVR1066D3Q8R7SK2/8GI ook quad rank.

Dit zou natuurlijk ook goed kunnen dat zou een logische verklaring zijn waarom ik niemand kan vinden die het gebruikt in combinatie met dit moederbord.

Ja idd dat van pagina 2-11 had ik gezien. Had alleen gister gebeld naar Supermicro en hij zei dat het wel kan als ik maar voor dual rank geheugen zou gaan en RDIMM.
Degene waar hij mee kwam waren deze.

Anders word het gewoon 4x4

Kijk ook even hier: Sleepie in "Het grote DIY RAID NAS topic deel 3"

Het wordt allemaal steeds onduidelijker zo

[MrBarBarian]

Sleepie schreef op donderdag 09 augustus 2012 @ 09:41:
[...]

Kijk ook even hier: Sleepie in "Het grote DIY RAID NAS topic deel 3"

Het wordt allemaal steeds onduidelijker zo

Praktisch antwoord:

Ik heb 2xKingston ValueRAM KVR1066D3Q8R7SK2/16G in een Supermicro X8SI6-F-O (behoorlijk vergelijkbaar moederbord als ik zo snel kijk). Totaal dus 32GB. Geen idee alleen waar het effectief op draait.

Voor de liefhebber heb ik nog 2x KVR1066D3Q8R7SK2/8G (totaal 16Gb) liggen overigens

[Sleepie]

Inderdaad een vergelijkbaar moederbord zo te zien, sowieso dezelfde chipset.

In ieder geval goed nieuws dan dat 2 van die 16 GB kitjes in ieder geval werken op deze borden!

[FireDrunk]

Dan zal mijn bord wel een uitzondering zijn

[Phasis]

Inderdaad nu weten we vrijwel zeker dat dit dus werkt.

De vraag alleen nu is zal ik nu voor 2x8/4x8 quad rank gaan of voor 4x4 dual rank.

Quad rank:
Voordeel:mogelijkheid tot uitbereiding naar 32gig
Nadeel: 32gig mhz is op 800mhz

Dual rank:
Voordeel: draait op 1333mhz door dual rank.
Nadeel: Niet uitbreidbaar.

[Sleepie]

Dat ligt er natuurlijk ook een beetje aan wat je precies met de machine gaat doen?
Gewoon op z'n Hollands de meest goedkope optie kiezen is natuurlijk ook nog een mogelijkheid

[Phasis]

Haha ik denk inderdaad dat dat de beste optie is.
Dit is wat ik in gedachte heb:
Ik heb nog een 2e server staan met 3x1TB. Ik zat te denken om deze ook te virtualiseren. Om zo wat te besparen op energie.

De server is nu:
Lian Li PC-V354B
5x2TB HD204UI
OCZ Vertex SATA II 2.5" 30GB (hier staan me VM's op)

ik draai nu 2 VM's:
ZFSguru (storage) 5x2TB
Ubuntu 12.04 (tvheadend met 2 Suntek mediatv pro tvtuners voor 2 xbmc clients)

Ik heb het idee van tbusquet om mijn Lian Li case te vervangen door een Antec Twelve Hundred icm die Coolermaster 4 in 3 modules zodat ik genoeg ruimte heb voor HD's.
Ik zag ook hier nog een leuke optie met hotswap 20hd's. Alleen dit is wordt vrij prijzig en hotswap is niet ondersteund met de X8SIL-F volgens de handleiding.

De Antec case is alleen iets te diep 51cm dan komt ie een 11cm voor me kast te staan. Ivm de Coax aansluitingen moet deze in de huiskamer staan. Dus als iemand nog een beter alternatief weet icm met die Coolermaster modules hoor ik dat graat.

Zit alleen nog even uit te zoeken of de HD's een beetje makkelijk te vervangen zijn met die coolermaster modules en hoe het zit met noise.

[ Voor 8% gewijzigd door Phasis op 09-08-2012 12:32 ]

[Sleepie]

Ik zou gewoon voor dat 16GB kitje gaan, mocht je later nog meer servers gaan draaien of je ZFS pools uitbreiden kun je altijd nog wat geheugen bij prikken (ZFS houdt immers van veel geheugen).

Jouw idee is trouwens vergelijkbaar met mijn idee. Ik heb nu een losse NAS server (waar het X8SIL-F bord inzit, draait ZFSGuru) en een losse Hyper-V server. Door ESX te gaan draaien wil ik die laatste opruimen en stroomkosten besparen.

Tsja, het kost een paar centen, maar ik vind hotswappable 5-in-3 modules gewoon erg handig als er eens een disk vervangen moet worden (ook al wordt hotswap niet ondersteund). Geen gedoe om de kast open te schroeven enzo

Overigens wel jammer dat je linkt naar een extern forum voor die oplossing..... hier Sleepie in "Storage showoff topic - 10+ TB storage systems" staat ook zoiets beschreven

[Phasis]

Idd de hotswap is zeker erg handig. Daarom dat ik ook nog ff uit wil zoeken hoe dat nu werkt met die Coolermaster want zoals het nu gaat in die Lian Li kast vind ik toch lastig werken. Even kijken of die coolermaster module het makkelijker maakt anders maar ff kijken wat het kost. In die hot swap kastjes zitten kleine fans die zullen wel weer meer herrie maken.

Dan zal ik straks iedergeval even die KVR1066D3Q8R7SK2/16G bestellen.

Ow ok dat was ik nog niet tegen gekomen thx voor de tip ga ik daar nog ff naar kijken.

[sloth]

Vanuit een kostenstandpunt begrijp ik de keuze voor hot swap niet zo goed.

Ok, het is erg handig om snel een disk te kunnen swappen, maar weegt het ook rationeel op tegen de kosten?
Bij dit soort DIY systemen lijkt me de kans groot dat je slechts 1x per jaar een disk moet vervangen.

Een Norco 5 in 3 5,25" hot-swap kost je 90 euro, en dan moet je nog de fan gaan vervangen.
Weegt dit op tegen een halfuurtje per jaar extra downtime?

[FireDrunk]

Nee, het is gewoon een pats-factor...

* FireDrunk heeft zijn hotswap bays 2e hands gekocht... Scheelt meer dan de helft.

[Q]

10+ TB en rationeel?

Heb precies 0 keer gebruik gemaakt van hot-swap functionaliteit. Systeem bestaat 3 jaar.

[ Voor 80% gewijzigd door Q op 09-08-2012 19:52 ]

[-Venom-]

Idd ook ik heb vrijwel alles hotswap op 6 schijven na.. ik gebruik het alleen voor mijn 2 backupschijven maar alle andere schijven blijven altijd netjes op hun plek zitten alleen het oog wil ook wat he

[Sleepie]

Natuurlijk is het voor een deel gewoon pats-factor en eye candy.

Echter, mijn doel toen ik de NAS bouwde was om 20 schijven in een desktop kast (Antec Twelve Hundred) kwijt te kunnen (al zitten er nu nog maar 10 in, kwestie van voorbereid zijn op de toekomst). Dan moet je al iets met 4-in-3 of beter nog 5-in-3 modules gaan doen.
Ik ken wel allerlei 4-in-3 modules, maar zijn er eigenlijk wel 5-in-3 modules die niet hotswappable zijn?

[BartNL]

BartNL schreef op zondag 05 augustus 2012 @ 17:10:
Omdat mijn fileserver nu weer een tijdje draait en voorlopig niet meer zal veranderen zet ik het ook in dit topic

ach ja, niets zo veranderlijk als mijzelf. Heb vanmorgen 12x 3TB Seagates in de Norco bijgeplaatst en de raid array is opnieuw aan het initialiseren,



Initialiseren lijkt voortvarend en snel te verlopen dus met een paar uur hoop ik de fileserver revisie 1.1 online te hebben

[ Voor 10% gewijzigd door BartNL op 11-08-2012 10:51 . Reden: thumbnailed ]

[Dadona]

Sleepie schreef op donderdag 09 augustus 2012 @ 20:20:
Ik ken wel allerlei 4-in-3 modules, maar zijn er eigenlijk wel 5-in-3 modules die niet hotswappable zijn?

Ze zijn er wel (moet zeggen dat je dan voornamelijk modules tegenkomt die wel hot swappable zijn), maar de vraag is of je daar echt blij van gaat worden. De hoeveelheid ruimte tussen de schijven is zo goed als nul wat op het vlak van koeling toch een grotere uitdaging gaat worden. Bij een 4-in-3 opstelling kun je nog prima wegkomen met langzaam draaiende ventilatoren, ongeacht de schijven. Maar bij een 5-in-3 kun je bijna net zo goed de schijven boven op elkaar leggen.

[Q]

Het voordeel is wel dat als het mis gaat je niet je kast overhoop hoeft te halen met alle risico's van dien. Zeker als je op dat moment disk uitval hebt, kun je je niet nog meer problemen veroorloven, Met RAID 6 heb je marge, maar met RAID 5 niet.

Ergens is het voor de show, maar ergens is het ook zo: als je dit soort builds bouwt, doe het dan ook gewoon helemaal goed.

[ Voor 20% gewijzigd door Q op 11-08-2012 11:32 ]

[Wouter.S]

Sleepie schreef op donderdag 09 augustus 2012 @ 20:20:
Ik ken wel allerlei 4-in-3 modules, maar zijn er eigenlijk wel 5-in-3 modules die niet hotswappable zijn?

Ik kwam via het hardforum deze tegen waarvan ik de prijs zeker wel vind meevallen.
http://www.moddiy.com/pro...A-Expander-Enclosure.html

[BartNL]

Q schreef op zaterdag 11 augustus 2012 @ 11:23:
Het voordeel is wel dat als het mis gaat je niet je kast overhoop hoeft te halen met alle risico's van dien. Zeker als je op dat moment disk uitval hebt, kun je je niet nog meer problemen veroorloven, Met RAID 6 heb je marge, maar met RAID 5 niet.

de enige keer dat ik een raid array kwijt raakte was precies om die reden. Ik had destijds een CM stacker met twee 4in3 modules. Werkte prima en op een bepaald moment viel er een disk uit de array. Omdat ik de 4in3 module moest uitbouwen heb ik blijkbaar ongemerkt een sata stekker losgemaakt. Bij herstart bleek de raid-5 array niet meer te werken waarbij drie schijven verdwenen waren. Ik bleek namelijk ook nog de verkeerde disk vervangen te hebben. Allemaal erg dom maar het kwam wel doordat zo'n 4in3 module het vervangen lastiger en minder overzichtelijk maakt.
Ik gebruik daarom nu hotswap bays zodat ik niet meer in de kast hoef en geen kabels hoef los te trekken. Uiteindelijk gaat het bij mijn fileserver niet om uptime of bedrijfskritische data maar wel om gemak en het minimaliseren van onnodige risico's. Het is duurder en ik snap ook dat niet iedereen daar het geld dan voor over heeft. Dat geldt volgens mij in zijn algemeenheid voor alle 10TB+ systemen.

[pipo de C]

@BartNL

12*3TB.. NICE... maar met HW raid - geen WD Red schijven? (ivm TLER?)

[wjn]

Wouter.S schreef op zaterdag 11 augustus 2012 @ 11:45:
[...]

Ik kwam via het hardforum deze tegen waarvan ik de prijs zeker wel vind meevallen.
[afbeelding]http://www.moddiy.com/products/5%252din%252d3-Device-Module-Hard-Disk-Cage-SAS%7B47%7DSATA-Expander-Enclosure.html

Zoek eens op HDR-5, die prijs valt ook mee (al zou ik dan wel meteen andere [stillere] ventilatoren mee bestellen).

[BartNL]

pipo de C schreef op zaterdag 11 augustus 2012 @ 11:47:
maar met HW raid - geen WD Red schijven? (ivm TLER?)

draai al 6 jaar een hardware raid setup met consumer schijven die geen TLER ondersteunen. Tot nu toe zijn er bij mij in die 6 jaar 5 schijven uit de raidset gevallen en die waren allemaal ook echt defect en werden dus niet zomaar gekicked omdat ze even niet reageerden.
Bij mijn Areca is in te stellen dat TLER niet ondersteund wordt en sinds kort is daar nog een optie "Fail Disk For Any Timeout" bijgekomen die ik op "disabled" heb staan. Misschien dat dat bij andere harware raid controllers niet in te stellen is?

[Speedwolf]

BartNL schreef op zaterdag 11 augustus 2012 @ 12:05:
[...]

draai al 6 jaar een hardware raid setup met consumer schijven die geen TLER ondersteunen. Tot nu toe zijn er bij mij in die 6 jaar 5 schijven uit de raidset gevallen en die waren allemaal ook echt defect en werden dus niet zomaar gekicked omdat ze even niet reageerden.

Hallo BartNL. Welke schijven gebruik je vooral? Greens of gewone?

[BartNL]

Speedwolf schreef op zaterdag 11 augustus 2012 @ 14:53:
[...]Welke schijven gebruik je vooral? Greens of gewone?

vorige setup waren greens van Samsung en WDC. Momenteel gebruik ik 24 Seagate Barracuda's 7200.14 ST3000DM001 die 7200rpm draaien maar wel relatief zuinig (<10W) zijn. Volgens Seagate zijn ze ook erg groen

[Q]

BartNL schreef op zaterdag 11 augustus 2012 @ 11:47:
[...]

de enige keer dat ik een raid array kwijt raakte was precies om die reden. Ik had destijds een CM stacker met twee 4in3 modules. Werkte prima en op een bepaald moment viel er een disk uit de array. Omdat ik de 4in3 module moest uitbouwen heb ik blijkbaar ongemerkt een sata stekker losgemaakt. Bij herstart bleek de raid-5 array niet meer te werken waarbij drie schijven verdwenen waren. Ik bleek namelijk ook nog de verkeerde disk vervangen te hebben. Allemaal erg dom maar het kwam wel doordat zo'n 4in3 module het vervangen lastiger en minder overzichtelijk maakt.
Ik gebruik daarom nu hotswap bays zodat ik niet meer in de kast hoef en geen kabels hoef los te trekken. Uiteindelijk gaat het bij mijn fileserver niet om uptime of bedrijfskritische data maar wel om gemak en het minimaliseren van onnodige risico's. Het is duurder en ik snap ook dat niet iedereen daar het geld dan voor over heeft. Dat geldt volgens mij in zijn algemeenheid voor alle 10TB+ systemen.

Grappig (en niet grappig natuurlijk) dat zoiets ook echt gebeurd, maakt het minder een theoretisch risico. Illustreert ook ander risico.

Zorg er voor dat je precies weet welke fysieke disk mapt naar de disk die door software wordt gemarkeert als zijnde defect. Zorg voor de juiste software, maak een tekening, maak een stuk software dat dit voor je mapt, want dat maakt echt verschil.

[FireDrunk]

Makkelijkste is op serienummer kijken, kan (in theorie ) niet fout gaan...

[brederodekater]

BartNL schreef op zaterdag 11 augustus 2012 @ 12:05:
[...]

draai al 6 jaar een hardware raid setup met consumer schijven die geen TLER ondersteunen. Tot nu toe zijn er bij mij in die 6 jaar 5 schijven uit de raidset gevallen en die waren allemaal ook echt defect en werden dus niet zomaar gekicked omdat ze even niet reageerden.
Bij mijn Areca is in te stellen dat TLER niet ondersteund wordt en sinds kort is daar nog een optie "Fail Disk For Any Timeout" bijgekomen die ik op "disabled" heb staan. Misschien dat dat bij andere harware raid controllers niet in te stellen is?

Ik stond gelijk te popelen om de firmware op mijn Areca 1160 te updaten toen ik zag dat deze opties erbij zijn gekomen, maar het ziet er naar uit dat alle oudjes blijven steken op firmware v1.49

[sus]

Ik zit met het volgende, en vraag me af wat ik het beste kan doen, op gebied van prestatie gekeken.

Ik heb al een server draaien met nu 2x 2TB in raid 1. Dit heb ik destijds gedaan dmv dmraid op debian x64. Nu gebruik ik deze server de laatste tijd niet meer voor mijn belangrijke backups, en dus kan het hele spul "afgebroken" worden. Daarnaast heb ik ook al een paar andere 2TB schijven (zelfde werk en type) erbij gehaald, totaal 6 stuks. Daarnaast heb ik nog een stuk of 4 1TB schijven liggen, ook zelfde merk. Opgeteld dus 14TB.

Wat wil ik:
Gewoon domweg veel storage. De data die er op komt te staan is niet spannend, series, films, muziek. Vooral het gemak dat het beschikbaar is, is voor mij de reden dat ik meer ruimte wil hebben. Het zou fijn zijn zijn als ik eventueel de 1TB schijven er ook bij kan zetten om die eventueel te gebruiken voor uitval van schijven.

Ik kom nu op het punt dat ik _een_ controller kaartje moet kopen, gezien ik op mijn mobo maar 4 sata aansluitingen heb. Verder draait daar een q6600 op met 8GB geheugen. Ik heb een losse bootschijf van 160GB puur en alleen voor het OS. Op het mobo heb ik een PCI-e x4 en ook een x16, ding draait met een onboard gpu. Via gbit wordt de boel op het netwerk gekiept.

Die controller dus... Wat is handig. Een dure sas controller met raid functies of gewoon een paar goedkopere sata controllers en de boel met een softraid opzetten. En welke controller zouden jullie dan adviseren.

[Pantagruel]

sus schreef op zondag 12 augustus 2012 @ 10:20:
Ik zit met het volgende, en vraag me af wat ik het beste kan doen, op gebied van prestatie gekeken.

Ik heb al een server draaien met nu 2x 2TB in raid 1. Dit heb ik destijds gedaan dmv dmraid op debian x64. Nu gebruik ik deze server de laatste tijd niet meer voor mijn belangrijke backups, en dus kan het hele spul "afgebroken" worden. Daarnaast heb ik ook al een paar andere 2TB schijven (zelfde werk en type) erbij gehaald, totaal 6 stuks. Daarnaast heb ik nog een stuk of 4 1TB schijven liggen, ook zelfde merk. Opgeteld dus 14TB.

Wat wil ik:
Gewoon domweg veel storage. De data die er op komt te staan is niet spannend, series, films, muziek. Vooral het gemak dat het beschikbaar is, is voor mij de reden dat ik meer ruimte wil hebben. Het zou fijn zijn zijn als ik eventueel de 1TB schijven er ook bij kan zetten om die eventueel te gebruiken voor uitval van schijven.

Ik kom nu op het punt dat ik _een_ controller kaartje moet kopen, gezien ik op mijn mobo maar 4 sata aansluitingen heb. Verder draait daar een q6600 op met 8GB geheugen. Ik heb een losse bootschijf van 160GB puur en alleen voor het OS. Op het mobo heb ik een PCI-e x4 en ook een x16, ding draait met een onboard gpu. Via gbit wordt de boel op het netwerk gekiept.

Die controller dus... Wat is handig. Een dure sas controller met raid functies of gewoon een paar goedkopere sata controllers en de boel met een softraid opzetten. En welke controller zouden jullie dan adviseren.

Wellicht belangrijker dan de keuze voor een controller is de vraag of je moederbord in het PCIe 16x slot iets anders accepteert dan een videokaart, google is je vriend omdat uit te vinden. In je PCIe 4x slot zal t doorgaans wel werken, als het een 'open ended' PCIx slot is kun je er ook een PCIe 8x kaart in steken, lever je wel doorvoersnelheid in).

De keuze voor een controller is mede afhankelijk van het type hdd dat je nu hebt (consumer of server grade) ,je budget en je OS wens. Als je standaard desktop hdd's hebt (WD EARS, Samsung F3/F4's,etc) dan heb je weinig aan een echte hardware RAID controller ivm het ontbreken van TLER ondersteuning door de schijven en kun je beter voor een 'domme' SATA/SAS controller gaan en software RAID/ZFS/etc. gaan draaien. Mocht je wel hdd's met TLER ondersteuning hebben dan is een hardware RAID controller een optie, maar dan moet deze wel ik je budget plaatje passen, een hardware RAID oplossing is doorgaans ook een betere oplossing voor het Windows platform.

Een betaalbare en goed werkende controller is de veelvuldig aangehaalde IBM M1015 (een LSI 9211/9240 8i variant) die met een relatief eenvoudige flash naar een 'domme' SAS controller is om te toveren welke dan perfect samenwerkt met o.a. OpenSolaris/OpenIndiana/Nexenta of FreeBSD (ZFSguru) als je ZFS zou willen gebruiken.

[Dadona]

ZFS is niet aan te raden tenzij de hele opstelling op de schop gaat. Met 8GB kun je het schudden.

[FireDrunk]

Waar heb je die wijsheid vandaan? Waarom zou 8GB te weinig zijn?

[Dadona]

Uitgaande van de wens tot prestaties en daarbij kijkende naar de vuistregel. Je kunt het afzwakken, maar met 14TB geeft de vuistregel al aan dat je aan 14GB moet denken, exclusief OS. Met 8GB all-in zit je daar toch wel een eind vanaf.
Daar komt nog bij dat het 'geen spannende data' is, dan is het misschien handiger om niet de zwakkere schakel van het systeem op te zoeken: geheugen. Dan kun je misschien beter voor een simpele array gaan.

[FireDrunk]

Als je de startpost van Het grote ZFS topic goed gelezen had, zie je dat dat een Enterprise vuistregel is, die ik daar zelf heb neergezet.

Waarom 1GB per 1TB? Omdat je ervan uit kan gaan dat een grote enterprise omgeving met 100TB niet maar 10 gebruikers op 1 NAS heeft zitten, dat zullen er vele honderden zijn.
De verhouding 1GB per 1TB heeft dus niets met de daadwerkelijke grootte van de volumes te maken, maar meer met de verwachte belasting van die ene TB.

Je kan ZFS prima draaien met 4-8GB ongeacht de grootte van je dataset. Voor huis tuin en keuken gebruik van 3-8 users is dat meer dan zat.

Dat neemt niet weg dat meer altijd leuker is, maar of je het ook echt gaat merken? Denk het niet...
ZFS heeft een dirty cache van een paar seconden (5 uit mijn hoofd) dus als jij niet meer dan 4GB kan vullen met schrijfbare data, merk je het bij schrijven nooit.
Andersom met lezen: Als jij niet meer dan 4GB per 5 seconden *uit* je ZFS server haalt, prefetcht de server ook niet meer, want dat kan hij toch niet kwijt.

Met andere woorden, je zit heel snel aan de max van alle interfaces die je NAS heeft.

Bij veel users word dit anders, omdat hij voor alle streams tegelijk gaat prefetchen, en dan is veel geheugen dus veel beter. En doorgaans heeft een NAS met zoveel concurrency ook meerdere netwerk interfaces (of zelfs 10Gb).

[ Voor 3% gewijzigd door FireDrunk op 13-08-2012 12:27 ]

[Dadona]

Je hoeft niet meteen te denken dat ik die startpost niet heb gelezen, daarom had ik het ook over dat je het kunt afzwakken. (Overigens zijn er meerdere versies, CiPHER heeft zelf ook al over de x RAM per 100MB/sec performance. Wat de bron betreft voor de enterprise claim, dat is wel een statement met Solaris in gedachten. Dit terwijl velen vanuit FreeBSD redeneren en de startpost zelf aangeeft dat je dan wat meer geheugen nodig hebt. Helaas zonder versie aanduiding, ik weet niet of dat met een recentere versie van FreeBSD anders is.

Het ging mij er vooral om dat de combinatie prestaties, 8GB met 14GB en ZFS mij niet de beste leek. Nu kan dat nog altijd genoeg zijn, zoals het voltrekken van gigabit, maar prestaties op zich, daarvoor zou ik dan toch eerder naar een ander filesystem gaan.
Dit alles maakt wel dat ik maar daadwerkelijk eens een verzoekje in ga dienen bij CiPHER voor een leuke benchmark voor de vele versies van performance met geheugen en vuistregels. Stond al wat langer op de planning, maar nu ben ik het zat.

[ Voor 12% gewijzigd door Dadona op 13-08-2012 12:41 ]

[FireDrunk]

Die benchmark kan ik je nu al vertellen hoor, scheelt bijna niets
Ik heb zelf 8 * 2TB in ZFS gehad, met 6GB ram, en dat werkte prima.
8GB was een fractie sneller qua top doorvoersnelheid, maar qua IOPS scheelde het weinig.

Conccurency kan ik niet testen, zoveel clients heb ik niet

[ Voor 36% gewijzigd door FireDrunk op 13-08-2012 12:47 ]

[Dadona]

Met een lege of volle pool? Normaal zou dat een lege zijn, maar bij jou weet je het nooit.

[ Voor 55% gewijzigd door Dadona op 13-08-2012 13:16 ]

[FireDrunk]

Lege

[DJ-Visto]

Iedereen die mij een DM heeft gestuurd ik heb op het moment niet zoveel tijd (werk en geen school heb je toch minder tijd en zin) stuur het even naar iemand anders graag!

Toffe setups heb ik voorbij zien komen

[thof]

In de startpost staan aardig wat builds verzameld. Ik vraag mij af hoe veel van de ESXI gebruikers een All-In-One met XFS oplossing hebben. De gratis versie van ESXI/vSpehere heeft een fysiek en virtueel ram limiet van 32GB. De ZFS virtual wil ook graag wat geheugen hebben, zeker met 10TB+ systemen. Hoe pakken jullie dit aan? Hebben jullie genoeg geheugen over voor virtualisatie van enkele OS-en? Xen Server heeft dit geheugen limiet bijvoorbeeld niet, maar het valt mij op dat er in het lijstje totaal geen builds met Xen zijn

[Dadona]

Een paar posts hiervoor werd ik door FireDrunk op mijn vingers getikt, dus laat ik persoonlijk maar op de vlakte houden door te zeggen dat het van je verwachtingen afhangt. FireDrunk heeft wat meer getest en kwam tot de bevinding dat

Je kan ZFS prima draaien met 4-8GB ongeacht de grootte van je dataset. Voor huis tuin en keuken gebruik van 3-8 users is dat meer dan zat.

Overigens, even voor de duidelijkheid, Xen en Xen Server zijn twee verschillende virtualisatie oplossingen.

Nu is de beperking van ESXi ten aanzien van het geheugen er één die voor mij en meerderen niet speelt. Je moet dan of naar geheugenmodules van meer dan 8GB gaan of meer dan zes banken hebben. In het laatste geval, uitgaande van non-ecc of ecc rdimms is het nog wel te betalen. Maar in alle andere gevallen gaat het toch wel een duur geintje worden. (8GB ECC udimms zijn al het dubbele van de prijs van non-ecc ! Daardoor blijf ik nog wel een tijdje op 4x4GB zitten.) Naast het geheugen op zich, moet de processor het ook leuk vinden. En ... dat gaat bij velen ook weer niet. Vele processoren die populair in deze topic zijn kunnen maar maximaal 32GB aan.

[Intellium]

thof schreef op donderdag 16 augustus 2012 @ 20:21:
In de startpost staan aardig wat builds verzameld. Ik vraag mij af hoe veel van de ESXI gebruikers een All-In-One met XFS oplossing hebben. De gratis versie van ESXI/vSpehere heeft een fysiek en virtueel ram limiet van 32GB. De ZFS virtual wil ook graag wat geheugen hebben, zeker met 10TB+ systemen. Hoe pakken jullie dit aan? Hebben jullie genoeg geheugen over voor virtualisatie van enkele OS-en? Xen Server heeft dit geheugen limiet bijvoorbeeld niet, maar het valt mij op dat er in het lijstje totaal geen builds met Xen zijn

Ik gebruik dan weer geen ESX, maar heb een tijdje Xen gebruikt. Momenteel draai ik een aantal KVM nodes. Deze hebben de storage voor VM's niet lokaal, maar op de dikke storage bak