Waar moet ik aan denken bij het creëren van een RAID-Z1

[Topquark]

Dag luitjes,

Om mijn opslagcapaciteit op mijn text based debian server uit te breiden wil ik deze opnieuw instellen met een aantal nieuwe harde schijven. Ik wil 5 WD red 3T schijven in RAID-Z1 plaatsen omdat ik gehoord heb dat ZFS zeer veilig is en 2 pairity schijven vind ik wat veel verlies aan ruimte. Voor ik echter het een en ander ga proberen heb ik een paar vragen:
-Als eerst heb ik wel het eea gevonden dat debian draait met ZFS, maar dat is allemaal in de kernel. Wat dus inhoud dat de os al geinstalleerd moet zijn. Mag ik aannemen dat de OS ook gewoon op deze Raid-Z1 geinstalleerd kan worden?

-verder: Stel mijn moederbord, of andere niet HDD apparatuur stuk gaat, is het dan mogelijk om na vervanging met een ander model de RAID-Z1 over te plaatsen? Zo ja, moet ik hier nog voorzorgsmaatregelen voor nemen? (Bv. configuratie instellingen opslaan op een back-up schijf o.i.d.)

-Volgens mij is dit wel mogelijk maar voor de zekerheid: Is het mogelijk om een geautomatiseerd bericht te geven als er een "bad disk" wordt gevonden? Door bijvoorbeeld een mail.

-Ik lees dat bij het stuk gaan van 2 harde schijven alle data kwijt is, nergens kan ik echter info vinden over hoe hoe waarschijnlijk het is dat 1 schijf faalt. En hoe waarschijnlijk het is dat dan 2 schijven tegelijk falen. Zit ik veilig als ik na report van een "bad disk" binnen ca. een week een vervangende plaats?

-Zijn er verder nog dingen die ik over het hoofd zie? Dingen waar ik aan moet denken die je makkelijk vergeet (als iemand met niet bijzonder veel ervaring op dit gebied). En eventueel verder advies.

Weet dat het wat veel vragen zijn, maar (gedeeltelijke) antwoorden worden gewaardeerd.

[Verwijderd]

Geron schreef op vrijdag 03 oktober 2014 @ 11:53:
Als eerst heb ik wel het eea gevonden dat debian draait met ZFS, maar dat is allemaal in de kernel. Wat dus inhoud dat de os al geinstalleerd moet zijn. Mag ik aannemen dat de OS ook gewoon op deze Raid-Z1 geinstalleerd kan worden?

Als je voor Linux gaat zou ik je OS op een non-ZFS disk houden. Linux is op dit gebied niet zo ver als BSD.

verder: Stel mijn moederbord, of andere niet HDD apparatuur stuk gaat, is het dan mogelijk om na vervanging met een ander model de RAID-Z1 over te plaatsen? Zo ja, moet ik hier nog voorzorgsmaatregelen voor nemen? (Bv. configuratie instellingen opslaan op een back-up schijf o.i.d.)

Je ZFS pool is niet afhankelijk van enige hardware. Als je je schijven in een 'vreemd' systeem steekt, moet je de pool wel importeren met 'zpool import' maar dat is alles.

Volgens mij is dit wel mogelijk maar voor de zekerheid: Is het mogelijk om een geautomatiseerd bericht te geven als er een "bad disk" wordt gevonden? Door bijvoorbeeld een mail.

Je kunt een cronjob-script schrijven dat de inhoud van 'zpool status -x' controleert. Is deze output leeg dan zijn de pools in orde. Is deze niet leeg dan zou je een mail kunnen sturen met de inhoud van dit commando.

Ik lees dat bij het stuk gaan van 2 harde schijven alle data kwijt is, nergens kan ik echter info vinden over hoe hoe waarschijnlijk het is dat 1 schijf faalt. En hoe waarschijnlijk het is dat dan 2 schijven tegelijk falen. Zit ik veilig als ik na report van een "bad disk" binnen ca. een week een vervangende plaats?

Dat valt natuurlijk onmogelijk te zeggen, omdat er tig factoren van afhangen. Een voeding kan alle schijven in je systeem slopen, bijvoorbeeld. Maar dat is redelijk zeldzaam. Bad sectors zijn niet zeldzaam. Bij het verliezen van de redundancy hebben je bestanden geen bescherming meer tegen bad sectors. Met RAID-Z2 kun je een schijf verliezen en heb je alsnog volledige bescherming tegen bad sectors.

Ik zelf raad RAID-Z2 aan wanneer je geen goede 1:1 backup van je data hebt. Ook dien je snapshots in te schakelen zodat je ongelukjes kunt permitteren.

Een 6-disk RAID-Z2 is optimaal voor 4K performance en space efficiency. Een 10-disk RAID-Z2 is ook optimaal en dat is de beste ZFS configuratie (sweet spot) door de 20% overhead, dubbelvoudige paritybescherming en optimaal voor 4K sectors. Je kunt prima je disks op de onboard controller + een addon controller plaatsen. Het hoeft dus niet allemaal op één en dezelfde controller.

[Kortfragje]

Als je de status wil controleren kan je het beste het scriptje gebruiken wat ik aangepast heb van calomel. Hier te vinden : http://blog.gjpvanwesten....o-ubuntu-home-server.html

Deze controleert je pool en stuurt een emailtje bij disk failure / scrub expired (zelf instellen) / en pool die vol raakt. Tevens stuurt ie een mailtje 'ZFS Healthy' als alles ok is. Heb em zelf als dagelijkse cronjob runnen.

Ik ben het met cipher eens wbt raidz2 en het heeft als eens mn data gered... (hier 6 disk raidz2 van 2 TB driven).

[Hell-Slave]

Gebruik verder geen RED serie harde schijven in ZFS, (CiPHER was het even vergeten te melden, valt me tegen van je CiPHER ) omdat TLER en ZFS samen niet gewenst zijn.
(TLER schijven zijn meer voor hardware raid configuraties)
WD green serie schijven zijn prima voor ZFS pools.

[Verwijderd]

Hell-Slave schreef op vrijdag 03 oktober 2014 @ 23:53:
Gebruik verder geen RED serie harde schijven in ZFS, (CiPHER was het even vergeten te melden, valt me tegen van je CiPHER )

Overheen gelezen.

omdat TLER en ZFS samen niet gewenst zijn.

Zo stellig zou ik het niet zeggen. Ik verzet mij echter tegen de lemmings die de hardeschijffabrikanten blind volgen door hun duurdere schijven die als 'NAS' schijven worden gepositioneerd, te gebruiken voor hun NAS. Klinkt logisch, maar dat is natuurlijk waar de fabrikant op inspeelt. Dat voor vrijwel alle NAS systemen (Synology, QNAP, ZFS, Linux-mdraid) je helemaal geen TLER nodig hebt en dus ook geen speciale 'NAS' schijven, wordt daar natuurlijk niet bij vermeld.

In gevallen waar je je redundancy kwijt bent wil je ook juist geen TLER hebben omdat je daarmee je laatste mogelijkheid om zeep helpt om data terug te halen. Dus 'baat het niet dan schaadt het niet' gaat helaas niet op.

[Topquark]

Hartelijk bedankt voor de reacties. Lekker helder. Uiteraard leveren antwoorden wel weer nieuwe vragen op. Ik ben vrij stellig in mijn keuze m.b.t. een Linux distributie. Dus hier wil ik wel bij blijven. Dit houdt in dat ik voor raid5 (of raid6) zou moeten gaan volgens CiPHER. Wat ik me wel af vraag is hoe een OS (linux in dit geval) niet zo ver kan zijn op gebied van ZFS. Zoals ik het zie is het zo dat de schijven in een bepaald bestandsysteem staan die een OS wel of niet kan gebruiken. Of zit het hem hier in schrijf preformance oid?
Wat is dus de tradeoff die je maakt door geen ZFS te kiezen?

Verder heb ik heb momenteel slechts buget voor de 5 schijven die ik nu heb. Bij meer moet ik naast de schijven ook een PCI-E > SATA converter aanschaffen. Een raid Z2 zou nu dus 40% verlies in opslag betekenen, wat ik wel wat veel vind. Maar in geval van gewone (ook softwarematige) RAID 6 kan ik het nog overwegen omdat daar wel schijven los zijn bij te plaatsen en dus de overall loss te beperken.

Ik heb eigenlijk geen keuze in de WD RED schijven als ik alle schijven hetzelfde wil. Ik heb namelijk al een paar WD RED 3T. Maar ik begrijp dat dit dus problemen levert in het geval een softwarematige raid wordt gebruikt. Wat ik zou moeten doen want mijn moederbord kan enkel raid 0 1 en 10. Levert dit nog heel veel problemen op?

Gezien mij nu dus een standaard raid configuratie wordt aangeraden heb ik eigenlijk de zelfde vraag:

Stel mijn moederbord, of andere niet HDD apparatuur stuk gaat, is het dan mogelijk om na vervanging met een ander model de RAID-Z1 over te plaatsen? Zo ja, moet ik hier nog voorzorgsmaatregelen voor nemen? (Bv. configuratie instellingen opslaan op een back-up schijf o.i.d.)