Meerdere schijven benaderen vanaf 1 locatie zonder striping

[D4NG3R]

Goed, ik zit met een aantal schijven waarop onze mediacollectie is gehuisvest. Deze collectie bestaat grotendeels uit geripte DVD's en BR's, op zich heeft deze data dus vrij weinig waarde, echter kost het aanzienlijke moeite (en veel tijd) om deze weer aan te vullen bij uitval.

Echter wil ik deze data graag op een enkel pad beschikbaar hebben zonder de volume(s) te stripen of spannen.

Waarom wil je dat graag * D4NG3R ? Omdat ik bij het uitvallen van een enkele schijf de gehele collectie in 1x kwijt ben.

Het is geen probleem als een schijf uitvalt en ik zeg wat 20% kwijt ben - maar om de gehele collectie opnieuw te gaan zitten rippen bij het uitvallen van een enkele schijf is nogal veel werk.

Aangezien de rest van de familie niet zo heel erg technisch is, wil ik alle data graag toegankelijk hebben vanaf 1 punt - zodat ze gemakkelijk (letterlijk drag & drop) nieuwe content kunnen toevoegen zonder na te moeten gaan denken over verschillende partities/schijven.

Oplossingen welke (voor zover ik heb kunnen vinden) allemaal verschillende problemen hebben:
- JBOD (bij uitval van een enkele schijf is alle data weg)
- Spanning Volume(s) (bij uitval van een enkele schijf is alle data weg)
- Windows Storage Spaces (bij uitval van een enkele schijf is alle data weg)
- RAID5 (Het gaat om 1-4TB schijven, de kans op een URE is relatief groot en daarmee niet de moeite waard)
- RAID6 (Te veel variatie in schijven om het minimum van 4 gelijke schijven te kunnen krijgen, daar komt bij dat er nogal veel schijfruimte word opgeofferd voor de parity)
- (free)ZFS (Vreet te veel RAM voor waar het word ingezet)

Het systeem zal worden ingezet als NAS, Plex server en download bak, en bestaat uit een i5 4460 met uit m'n hoofd 10 of 12GB RAM.
De storage bestaat momenteel uit 6 schijven verschillend in grote van 1 tot 4TB welke binnenkort word uitgebreid met nog een paar 3-4TB schijven.
Linux is prima zolang er maar een Mono package en LTS versie beschikbaar is van de distro, al gaat de voorkeur uit naar Windows zodat de rest van de familie op afstand instructies zou kunnen volgen om iets te doen.

TL;DR ik zoek een (bij voorkeur gratis) software oplossing om meerdere schijven te benaderen als een enkele schijf zonder alle data in 1x te verliezen wanneer een enkele schijf uitvalt. Met de mogelijkheid om deze zonder al te veel moeite uit te breiden of schijven te vervangen.

Als er echt geen mogelijkheid is om dit voor elkaar te krijgen is het geen ramp, dan moet de boel handmatig elke paar maanden even worden bijgewerkt - maar bij voorkeur heb ik er weinig tot geen omkijken aan.

[WCA]

Ik denk dat voor jou unRAID een ideale oplossing is.

[Rannasha]

Ik zou eens kijken naar iets als unRAID. Dat combineert enkele aspecten van RAID met die van JBOD/spanning. Een bestand wordt slechts naar 1 schijf weggeschreven (plus eventuele pariteits-data naar een andere schijf). In principe kun je dus een schijf uit het systeem halen, ergens anders inpluggen en de bestanden van die specifieke schijf benaderen.

[D4NG3R]

unRAID, al wel eens van gehoord maar ik was er niet op gestuit toen ik rondzocht. Thanks daar ga ik alvast even naar kijken.

Houd unRAID ook rekening met de situatie wanneer schijf A te vol is voor data om deze in z'n geheel naar schijf B weg te schrijven i.p.v. de boel op te splitsen? Anders zit ik met gaten wanneer er een schijf uitvalt of word vervangen.

[WCA]

D4NG3R schreef op vrijdag 21 juni 2019 @ 12:57:
unRAID, al wel eens van gehoord maar ik was er niet op gestuit toen ik rondzocht. Thanks daar ga ik alvast even naar kijken.

Houd unRAID ook rekening met de situatie wanneer schijf A te vol is voor data om deze in z'n geheel naar schijf B weg te schrijven i.p.v. de boel op te splitsen? Anders zit ik met gaten wanneer er een schijf uitvalt of word vervangen.

Daar kan ie rekening mee houden, dan zet je de shares op 'High-water' stand.

[rdejongjr]

Als je er al data op hebt en niet al te moeilijk wilt doen:
In windows kun je ook ipv een schijfletter een ntfs map aan een schijf koppelen.

https://docs.microsoft.co...nt-folder-path-to-a-drive

[Bubble-BE]

Ik gebruik al enkele jaren mergerfs voor dezelfde situatie. Op dit moment 2x 4TB + 8TB, in een i3 met 8GB ram met wat draaiende vms en nog een ZFS mirror van twee andere schijven.

Mergerfs is onafhankelijk van het onderliggende FS en je kan dus zonder probleem mixen, bestaande data kan gewoon blijven staan. Het bundelt de mountpoints naar één ander mountpoint, waarmee je daarna aan de slag kan.

Data verzetten bij het vervangen van een schijf gaat niet automatisch, maar gebruikt standaard linux tools, bvb https://github.com/trapex...cs/recovery_(mergerfs).md

Voor m'n desktop gebruik ik Drivepool in Win10, als ik boot in linux opnieuw mergerfs.

[D4NG3R]

Goed, ik zie hier alweer een aantal oplossingen waar ik nog niet op gestuit was - momenteel test ik unRAID even in een VM omgeving, kijken of dat wat is - wat ik op Google vind aan informatie zou dit dikke prima moeten zijn. Ik ga andere oplossingen hierna ook even proberen om te vergelijken wat voor mijn situatie het makkelijkste werkt.

[Xudonax]

ZFS heeft niet veel RAM nodig, de vaak genoemde 1GB RAM per 1TB aan data is vooral als je het in een zakelijke omgeving gebruikt met tientallen tot honderden gebruikers op die ene server. Zolang je minimaal 1GB RAM (maar bij voorkeur minimaal 4GB) hebt moet het goed komen. Windows kan daarnaast ook gewoon RAID1 doen, wat ook voor een volledige kopie van alle data zorgt.

[ljsquare]

D4NG3R schreef op vrijdag 21 juni 2019 @ 12:45:

TL;DR ik zoek een (bij voorkeur gratis) software oplossing om meerdere schijven te benaderen als een enkele schijf zonder alle data in 1x te verliezen wanneer een enkele schijf uitvalt. Met de mogelijkheid om deze zonder al te veel moeite uit te breiden of schijven te vervangen.

Hoewel het geen kant en klare oplossing is en je zeker je er in moet verdiepen, is misschien OverlayFS een oplossing. Daarmee kan je verschillende directories mappen tot 1, alleen je directories worden als read-only bij elkaar gevoegd en daaroverheen een andere directorie voor de wijzigingen (hence overlayfs). Maar met een scriptje hier en daar kan je er voor zorgen dat ze in sync blijven.
Zoals ik al zei, ideaal (lees kant en klaar) is het niet, maar het kan misschien wel mogelijkheden bieden

[Edd]

Mijn persoonlijke ervaring met unRAID vond ik erg prettig. Werkte altijd en je had er geen omkijken naar, aangezien alles via de gui ingesteld kan worden en te monitoren valt.
Via docker kun je dan bijvoorbeeld je plex en downloadservices draaien. Als je de installatie ook nog eens uitbreid met 1 of 2 cache SSD's, valt er weinig te klagen.
Nadeel is dan natuurlijk wel dat je er voor moet betalen, waar je dezelfde functionaliteit kan krijgen voor niks. Alleen kost dat natuurlijk iets meer eigen inspanning.

Als alternatief kun je misschien ook kijken naar OpenMediaVault. Deze heeft volgens mij ook modules/plugins voor MergerFS en eventueel Snapraid. Het nadeel wat ik daarbij ondervond was dat, vanwege de ontwikkelingen die gebeurde, het weleens wilde voorkomen dat bepaalde plugins op een gegeven moment niet meer werkte en je moest wachten op een update van de ontwikkelaar.

[Renault]

Wat is je doel-opslagcapaciteit van dat ene volume?
Er zijn namelijk momenteel ook hele grote schijven verkrijgbaar ....

[DataGhost]

Naast wat @Xudonax zegt, heb je met ZFS raidz minder last van URE's. Bij een read error wordt met raid5/6 direct een hele schijf eruit geknikkerd maar dat gebeurt bij ZFS niet. Je kan zelfs op elke device een URE krijgen zonder dataverlies en met recovery, zolang ze maar niet op dezelfde plek optreden natuurlijk. Het lijkt me dus bij uitstek wat je zoekt.
Als je veel variatie hebt in je schijven, zou ik sowieso overwegen om het een en ander te vervangen. Als je nog 1TB-schijven hebt zullen die waarschijnlijk al richting de 10 jaar gaan dus veel vertrouwen zou ik daar niet in hebben. Mocht je ze toch willen gebruiken, zou je dat met raidz alsnog kunnen doen maar dan moet je wel creatief vdevs bouwen zodat ze even groot zijn (striped) en dat vervolgens in raidz hangen, maar netjes is het niet. In principe kan je 1+1+2+2 TB gebruiken als (1+1)+2+2 wat neerkomt op 4TB en waarbij een of beide 1TB-schijven uit mogen vallen, of een van de 2TB-schijven.

[DaLass]

Als je gebruik wilt maken van Windows kun je ook kijken naar Stablebit Drivepool.

Hiermee kun je disken samenvoegen tot 1 volume, wat een extra schijf op je machine wordt. 4 disken van 4TB hebben dan bijvoorbeeld elk een partitie van 4TB, die elk via verkenner benaderbaar zijn. Daarnaast is er 1 volume van 16TB, die een combi is van de data op de 4 disken.

Valt er 1 disk uit, dan mis je die data uit je volume en is de rest gewoon benaderbaar. Daarnaast kun je binnen Drivepool ook mappen aangeven die gerepliceerd moeten worden over meerdere fysieke disken.

[Dutch2007]

D4NG3R schreef op vrijdag 21 juni 2019 @ 12:45:


- Windows Storage Spaces (bij uitval van een enkele schijf is alle data weg)

UNraid is een leuke optie, mbt storage spaces, JBOD kan gewoon

https://www.windowscentra...storage-spaces-windows-10



Dan verdeeld ie gewoon de files over alle schijven, valt die schijf uit, dan ben je die files kwijt, heb je genoeg storage over, kan je die disk eerst uit de storage pool halen, en daarna de nieuwe schijf weer toevoegen.

Moet je wel iets van SMART monitoring aan hebben staan (Liefste incl. iets dat je hier van op de hoogte steld via e-mail).

[MsD]

Ik zelf gebruik nu een jaar of wat Stablebit drive pool, en moet zeggen dat ik daar erg tevreden mee ben.

Erg makkelijk om verschillende mappen verschillende duplicatie mogelijkheden te geven. Dus een tijdelijke download map doen we niks bijzonders mee, privé bestanden worden over drie drives gedupliceerd.

Vooral het super eenvoudige ervan vind ik. Zo fijn. En so far geen enkele keer problemen mee gehad.

6x2TB en 3x4TB, een OS disk en een ssd voor de cache, want ook dat kan je daarin makkelijk aangeven.
En via Twitter geven ze het pakket ook nog eens gratis weg. Ook leuk!

[D4NG3R]

Goed, ik ben er denk ik wel zo ongeveer uit. Na even een aantal van de geopperde oplossingen te testen in virtuele omgevingen ga ik denk ik toch voor unRAID - de featureset is behoorlijk indrukwekkend, en extreem simpel in gebruik.

Xudonax schreef op vrijdag 21 juni 2019 @ 13:58:
ZFS heeft niet veel RAM nodig, de vaak genoemde 1GB RAM per 1TB aan data is vooral als je het in een zakelijke omgeving gebruikt met tientallen tot honderden gebruikers op die ene server. Zolang je minimaal 1GB RAM (maar bij voorkeur minimaal 4GB) hebt moet het goed komen.

Het probleem is dat ik meerdere streams via Plex ga voorzien, en op dat moment pieken in het RAM gebruik behoorlijk merkbaar zijn. Het word verre van een high-performance storage bak, en de data is kort door de bocht niet belangrijk genoeg om te gaan investeren in meer dan het al aanwezige RAM.

ljsquare schreef op vrijdag 21 juni 2019 @ 13:58:
[...]

Hoewel het geen kant en klare oplossing is en je zeker je er in moet verdiepen, is misschien OverlayFS een oplossing. Daarmee kan je verschillende directories mappen tot 1, alleen je directories worden als read-only bij elkaar gevoegd en daaroverheen een andere directorie voor de wijzigingen (hence overlayfs). Maar met een scriptje hier en daar kan je er voor zorgen dat ze in sync blijven.
Zoals ik al zei, ideaal (lees kant en klaar) is het niet, maar het kan misschien wel mogelijkheden bieden

Als tweaker vind ik rondknutselen natuurlijk geweldig, maar als eindgebruiker zijnde niet.

Het systeem zal waarschijnlijk bij m'n ouders worden gestalled, en de rest van de familie kennende zullen ze wel eens ergens op vastlopen of iets doen crashen - op zulke momenten wil ik graag dat de boel grofgezegd met een druk op de knop weer werkt zonder 1000 losse scripts/programmas te moeten laten draaien.

Renault schreef op vrijdag 21 juni 2019 @ 16:11:
Wat is je doel-opslagcapaciteit van dat ene volume?
Er zijn namelijk momenteel ook hele grote schijven verkrijgbaar ....

Lees de TS.

---

DaLass schreef op vrijdag 21 juni 2019 @ 18:51:
Als je gebruik wilt maken van Windows kun je ook kijken naar Stablebit Drivepool.

Hiermee kun je disken samenvoegen tot 1 volume, wat een extra schijf op je machine wordt. 4 disken van 4TB hebben dan bijvoorbeeld elk een partitie van 4TB, die elk via verkenner benaderbaar zijn. Daarnaast is er 1 volume van 16TB, die een combi is van de data op de 4 disken.

MsD schreef op vrijdag 21 juni 2019 @ 20:39:
Ik zelf gebruik nu een jaar of wat Stablebit drive pool, en moet zeggen dat ik daar erg tevreden mee ben.

Erg makkelijk om verschillende mappen verschillende duplicatie mogelijkheden te geven. Dus een tijdelijke download map doen we niks bijzonders mee, privé bestanden worden over drie drives gedupliceerd.

Vooral het super eenvoudige ervan vind ik. Zo fijn. En so far geen enkele keer problemen mee gehad.

6x2TB en 3x4TB, een OS disk en een ssd voor de cache, want ook dat kan je daarin makkelijk aangeven.
En via Twitter geven ze het pakket ook nog eens gratis weg. Ook leuk!

Drivepool was inderdaad ook nog een mooi alternatief geweest, en houd houd ik zeker even in het achterhoofd voor een ander projectje.

---

DataGhost schreef op vrijdag 21 juni 2019 @ 16:29:
Naast wat @Xudonax zegt, heb je met ZFS raidz minder last van URE's. Bij een read error wordt met raid5/6 direct een hele schijf eruit geknikkerd maar dat gebeurt bij ZFS niet. Je kan zelfs op elke device een URE krijgen zonder dataverlies en met recovery, zolang ze maar niet op dezelfde plek optreden natuurlijk. Het lijkt me dus bij uitstek wat je zoekt.

Ik ben per schijf ook niet heel bang voor URE's op schijfniveau, echter wel in een RAID opstelling. Ik ben in het verleden al een keer 8TB aan data kwijtgeraakt omdat een array weigerde te rebuilden door een URE.

Als je veel variatie hebt in je schijven, zou ik sowieso overwegen om het een en ander te vervangen. Als je nog 1TB-schijven hebt zullen die waarschijnlijk al richting de 10 jaar gaan dus veel vertrouwen zou ik daar niet in hebben.

Dat is dus ook een van de eisen.

De kleinste (en ook oudste) schijf is een enkele 1TB schijf, aangevuld door 2x2TB, 2x3TB een 4TB schijf en een reeds bestelde tweede 4TB schijf, welke waarschijnlijk de 1TB schijf zal vervangen.

Dutch2007 schreef op vrijdag 21 juni 2019 @ 20:30:
[...]

UNraid is een leuke optie, mbt storage spaces, JBOD kan gewoon

https://www.windowscentra...storage-spaces-windows-10

[Afbeelding]

Dan verdeeld ie gewoon de files over alle schijven, valt die schijf uit, dan ben je die files kwijt, heb je genoeg storage over, kan je die disk eerst uit de storage pool halen, en daarna de nieuwe schijf weer toevoegen.

Moet je wel iets van SMART monitoring aan hebben staan (Liefste incl. iets dat je hier van op de hoogte steld via e-mail).

Als ik Google mag geloven (meerdere threads, al heb ik zo niet 1-2-3 de links meer) was de gehele storage array naar de knoppen bij het uitvallen van een enkele schijf?

---

Mocht je ze toch willen gebruiken, zou je dat met raidz alsnog kunnen doen maar dan moet je wel creatief vdevs bouwen zodat ze even groot zijn (striped) en dat vervolgens in raidz hangen, maar netjes is het niet. In principe kan je 1+1+2+2 TB gebruiken als (1+1)+2+2 wat neerkomt op 4TB en waarbij een of beide 1TB-schijven uit mogen vallen, of een van de 2TB-schijven.

Windows kan daarnaast ook gewoon RAID1 doen, wat ook voor een volledige kopie van alle data zorgt.

Valt er 1 disk uit, dan mis je die data uit je volume en is de rest gewoon benaderbaar. Daarnaast kun je binnen Drivepool ook mappen aangeven die gerepliceerd moeten worden over meerdere fysieke disken.

Zoals aangegeven is de data onbelangrijk en is parity of mirroring onnodig en door het opofferen van opslagruimte eigenlijk zelfs ongewenst.

Ik wil iig iedereen bedanken voor het reageren, ik verbaas mij er keer op keer over hoe veel meer oplossingen er zijn voor problemen - een paar dagen zoeken op Google en consorten leverde mij bar weinig op.