Just a bunch of disks.... veel storage

[still_the_same]

Hi,

Ik wil een media server opzetten welke geen raid opstelling nodig heeft. Echter, wat ik jammer zou vinden is als ik 1 disk kwijt ben ik alles kwijt ben. Nu heb ik een beetje lopen zoeken en kom ik tot een aantal mogelijkheden, maar ik weet niet zeker wat wel echt kan en wat niet echt kan.
Het idee. Ik wil 1 "partitie" maken met een collectie aan schijven. Ik wil er 1 logische volume van maken zodat ze benaderbaar zijn als 1 schijf. De data moet sequentieel weggeschreven worden naar de disken, dus eerst disk 1 vol, dan disk 2 etc. etc. Als er een disk kapot gaat wil ik alleen de data van die disk kwijt zijn.
Nu las ik dat JBOD het zou moeten kunnen maar dat (iig de geen die het stukje geschreven had) je vaak toch bij JBOD al je data kwijt bent bij een disk die stuk gaat.
Ik las iets over een non-redundant ZFS array, maar kom er niet achter of je de rest van de array kan redden als er er een disk uit valt.

Ik zou ook de schijven kunnen mounten in een structuur maar dan is het toch lastig netjes te houden qua wat staat op welke schijf.

Heeft iemand een idee wat dit zou kunnen oplossen?

Patrick

[Verwijderd]

JBOD is niet de oplossing want je hebt nog steeds één filesystem. Je kunt wel losse schijven doen dus allemaal losse volumes met een eigen filesystem zonder RAID of wat dan ook. Anders toch maar wat redundancy, of ben je daar vies van?

[flippy]

waarom wil je geen raid? je eisenpakket vereist voor een deel een raid setup. immers krijg je het niet veel betrouwbaarder dan ZFS in raid 6

[ Voor 29% gewijzigd door flippy op 28-11-2011 01:20 ]

[Tsurany]

Hoezo vereist dat een RAID setup? De R van RAID wilt hij namelijk niet. Gewoon een array waarbij bestanden niet over meerdere schijven gezet worden.

[still_the_same]

Verwijderd schreef op maandag 28 november 2011 @ 01:15:
JBOD is niet de oplossing want je hebt nog steeds één filesystem. Je kunt wel losse schijven doen dus allemaal losse volumes met een eigen filesystem zonder RAID of wat dan ook. Anders toch maar wat redundancy, of ben je daar vies van?

De losse volumes worden al snel een bende. Stel,
Start scenario
- Disk 1 Films
- Disk 2 Muziek

Disk 1 zit vol, ach, nu op disk 2 zetten. Oh, die zit nu ook vol, naja, maar weer een disk er bij kopen en op disk 3 komen nu en films en muziek te staan. Al met al wordt dat langzaam aan een bende.

Raid is in dit scenario zonde. Ik heb geen redundancy nodig, dus waarom 2 schijven inlveren. Nu vraag je je waarschijnlijk af waarom 2 schijven en niet 1. Met veel data wordt er aanbevolen om raid 6 te draaien om ernstig leed te voorkomen (lees echt redundant te zijn).... zie http://www.zdnet.com/blog...stops-working-in-2009/162
TL;DR;

Een disk heeft naast een kans op stuk te gaan een kans om een URE (unrecoverable read error) te krijgen. SATA drives hebben een URE rate van 10^14 en dat komt dus neer op 12 terabytes. (heel kort door de bocht, wel je het exact weten, lees dan ff het artikel) Conclussie van het hele verhaal, met een RAID 5 waar 1 disk stuk is heb je een hele hoge kans op een read error wat je RAID omzeep helpt.

[flippy]

als je al een flinke collectie gaat aanleggen (die steeds groter word) is het toch niet zo'n ramp om een beetje redundancy erin te gooien? ZFS is zeer robuust en een read error vernachelt zeker niet je hele raid, alleen de file waar die read error gebeurt en dan moet het ook nog eens gebeuren terwijl je raid degraded draait. ik heb gelukkig hardware raid 6 en dus makkelijk lullen maar als je inderdaad grote collecties aan gaat leggen (zoals ik heb) is raid (ZFS of hardware) eerder een vereiste dan een wens. jobd is gewoon vragen op problemen, nog afgezien dat je met een kapotte schijf ineens 2+TB kwijt bent.

[ Voor 5% gewijzigd door flippy op 28-11-2011 01:34 ]

[still_the_same]

flippy.nl schreef op maandag 28 november 2011 @ 01:34:
als je al een flinke collectie gaat aanleggen (die steeds groter word) is het toch niet zo'n ramp om een beetje redundancy erin te gooien? ZFS is zeer robuust en een read error vernachelt zeker niet je hele raid, alleen de file waar die read error gebeurt en dan moet het ook nog eens gebeuren terwijl je raid degraded draait. ik heb gelukkig hardware raid 6 en dus makkelijk lullen maar als je inderdaad grote collecties aan gaat leggen (zoals ik heb) is raid (ZFS of hardware) eerder een vereiste dan een wens. jobd is gewoon vragen op problemen, nog afgezien dat je met een kapotte schijf ineens 2+TB kwijt bent.

2TB kwijtraken is in dit scenario echt niet erg. Het gaat om films, muziek en dat soort shizzle. 9 van de 10 heb ik bekeken en houdt ik achter de hand voor anderen etc. Mocht ik het kwijtraken dan kan ik als het moet het altijd weer downloaden.

Overigens kwam ik net greyhole tegen. Dit lijkt redelijk te voldoen aan de eisen die ik heb. Kan zelfs nog delen wel redundant maken en andere delen niet volgens mij... Erg nice.

[Verwijderd]

Tsurany schreef op maandag 28 november 2011 @ 01:23:
Hoezo vereist dat een RAID setup? De R van RAID wilt hij namelijk niet. Gewoon een array waarbij bestanden niet over meerdere schijven gezet worden.

Geen striping, dan kom je uit bij een JBOD. Eén schijf stuk, dan heb je nog de data op de andere schijven. Maar het probleem is: je hebt nog steeds een ouderwets filesystem wat niets weet over de RAID layer en dus denkt dat het op een grote disk zit te werken. Als je één disk mist, mis je ook metadata en filesystems zijn daar simpelweg niet op gebouwd. Het werkt dus niet zo dat je één disk kunt verliezen en simpelweg alleen de bestanden kwijt bent op die disk. Ben je belangrijke metadata kwijt dan kun je helemaal niet meer op de disk werken alleen nog recovery uitvoeren. Dat is niet wat je wilt, neem ik aan.

still_the_same schreef op maandag 28 november 2011 @ 01:24:
Conclussie van het hele verhaal, met een RAID 5 waar 1 disk stuk is heb je een hele hoge kans op een read error wat je RAID omzeep helpt.

Je kunt dan nog wel handmatig recoveren maar dat is inderdaad een zwak punt van ouderwets RAID. Maar dat geldt dus niet voor ZFS. Dus daar kun je eventueel nog naar kijken, als je toch bescherming wilt. Als je geen bescherming wilt: maak een RAID0 en backup alles?

Oh en waarom maak je geen scheiding aan in je bestanden? Bestanden die je kunt verliezen op een onveilig volume en belangrijke bestanden op een zeer redundant (ZFS?) volume met goede bescherming + backups. Dat moet toch wel lukken?

[ Voor 7% gewijzigd door Verwijderd op 28-11-2011 02:01 ]

[still_the_same]

Oh en waarom maak je geen scheiding aan in je bestanden? Bestanden die je kunt verliezen op een onveilig volume en belangrijke bestanden op een zeer redundant (ZFS?) volume met goede bescherming + backups. Dat moet toch wel lukken?

De bestanden die ik niet mag verliezen komen niet op deze setup terecht. Die staan op een andere pc met een RAID 5 array van 2TB welke ik misschien zelfs nog ten dele wil gaan remote-backuppen (maar dat is een ander verhaal, hooguit mirror ik die data als readonly tbv availability zodat die andere pc uit kan soms.)

Wat ik nu wil eigenlijk in een notendop is een 5 tal disken gebruiken zonder dat ik 5 aparte partities heb, maar 1 grote. Het lijkt er op dat greyhole doet wat ik wil.

[speeder1988]

Waarom niet UNRAID gebruiken?

[still_the_same]

speeder1988 schreef op maandag 28 november 2011 @ 02:10:
Waarom niet UNRAID gebruiken?

Omdat ik nog niet gekeken heb naar unraid Misschien eens doen? Kun je misschien aangeven waarom je die optie geeft?

[speeder1988]

still_the_same schreef op maandag 28 november 2011 @ 02:11:
[...]


Omdat ik nog niet gekeken heb naar unraid Misschien eens doen? Kun je misschien aangeven waarom je die optie geeft?

Je kan alsnog een soort van raid opstelling gebruiken a.k.a ongeveer hetzelfde als raid 4 en het tolereert ook hd's die failen/errors veroorzaken. Je behoud de snelheid per schijf en bent ook niet afhankelijk van 2 dezelfde harde schijven.

Gebruik het zelf ook in mijn server waarop al mijn data staat van usenet.

[Verwijderd]

Misschien een idee om de schijven te linken naar een map op een andere schijf? Dus in plaats van een driveletter toe te kennen tijdens het formateren, te mounten aan een map, bijvoorbeeld D:\AllMyData?
Op deze manier krijgen de schijven geen driveletter, maar worden ze onderdeel van eerdergenoemde map.

[chris10r]

Als het een op windows draaiende file/media server is zou je ook kunnen kijken naar flexraid view of zoals KeDeShCh schreef een ntfs partitie te koppelen aan een map op een andere ntfs partitie.

Als de server op linux draait zou je naar mhddfs, Unionfs of aufs kunnen kijken.

Zelf gebruik ik op mijn linux thuisserver mhddfs om 5 partities samen te voegen en dan te sharen via samba en DLNA.

[ Voor 17% gewijzigd door chris10r op 28-11-2011 12:50 ]