Nieuwe inrichting storage - server - nas

[Eagle Creek]

Beste Tweakers,

Mocht je mij willen helpen wil ik je vragen mijn post eerst even door te lezen. Ik weet dat ik het risico loop een TLDR te creëren maar ik wil tegelijkertijd geen benodigde informatie achterhouden. Bedankt!

Op dit moment zoek ik een oplossing om mijn thuisstorage opnieuw in te richten. Door de jaren heen heb ik divers spul bij elkaar gespaard. Vrijwel alles is functioneel maar een deel ligt niets te doen. Dit terwijl ik momenteel erg inefficiënt omga met mijn mogelijke ruimte en ik dus ruimte tekort kom. Dat vind ik zonde. Ik wil daarom een goede configuratie samenstellen en hetgeen ik niet verbruik verkopen, zodat ik wat geld vang en anderen er blij mee kan maken.

In principe heb ik alle hardware om mijn wensen uit te voeren en hoef ik niets bij te kopen. Mocht iemand stellen dat ik absoluut iets erbij moet kopen omdat ik daar helemaal blij van word, sta ik daar voor open mits het mij niet te veel geld gaat kosten.

Wat wil ik nu met dit topic bereiken vraag je je wellicht af? Natuurlijk is het een volledig persoonlijke situatie maar ik zit in dubio over een aantal dingen dus graag zou ik jullie mening horen. Hoe zouden jullie dit aanpakken, etc.
.
.

Doel:

De volgende doelen wil ik bereiken:

• Een zo centraal mogelijk geregelde storage. De Synology's en de Qnap's werken allemaal met iSCSI, dus vanuit de server is alles te benaderen en te verdelen over het netwerk;
• Zoveel mogelijk beschikbare storage;
• Veilige storage maar niet overdreven (sommige data is belangrijker dan andere en data 3x opslaan is overdreven);
• Een zo laag mogelijk gecombineerd stroomvebruik. Proliant staat 24/7 maar de NAS-en mogen bijvoorbeeld in sleep of helemaal uit. Niet alle data hoeft 24/7 beschikbaar te zijn, films bijvoorbeeld;
• Specifiek: Aantal virtuele machines draaien op de Proliant;
• Specifiek: Thuisdomein gebaseerd op 2012 (2008R2 al aanwezig)
• Specifiek: Downloads op een low-powered device plaats laten vinden en de pc uitschakelen (kan sowieso op Synology met NZB / torrent, Qnap schijn je SanzNZB op te kunnen installeren?)
  .
• ! Specifiek: Mogelijkheid tot synchroniseren. Ik vermoed dat ik hier iets van Owncloud voor wil gaan gebruiken. Dit weet ik echter nog niet zeker. Ik weet dat Qnap tegenwoordig ook MyCloudNAS aanbiedt! Omdat ik dit pas net heb ontdekt weet ik hier nog niet het fijne van. Wat ik in ieder geval niet wil is alles synchen met de cloud: data in eigen beheer.

.
.

Speelruimte - de hardware:

Devices

Qnap TS-439 Pro II (=4 bays)
Qnap TS-410 Turbo (=4 bays)

HP Proliant N36L (=4 bays)

Synology 107 (=1 bay)
Synology 107+ (=1 bay)
.

Storage

4x Samsung Spinpoint F3 1 TB (HD103SJ)
5x Samsung Spinpoint F3 1 TB (HD103UJ)

4x WD Caviar Green 1,5 TB (WD15EADS) (--> niet compatible met Qnap)

1x WD Caviar Green 1 TB (verdwaald schaap)

Optineel

Ik twijfel op dit moment over de aanschaf van
4x WD Green 3 TB
4x WD Red 2 TB.
.
.

En nu?

De reden dat ik in dubio zit is dat ik nog niet precies weet wat ik het beste kan doen voor mijn situatie omdat er aan diverse opties diverse voor- en nadelen zitten. Ik benoem bv het feit dat ik in principe alles via mijn server zou willen laten verlopen maar dat Qnap en Synology ook in hun NAS uitgebreide opties bieden voor downloads en synchronisatie.

Zowel de Qnaps en de Proliant hebben de mogelijkheid om diverse RAID modi (bv 1, 0, 5, 6) te gebruiken. Belangrijk is mijn primaire OS en een X hoeveelheid persoonlijke data. Mochten films of downloads bv verloren gaan kan ik daar meer mee leven. Alles dus onder RAID10 hangen kost me onnodige veel disk space. Dat geldt bv ook in de situatie dat ik de server gebruik voor storage en een NAS uitsluitend voor back-up. De NAS is al een back-up, dus die ook nog eens dubbel uitvoeren is eigenlijk niet nodig. Zoals ik het plan op dit moment voor mij zie, komt de hoofdmeuk in de server en gebruik ik de NAS voor videostorage ed.

Ik kan geen directe bare metal back-ups trekken naar de NAS. Met Windows 7 back-up kan dat wel maar de Windows 2008R2-backup en Windows 8 back-up hebben besloten dat het bestandssysteem op de NAS geen geldig doelbestandssysteem is voor mijn back-up. Erg jammer maar het is niet anders. Mijn oplossing hiervoor was dat ik de NAS via iSCSI koppel aan de server en dan formatteer als NTFS en hier back-ups naartoe maak. Een nadeel is echter dat iSCSI-ruimte gereserveerd is en ik vrees bv dat als ik gebruikmaak van iSCSI dat mijn station niet meer in sleep wil gaan (vrees).

Een plaatje van de set-up die ik op dit moment in gedachten heb:


Een nadeel aan dit plaatje is dat video's en downloads (toch een aanzienlijke belasting in GB's!) nu op de kleinere NAS staan waar ook back-ups heen moeten. De server heeft voor reguliere data wel erg veel storage.

Een alternatief dat ik in gedachten heb is om grotere schijven in de NAS te stoppen en kleinere in de server. Maar WD Green's staan nu niet bepaald bekend om hun goede compatibiliteit en WD RED's (zeker 3 TB) zijn stervensduur.


Deze plaatjes gaan er wel vanuit dat de persoonlijke data op de server staat opgeslagen en niet op de QNAP. Volgens mij gooi ik daarmee dan automatisch de cloudoptie van QNAP de deur uit.

Tot slot:
Heb je echt zoveel storage nodig?
In totaal wil ik bare metal back-ups maken van 7 systemen. Daarbij wil ik back-ups opslaan van datbases van websites, het liefst meerdere. Ik maak gebruik van veel virtuele machines. Ook ben ik bezig films te digitaliseren voor mediacenter. Op dit moment loop ik tegen capaciteitsproblemen door inefficiënt gebruik van storage. Daarbij voorzie ik dat mijn totale datavoorraad de komende tijd gaat groeien. Daarom wil ik gewoon lekker ruim in m'n jasje zitten.

[ Voor 3% gewijzigd door Eagle Creek op 14-01-2013 01:45 ]

[Shinigami]

Ik denk dat je zeker gebaad zou zijn bij een doorsnee NAS.

Ik gebruik een Netgear Readynas omdat het een hoofdpijnloze en energiezuinige oplossing is voor mij.
RAID wordt geregeld door het apparaat zelf (X-RAID).
Verder gebruik ik zelf RSync om mijn gegevens tussen m'n PC en m'n NAS te synchroniseren, zonder enkele problemen (ook vanuit Windows, zonder dat ik een NTFS bestandssysteem nodig heb op mijn NAS)

In het geval van de Readynas-lijn, bestaan er shitloads aan gebruiksvriendelijk te installeren add-ons, en zelf kloten met de geïnstalleerde Linux distro is ook mogelijk. Op die wijze kan je zo'n beetje alles instellen wat je zelf wilt. Zelf heb ik dan nog een Netgear NAS op basis van de verouderde SPARC architectuur, maar er zijn nog steeds een hele hoop packages beschikbaar. Mocht je je Linux distro om zeep helpen, is het een kwestie van de reset knop indrukken en de distro wordt opnieuw geïnstalleerd waarbij de meeste instellingen (zoals backup tasks enz.) worden behouden.

Wat betreft je schijven:
Die Western Digital Green schijven kunnen inderdaad problematisch zijn in NAS-systemen. Desondanks heb ik vier van deze drives zonder problemen draaien in mijn NV+ RND4000. Energiezuinige schijven willen zichzelf nogal agressief op "idle" zetten, terwijl Linux in korte intervals aanspraak maakt op de schijf. Gevolg: de harde schijf slijt gigantisch snel.
Gelukkig is het mogelijk om met een tool van Western Digital, genaamd "WDIDLE3" de idle tijd te verhogen of uit te schakelen. Vervolgens laat je je OS de spindown tijd regelen, en heb je nergens meer last van. Althans ik niet . Zie hier voor meer details: http://www.synology.com/support/faq_show.php?q_id=407

Hoe dan ook, ik geef geen garanties qua hardware compatibiliteit, deze schijven staan ook bij Netgear niet op de HCL lijsten, dus het gebruik van deze schijven is vanzelfsprekend op eigen risico!

Succes met je keuze.

[Eagle Creek]

Ik denk dat je zeker gebaad zou zijn bij een doorsnee NAS.

Wellicht heb je mij niet helemaal begrepen. De hardware in de startpost is al aanwezig. De HP Proliant wordt sowieso gebruikt. Het is dus de vraag:
1. Welke NAS-en gaan mee?
2. Welke schijven gaan mee?
3. Welke configuratie pas ik toe?

[Compizfox]

Zo, dat zijn flink wat schijven!

Er is één ding wat ik je dringend wil aanraden: ZFS!

Het is gewoonweg geniaal. Het combineert een RAID-oplossing met een filesysteem, waardoor het talloze problemen overkomt waar hardware-RAID en software-RAID nog steeds last van hebben.

- Je hoeft geen dure RAID-controller te kopen (itt hardware-RAID)
- Je hoeft geen schijven te kopen waarop je TLER kunt uitzetten (itt hardware-RAID)
- Het heeft geen last van de write hole.
- Je kunt één array (of pool, zoals dat heet in ZFS) spannen over meerdere controllers, waaronder je onboard controller.
- Je hebt weinig CPU-power nodig. (wel weer veel RAM, aanraden is minstens 2 GB RAM per 1 TB storage)
- Het filesysteem is self-healing, nooit meer last van silent corruption.
- Bied features zoals compressie en deduplication.

Configuraties die beschikbaar zijn, zijn RAID0 (striping), RAID1 (mirroring), RAID10 (gestripede mirror), RAID-Z1 (RAID5), RAID-Z2 (RAID6) en RAID-Z3 (drievoudige parity)
Het grote ZFS topic

[ Voor 8% gewijzigd door Compizfox op 13-01-2013 14:49 ]

[Eagle Creek]

Bedankt voor je reply.

ZFS had ik al gezien en dat topic volg ik al een tijdje.

Maar er kleven op dit moment nog wat nadelen aan en ik heb op dit moment vooral behoefte aan een oplossing die werkt. Dat vertaalt zich dan in: iets waar ik bekend mee ben. 2 GB per 1 TB vind ik overigens ook nog eens fors, zeker gezien de hoeveelheid TB's waar ik mogelijk mee gaan spelen. Maar dat punt alleen is nog wel overkomelijk.

[Compizfox]

Welke nadelen?

Het enige waar ik zo op kan komen is de onmogelijkheid om een vdev uit te breiden met een extra schijf.

En heb je wel eens gekeken naar de RAM-prijzen van tegenwoordig? Voor €60 heb je 16 GB RAM. Dat moet toch wel voldoende zijn om hem redelijk normaal te laten draaien
Kun je altijd nog upgraden naar 32 GB als het nog goedkoper wordt.

[Eagle Creek]

Welke nadelen?

Eeh.. mijn totale onbekendheid met het systeem, de eis voor een Linux-os, de maximale hoeveelheid RAM die simpelweg in de Proliant kant vs de virtuele machines die ik wil draaien.

En.. het lost m'n probleem uit de TS niet op .

(16 GB voor lager dan €70 heb ik nog niet gezien trouwens, wat voor kit doel je op?)

[ Voor 8% gewijzigd door Eagle Creek op 13-01-2013 22:39 ]

[Compizfox]

Eagle Creek schreef op zondag 13 januari 2013 @ 22:37:
[...]
Eeh.. mijn totale onbekendheid met het systeem, de eis voor een Linux-os, de maximale hoeveelheid RAM die simpelweg in de Proliant kant vs de virtuele machines die ik wil draaien.

Waar wou je je storage server dan op draaien dan?

Je wilt trouwens liever geen Linux. Door een probleem met licenties kan ZFS niet legaal als kernelmodule met Linux gedistributeerd worden.
Onder Linux heb je dus twee mogelijkheden:
- FUSE (vrij crappy)
- Zelf kernel en kernelmodule compileren (niet voor iedereen weggelegd)

Ik zou je eerder een FreeBSD-distro zoals ZFSGuru adviseren.

Dat je ergens onbekend mee bent zie ik niet als een valide argument eigenlijk. Je kunt het altijd leren

2 maanden geleden was ik ook totaal onbekend met ZFS en FreeBSD.

En.. het lost m'n probleem uit de TS niet op .

Welk probleem?

(16 GB voor lager dan €70 heb ik nog niet gezien trouwens, wat voor kit doel je op?)

https://tweakers.net/cate...jABqs9NrADyLC2MDUyUamtrAQ

[ Voor 18% gewijzigd door Compizfox op 13-01-2013 23:06 ]

[player-x]

Zelf zie ik ook niet veel in een NAS, maar meer in een homeserver, daar die veel flexibeler zijn qua mogelijkheden en uitbreidingen, en tegenwoordig net zo zuinig zijn als een NAS.

Daar je een 2012 server wild is het misschien aan te bevelen om een hardware controller te nemen die ook Online Capacity Expansion ondersteund, kan je later als je meer opslag nodig hebt met goedkoper geworden HDDs die uitbreiden, bevalt mij iig prima op mijn 2008R2 server.

Hier zijn mijn standaard hersens spinsels over hoe je het beste een server bouwt, veel zal voor jouw NVT zijn, maar misschien zit er het een en ander tussen waar je wat aan hebt.

#	Product	Prijs	Subtotaal
1	Intel Pentium G860 Boxed	€ 55,95	€ 55,95
1	Gigabyte GA-B75M-D3P	€ 76,85	€ 76,85
1	Hitachi Travelstar 5K1000, 1TB	€ 64,95	€ 64,95
1	Nexus Thrio 310 Silent Case	€ 44,59	€ 44,59
1	DeepCool GammaXX 300	€ 17,80	€ 17,80
1	Crucial CT2KIT51264BA1339	€ 35,-	€ 35,-
1	be quiet! Pure Power L7 300W	€ 39,95	€ 39,95
Bekijk collectie Importeer producten		Totaal	€ 335,09

Processor
De Intel Pentium G860 CPU is een van de zuinigste keuze op het moment.

Het gebruik maken van een zogenaamde zuinige T of S CPUs is pure onzin, en geld verspilling!
Daar hij in normaal gebruik niks zuiniger is dan andere dual-cores, daar het gewoon een normale Pentium is die alleen nog lager ge klokt is, en daar door ook op lage voltage kan draaien, en alleen omdat ze er extra geld voor vragen heeft hij een T.
Maar daar een homeserver CPU 99% van de tijd nagenoeg op idle draait, verbruikt hij net zoveel als alle andere dual-cores, die net als deze CPU ook terug schallen naar de zelfde idle waardes.

Hier meer over de zin en vooral onzin van TDP voor privé gebruik: Stroomverbruik van een systeem

Tip: Als je aan video (re)encoding doet is een quad CPU zeker ook een optie in je server, ik doe al mijn re-encoding op een hergebruikte en ondergeklokte 2600K@1.8GHz in mijn server, welke normaal +/-4W extra verbruikt over de normale G620 die ik daar voor had.

CPU-koeler
De standaard boxed koeler werkt natuurlijk gewoon, maar zou zelf een betere nemen, neem bv gewoon de grootste goedkope heatpipe koeler die in je kast past, en laat je mobo de fan regelen.

Geheugenmodule
4GB is zeker voldoende voor een server, maar als je veel torrents download is 8 of zelfs 16GB een optie, heb zelf 4x 4GB, en omdat ik een grote HDD geheugen cache van 14GB heb aangemaakt in µTorrent, verbruik ik minder stroom dan voorheen, en zal mijn HDD waarschijnlijk ook langer mee gaan daar er bijna niks intensiever is voor een HDD dan torrents.

Moederborden
Zoek een moederbord dat echt alles heeft wat je nu en misschien later zoekt, van belang is dat hij vooral degelijk is, en denk na wat voor een uitbreidingssloten je eventueel nodig hebt. (raid controller en/of TV kaarten)
Tip: kies echter wel een zo een simpel mogelijke mobo model uit met alleen de opties die je nodig hebt, dergelijke mobo's verbruiken meestal minder dan de luxere modellen met onodigeveel opties.

Harddisks/SSD's
Ten eerste zou ik een 2.5'' van 250GB of grotere als als OS en download HDD.

Het is aan te bevelen om een 2.5'' download/OS schijf te hebben ipv 3.5'' waar je tijdelijk je downloads opslaat totdat je ze later kan ordenen, voordelen, zijn dat niet de hele array hoeft op te spinnen tijdens download, en 2.5'' is lekker zuinig, maar nog steeds snel genoeg voor downloads usenet of Torrent.

HDD keuze, daar is de keuze van je OS en het wel of niet gebruik van een hardware raid controller, vooral van belang, Linux of WHS, beide hebben hun voor en nadelen.

Mijn voorkeur gaat eerst uit naar Linux en software raid (de goedkoopste oplossing), en anders Windows (home) server, (en hardware raid).
Waarom, omdat je dan pas HDDs hoeft te kopen wanneer je ze nodig hebt, en je gebruik kan maken van de prijsdalingen over tijd, en je, je aanschaf over tijd uitspreid.

OS keuze
Er zijn verschillende mogelijkheden, zo als Linux (mijn eerste keuze), FreeNAS of Windows (home, 2011 Essentials of 2008/2012) server.

- WHS
Vertrouwde omgeving, kost geld, en heeft bij grote HDDs wat voeten in aarde om te laten werken als jij zelf wild. (2.2TB limiet)
Daarnaast is een hardware raid controller goedkoper en economischer over tijd, daar je maar 1 of 2(voor R1 en later R5/6) HDDs hoeft te kopen, en elke keer als de HDD array vol is, koppel je er een extra HDD aan en vergroot je array.
(voordeel, je hoeft niet alle schijven in een keer te kopen, door je aankoop uit te stellen pak je ook nog eens het voordeel van prijs verlagingen)

Het voordeel van een vertrouwde omgeving heeft ook zijn nadelen, de gebruikte hardware raid controller maakt de totale server zonder HDDs 250 euro duurder.

Waar in tegen de software controller je veel geld scheelt, en daar naast is je array veel flexibeler daar je pas de controller hoef te kopen als je al je mobo aansluitingen hebt gebruikt, en je dan veder kan gaan op een HDD (raid) controller.

- Linux
Als OS is Linux zeker een optie, en een stuk eenvoudiger dan de meeste mensen denk het is om te installeren, en ja de eerste keer is het onwennig, maar als je eenmaal wegwijs bent valt het best mee, en is het zeker veel beter en betrouwbaarder dan WHS.

Hoofdreden om voor Linux te gaan.
Linux ondersteunt software raid 0, 1, 5 en 6 en vele andere vormen van raid, maar het belangrijkste is de Online Capacity Expansion en in mindere maten Online Raid Level Migration functionaliteit, zo dat je HDDs bij kan prikken wanneer je ze nodig hebt en niet allemaal in een keer hoeft te kopen.

Online Capacity Expansion allows to increase the storage capacity of RAID 0, 10, 5, or 6 arrays by adding one or more drives to the array while your system remains online. As additional drives are added, the controller redistributes the data on the array, placing new space available at the end of the RAID array. Online Capacity Expansion lets you add the new drives to the array while the system is active and users are logged in and accessing data.

Tip: kies voor zo groot mogelijke HDDs als je, je array begint, daar je later altijd SATA aansluitingen te kort komt, en hoewel die grote HDDs nu nog duur zijn, worden ze (veel) goedkoper als je 2de of 3de koopt, daarnaast bespaar je ook energie als je minder HDDs in je array hebt zitten.

Als je wild is zelfs Drive Extender achtige functie mogelijk via http://www.greyhole.net
(ben er zelf trouwens geen echte fan van zowel Drive Extender als Grayhole)

Greyhole is an application that uses Samba to create a storage pool of all your available hard drives (whatever their size, however they're connected), and allows you to create redundant copies of the files you store, in order to prevent data loss when part of your hardware fails.

Net als Drive Extender dus.

En veel mensen zeggen/denken:

Maar ik heb helemaal geen verstand van Linux.

Maar een simpele tutorial hoe je bepaalde dingen kan doen, en hoe je bepaalde dingen moet instellen, dat soort uitleg voor de n00b is er niet.

Laat ik dan zeggen, had ik ook niet, en had echt helemaal niks geen ervaring met Linux, maar zo moeilijk is het ook weer niet om zelf een Linux HomeServer op te zetten, en voor simpele tutorials, die zijn er zat zolang je maar Engels begrijpt.

Moeilijk is het zeker niet als je een stap voor stap DIY guide gebruikt, ik als echte Linux n00b, had een HS van een vriend in 8 uurtjes geheel draaiend, van bouwen tot en met de gehele configuratie.
(meeste tijd verloren aan de onwennigheid van Linux)

Heb nu 3 Linux servers gebouwd en de laatste had ik in 2 uurtjes klaar, van het open van de doos tot de laatste instellingen.
(Van een snelle USB3 stick, naar een SSD rocks qua installatie snelheid (^_^))

Met Debian 6.0 Squeeze server deze DIY guide werkte prima voor mij.
Maar er zijn er veel meer als je even Googled

De meeste die bv een dure NAS oplossing, of een HS met alle HDD in een keer kopen, kopen zo een oplossing omdat ze er tegen op zien om zelf een Linux server te bouwen, en zien er tegen op, als of het Mount Everest is, terwijl het zeker niet meer dan de Vaalserberg is.
Wikipedia: Vaalserberg

Overwegingen voor uitbreidingen en alternatieven

Is een kleine kast een must, dan is deze dure maar compacte kast een goed alternatief: Lian Li PC-Q08

De extra controller die je later kan kopen voor als je sata porten tekort komt pricewatch: IBM ServeRAID M1015 SAS/SATA Controller for System x

Hey, en hoe die zijn die Western Digital Red en/of WD RE - betere performance dan Green drives, en zeer zuinig en stil, en zijn die er niet speciaal voor raid?

Deze schijven nooit gebruiken in samenwerking met desktop aansluiting of een controller die geen ondersteuning heeft voor TLER, de kans op data corruptie over tijd is zeer aanzienlijk.

Maar hey, zou ik ook eens niet moeten kijken naar de hardwarematige raid setup.

Heb zelf twee hardware raid controllers in mijn server, maar dat is omdat voor mij Windows een must is, in verband dat ik mijn server ook als TVserver gebruik voor opnemen en kijken (inclusief time shifting)

Maar als het even kan zou ik Linux met software raid adviseren, is gewoon goedkoper dan hardware raid, maar boven dat ook nog eens flexibeler.

[Eagle Creek]

Beste player-x: de hardware ís al aanwezig.

Je adviseert nu mij een compleet nieuw systeem aan te schaffen á €335 terwijl ik as we speak de beschikking heb over een server, 4 NAS'en en 14 HDD's.

De server wordt sowieso gebruikt, namelijk met Windows Server 2008R2/2012. De server is een HP Proliant mini, die ook aanwezig is.

Je hebt een zeer grote post geplaatst met tal van motivatie (heb hem elders ook al gelezen) maar het is totaal niet relevant voor mijn situatie en geeft ook geen antwoord op de vraag die ik in de startpost stel.

Ik waardeer je moeite maar schiet er effectief helaas niets mee op .

Waar wou je je storage server dan op draaien dan?

Server 2008R2/2012, zoals vermeld in startpost. En het is geen storage server: het is een domeinserver, printserver, hypervisor én storage.

Dat je ergens onbekend mee bent zie ik niet als een valide argument eigenlijk. Je kunt het altijd leren

Maar daar heb ik op dit moment niet de behoefte aan. Ik wil iets waarvan ik weet dat het werkt. Bij ZFS weet ik dat niet. Daarmee loop ik de kans dat ik allerhande dingen moet gaan uitzoeken, tegen problemen aanloopt. Dat is een onnodig risico en onnodig veel werk voor hetgeen ik wil bereiken.

Welk probleem?

De kernvraag: hoe gebruikt ik mijn huidige hardware zo efficiënt mogelijk? Ik heb daarbij een voorzet gedaan om de HDD's in te richten op 1 server en 1 NAS maar hoor graag andere ideeën daarvoor.

Mijn post is dus ook geen vraag naar een klip en klaar antwoord maar een vraag hoe anderen Tweakers dit zouden inrichten op basis van mijn situatie / middelen.

[ Voor 5% gewijzigd door Eagle Creek op 14-01-2013 00:18 ]

[hans_lenze]

Eagle Creek schreef op maandag 14 januari 2013 @ 00:17:
De kernvraag: hoe gebruikt ik mijn huidige hardware zo efficiënt mogelijk? Ik heb daarbij een voorzet gedaan om de HDD's in te richten op 1 server en 1 NAS maar hoor graag andere ideeën daarvoor.

Mijn post is dus ook geen vraag naar een klip en klaar antwoord maar een vraag hoe anderen Tweakers dit zouden inrichten op basis van mijn situatie / middelen.

Doel wat je nastreeft lijkt mij: simpele omgeving met zo min mogelijk stroom gebruik en zo veel mogelijk storage.

Dan is het idee van player-x erg goed! Je komt uit op 1 enkele doos met alle opslag en rekenkracht gecombineerd achter één voeding. Zoals Mux ook zegt: mux in "Nieuwe Zuinige Server (discussie)" twee schijven gebruiken meer stroom dan één.

Hoeveel denk je dat je hardware waard is?
Verkoop al je huidige hardware en koop nieuwe, zuinige, grote schijven terug. Richt het netjes in met een VM met bijvoorbeeld NAS4free (FreeBSD + ZFS) en stel spindown netjes in op je pools.
Of doe avontuurlijk en gebruik Server 2012 met Storage Spaces en ReFS. Server 2012 Essentials heeft een briljant mechanisme om clients te backuppen en de backup data op blockniveau te dedupliceren.

Je Microserver gebruikt 40 Watt idle met vijf schijven (zegt mijn meter voor mijn exemplaar). Voor hetzelfde aantal Watts krijg je een vele malen krachtigere en flexibelere server terug met zelfbouw op basis van zinnige hardware. En zoals player-x laat zien hoeft het niet eens zo veel te kosten.

[ Voor 0% gewijzigd door hans_lenze op 14-01-2013 00:40 . Reden: spelvaud ]

[player-x]

Eagle Creek schreef op maandag 14 januari 2013 @ 00:17:
Beste player-x: de hardware ís al aanwezig.

Ja dat had ik gelezen, vandaar dat ik in de derde alinea ook zij dat het meeste waarschijnlijk nvt voor je was, maar misschien wel hier en daar een puntje relevant.

Zo als bv het stukje over HDDs.

Je adviseert nu mij een compleet nieuw systeem aan te schaffen á €335 terwijl ik as we speak de beschikking heb over een server, 4 NAS'en en 14 HDD's.

Waarom niet alle NASsen de deur uit (levert tweede hands vast nog best wel wat op) en alles in een server, eventueel met een NAS als on of offline mirror voor de echte belangrijke data.
^{zelf heb ik voor die data een offsite online mirror bij een vriend, op zijn server, waar mijn data versleuteld opgeslagen word}
daarnaast zal je ook je stroom verbruik aardig terugdringen, daarnaast probeer Online Capacity Expansion in je systeem te verwerken, zo dat je nu met minimaal aantal HDDs af kan en ruimte kan uitbreiden wanneer nodig.

En koop zo groot mogelijke, bij voorkeur 4TB HDDs, om twee redenen, het is zuiniger, en SATA poorten en vooral HDD bays kunnen snel schaars worden in je systeem, vooral als je kleine HDDs gebruikt.

Online Capacity Expansion kan je op twee manieren bereiken, hardware raid, de simpelste oplossing samen met Windows, of Linux software raid, dat wat meer tijd kost om te leren, maar een heel stuk goedkoper is.

En backup oplossingen zijn er ook genoeg onder linux, Google: linux+backup+server+windows+client

[Eagle Creek]

Hoeveel denk je dat je hardware waard is?
Verkoop al je huidige hardware en koop nieuwe, zuinige, grote schijven terug

Waarom niet alle NASsen de deur uit (levert tweede hands vast nog best wel wat op) en alles in een server, eventueel met een NAS als on of offline mirror voor de echte belangrijke data.

Het is een optie... Ik vrees echter wel dat ik bij lange na niet voor de hardware ga krijgen wat ik ervoor heb betaald (zeker niet momenteel) en dat geeft me niet echt een lekker gevoel.. Daarbij: het systeem dat jij hebt samengesteld, daar ben ik er dan nog niet mee.

Ik ga jullie optie wel eens laten berusten want ik volg het thuisservertopic al geruime tijd.

(OCE "verwerken" klinkt leuk, maar dat lijkt me toch volledig afhankelijk van welke apparatuur je gaat gebruiken, of niet? Die QNAP kan het bijvoorbeeld maar dat zit ingebouwd)

[ Voor 4% gewijzigd door Eagle Creek op 14-01-2013 01:29 ]

[player-x]

Eagle Creek schreef op maandag 14 januari 2013 @ 01:26:
Het is een optie... Ik vrees echter wel dat ik bij lange na niet voor de hardware ga krijgen wat ik ervoor heb betaald (zeker niet momenteel)

Dus jouw optie is, door modderen met de houtje touwtje oplossing die je nu hebt, met alle nadelen van dien

en dat geeft me niet echt een lekker gevoel..

Tja soms moet je gewoon door de zure appel heen bijten.

Heb in de kelder een doos staan met iets van 50 oude HDDs, van SCSI UW-SCSI (met en zonder SCA aansluiting), PATA IDE HDDs, verschillende HDD (SCSI) controller kaartjes, 12p PATA 3ware controller, en met een natte vinger in de lucht samen een nieuwwaarde naar huidige prijzen 10~20.000 euro.
Op een gegeven moment werkt iets niet meer voor je, en dan moet je er gewoon zo snel mogelijk van af, anders zal het alleen maar nog sneller in waarde verminderen.

Daarbij: het systeem dat jij hebt samengesteld, daar ben ik er dan nog niet mee.

Wat heb je nog meer nodig dan, behalve een mogelijke raid kaart, als je voor een Windows oplossing gaat?

[Eagle Creek]

Dus jouw optie is, door modderen met de houtje touwtje oplossing die je nu hebt, met alle nadelen van dien

Nu overdrijf je wel vind ik hoor. Hetgeen ik hier heb staan is geen rommel en zou prima kunnen voldoen met mijn wensen. Dat er mogelijk betere oplossingen zijn zal ik niet ontkennen maar "houtje touwtje met allen nadelen" vind ik wel erg scherp geformuleerd.

Tja soms moet je gewoon door de zure appel heen bijten.

Nou ja, dat is het hem dus. Ik móet niets. Ik beschik over alternatieven, die ook niet verkeerd zijn.

Wat heb je nog meer nodig dan, behalve een mogelijke raid kaart?

Meerdere schijven. Jouw config heeft er maar één.

[ Voor 18% gewijzigd door Eagle Creek op 14-01-2013 02:08 ]

[player-x]

Eagle Creek schreef op maandag 14 januari 2013 @ 02:07:
Nu overdrijf je wel vind ik hoor. Hetgeen ik hier heb staan is geen rommel en zou prima kunnen voldoen met mijn wensen. Dat er mogelijk betere oplossingen zijn zal ik niet ontkennen maar "houtje touwtje met allen nadelen" vind ik wel erg scherp geformuleerd.

Niet om te degenereren, maar je data verdelen over 4 NASsen en een server, zit dicht tegen een houtje touwtje oplossing aan imho.

Mijn eigen server is behoorlijk aan de zware kant met een totaal van ruim 30TB aan opslag en 6 DVB kaarten voor de MediaPortal TVserver, die gedeeld word met anderen huishoudens.

Nou ja, dat is het hem dus. Ik móet niets. Ik beschik over alternatieven, die ook niet verkeerd zijn.

De quote was dan ook ''soms''.

Meerdere schijven. Jouw config heeft er maar één.

Het is dan ook een kaal systeem zonder opslag, de gebruikte 2.5'' HDD in mijn voorbeeld dient alleen maar als zuinige OS en download schijf, daar je daar je downloads op doet, en dus niet je hele array laat draaien als het niet nodig is.

En tja het is of door blijven gaan met 14HDDs, of over stappen naar 3 of 4x 4TB eventueel met de 4x 1.5TB in een NAS, totdat de prijzen van 4TB schijven zakken.

10 HDDs is 10x 7W = 70W x 2 euro = 140 euro per jaar bij 24/7 gebruik, waarschijnlijk is het minder daar ze vast ook spindown doen, maar dan nog verbruiken ze idle iets van 1~2W x 10 = 20/40 euro jaar.

Een grote array is een stuk overzichtelijker dan hier en daar je data verdelen over eerdere array's

[ Voor 5% gewijzigd door player-x op 14-01-2013 03:25 ]

[Eagle Creek]

player-x schreef op maandag 14 januari 2013 @ 03:06:
[...]

Niet om te degenereren, maar je data verdelen over 4 NASsen en een server, zit dicht tegen een houtje touwtje oplossing aan imho.

Ik heb nooit gezegd dat ik 4 NAS-en gebruik of ga gebruiken . Eveneens gebruik ik de 14 schijven op het moment niet. Het merendeel is op dit moment niet in gebruik.

De twee voorbeelden in mijn startpost spreken dan ook over één NAS en één server, waarvan laatstgenoemde een no-brainer is.

Bedankt voor je reacties.

[ Voor 9% gewijzigd door Eagle Creek op 14-01-2013 12:39 ]

[Compizfox]

player-x schreef op maandag 14 januari 2013 @ 00:08:
Hoofdreden om voor Linux te gaan.
Linux ondersteunt software raid 0, 1, 5 en 6 en vele andere vormen van raid, maar het belangrijkste is de Online Capacity Expansion en in mindere maten Online Raid Level Migration functionaliteit, zo dat je HDDs bij kan prikken wanneer je ze nodig hebt en niet allemaal in een keer hoeft te kopen.

Maar als het even kan zou ik Linux met software raid adviseren, is gewoon goedkoper dan hardware raid, maar boven dat ook nog eens flexibeler.

Hier ben ik het dan totaal niet mee eens.

Linux is helemaal mooi hoor, heb zelf best wat ervaring met het gebruik van Linux als server (en ook als desktop trouwens)
Maar in dit geval zou ik voor FreeBSD kiezen.

Er zijn geen redenen om software RAID te verkiezen boven ZFS. Ik zou Linux (en software RAID) dan ook sterk afraden omdat ZFS simpelweg een superieure oplossing is.
Maar dan wel met FreeBSD of Solaris, waar ik de eerste (ZFSGuru) kan aanraden. ZFSGuru heeft trouwens een hele aardige webinterface

http://zfsguru.com/

Eagle Creek schreef op maandag 14 januari 2013 @ 00:17:
Maar daar heb ik op dit moment niet de behoefte aan. Ik wil iets waarvan ik weet dat het werkt. Bij ZFS weet ik dat niet. Daarmee loop ik de kans dat ik allerhande dingen moet gaan uitzoeken, tegen problemen aanloopt. Dat is een onnodig risico en onnodig veel werk voor hetgeen ik wil bereiken.

Geloof me: ZFS is het waard Het is een file system van een nieuwe generatie, veel beter dan traditionele file systems zoals NTFS, EXT4, ReiserFS of XFS.
Al helemaal bij een server met veel storage, waar je goed de mogelijkheid hebt om het te gebruiken, en je veel waardevolle data hebt, is het eigenlijk bijna een must-have.

Maar goed, dit is wat ik erover te zeggen heb. Wat je uiteindelijk voor keuze maakt is natuurlijk aan jou

[ Voor 32% gewijzigd door Compizfox op 14-01-2013 12:14 ]

[Eagle Creek]

Sorry dat ik het zeg maar je klinkt nogal gekleurd . Ik begrijp dat jij enthousiast bent over XFS maar ik heb geen problemen met NTFS of EXT4. Het is prima geschikt voor mijn wensen.
"Beter" is dan dus ook een zeer relatieve term.

Mijn moeder werkt op een pc met AMD processor uit 2003, 2 GB geheugen en een 60 GB schijf. Nu kan ik zeggen "een i7 3rd generation met DDR3 en SSD" is een nieuwe generatie, veel beter, etc. maar voor hetgeen wat zij met de computer doet, voldoet het.

Je zult mij geen kwaad horen uitspreken over ZFS maar ik heb niet het gevoel dat je advies objectief is .

No offense verder hoor!

[DennusB]

Eagle Creek schreef op maandag 14 januari 2013 @ 12:43:
Sorry dat ik het zeg maar je klinkt nogal gekleurd . Ik begrijp dat jij enthousiast bent over XFS maar ik heb geen problemen met NTFS of EXT4. Het is prima geschikt voor mijn wensen.
"Beter" is dan dus ook een zeer relatieve term.

Mijn moeder werkt op een pc met AMD processor uit 2003, 2 GB geheugen en een 60 GB schijf. Nu kan ik zeggen "een i7 3rd generation met DDR3 en SSD" is een nieuwe generatie, veel beter, etc. maar voor hetgeen wat zij met de computer doet, voldoet het.

Je zult mij geen kwaad horen uitspreken over ZFS maar ik heb niet het gevoel dat je advies objectief is .

No offense verder hoor!

Ik snap niet dat je er zo'n punt over maakt, je vraagt hier naar meningen voor je infra thuis en dan schiet je dingen als ZFS (wat toch echt wel bekend staat om de mogelijkheden) af. No offense ook naar jou, maar als je informatie vraagt vind ik niet dat je het zo van tafel kan vegen. Het lijkt me vrij sterk dat je alles op EXT4 wil gaan uitrusten, ik zou niet weten wat de meerwaarde tegenover ZFS is. Kan je me dat vertellen?

[Compizfox]

Eagle Creek schreef op maandag 14 januari 2013 @ 12:43:
Sorry dat ik het zeg maar je klinkt nogal gekleurd . Ik begrijp dat jij enthousiast bent over XFS maar ik heb geen problemen met NTFS of EXT4. Het is prima geschikt voor mijn wensen.
"Beter" is dan dus ook een zeer relatieve term.

Haha ik ben er erg enthousiast over ja
Maar ik ben niet de enige. In het ZFS-topic kunnen CiPHER en FireDrunk er ook wat van Die topicstart is erg goed leesvoer trouwens.

Het is trouwens ZFS. XFS is een oud, traditioneel filesystem

Ik denk echt dat filesystems zoals ZFS voor veel storage (dus storageservers, NAS'sen, enz) het echt gaan overnemen.
Voor Linux is men bezig met BtrFS en Microsoft werkt aan ReFS, wat allebei spinoffs van ZFS te noemen zijn.

Mijn moeder werkt op een pc met AMD processor uit 2003, 2 GB geheugen en een 60 GB schijf. Nu kan ik zeggen "een i7 3rd generation met DDR3 en SSD" is een nieuwe generatie, veel beter, etc. maar voor hetgeen wat zij met de computer doet, voldoet het.

Je zult mij geen kwaad horen uitspreken over ZFS maar ik heb niet het gevoel dat je advies objectief is .

No offense verder hoor!

"Nieuwe generatie" klinkt misschien wat als een verkapte marketingterm, maar dat is niet zoals ik het bedoel.
Kijk, EXT2, EXT3, EXT4, XFS, HFS, ReiserFS, FAT32, NTFS en ga zo maar door zijn allemaal bestandssystemen die erg veel op elkaar lijken met wat kleine verschillen zoals het wel/niet gebruiken van journaling e.d.

ZFS, BtrFS en ReFS zijn wezenlijk anders. Heb je de TS van het ZFS-topic al doorgelezen? Dan snap je wat ik bedoel.
Doordat ze een volume manager (RAID) met een bestandssysteem combineren zijn ze in staat problemen te overkomen waar andere oplossingen last van hebben.
Dat is niet subjectief, dat zijn feiten

Maar ZFS is niet voor alles even geschikt hoor. Op een workstation/desktop zie je het mij niet gebruiken, al was het maar omdat je dan gelimiteerd bent aan FreeBSD of Solaris (of Linux, maar liever niet).
Voor een OS of iets dergelijks is het gewoon 'niet nodig'. Pas bij veel en waardevolle data komt het goed tot zijn recht.

[ Voor 8% gewijzigd door Compizfox op 14-01-2013 13:00 ]

[player-x]

Er is een beperking waardoor ZFS voor mij als bestandssysteem meteen afvalt, en dat is het gemis van Online Capacity Expansion.

De verplichting om meteen all je HDDs van je strorage-pool te kopen is voor mij een grote game stopper.

Toen ik mijn eerste twee 3TB greens kochten waren ze bijna 250 euro stuk, heb er nu al 8 en zullen er meer worden, ergens rond de 12 of meer stuks of zo, dat zou mij 3000 euro hebben gekost, ipv minder dan 2000 euro dat het me nu kost

En daarnaast wat zeker zo belangrijk is, heb ik mijn investering over tijd kunnen uitspreiden.

Zonder Online Capacity Expansion, moet je gewoon teveel in een keer investeren ipv toevoegen wanneer nodig, is gewoon de goedkopere manier van een server gebruiken.

De dag dat ZFS met een Online Capacity Expansion functie komt, is de dag dat ik over stap op Linux of FreeBSD en dat als mijn server OS ga gebruiken.

Tot dan moet de dubbele back-up van mijn belangrijke date, hier lokaal en offsite maar voldoen.

En zal mijn array totaal crashen, dan zal newsbin het een maandje zwaar hebben, als ik al mijn films en series weer download.

Tot dan is NTSF of Ext4 het bestand systeem van mijn keuze

[Compizfox]

Het is helaas niet mogelijk om een schijf toe te voegen aan een vdev (array), en dat is jammer. Wat wel kan, is een extra vdev toevoegen aan een pool, met load balancing.

Stel je hebt een pool met 1 RAID-Z1-vdev van 3 schijven van 1 TB.
Dan besluit je dat je wilt uitbreiden. Je kunt dan nog 3 schijven kopen van 2 TB, en een extra vdev aanmaken binnen de pool.
Dan heb je dus 1 pool met een vdev van 2 TB effectieve capaciteit en ééntje met 4 TB effectieve capaciteit.

ZFS kan het zo regelen dat je 6 TB aan effectieve capaciteit hebt, en je ook nog eens hogere performance hebt dan met 1 vdev door het gebruik van load balancing.

En groot voordeel is ook dat op deze manier de redundancy niet afneemt met het toevoegen van harde schijven, wat anders wel het geval zou zijn.

[DennusB]

Compizfox schreef op maandag 14 januari 2013 @ 14:15:
Het is helaas niet mogelijk om een schijf toe te voegen aan een vdev (array), en dat is jammer. Wat wel kan, is een extra vdev toevoegen aan een pool, met load balancing.

Stel je hebt een pool met 1 RAID-Z1-vdev van 3 schijven van 1 TB.
Dan besluit je dat je wilt uitbreiden. Je kunt dan nog 3 schijven kopen van 2 TB, en een extra vdev aanmaken binnen de pool.
Dan heb je dus 1 pool met een vdev van 2 TB effectieve capaciteit en ééntje met 4 TB effectieve capaciteit.

ZFS kan het zo regelen dat je 6 TB aan effectieve capaciteit hebt, en je ook nog eens hogere performance hebt dan met 1 vdev door het gebruik van load balancing.

En groot voordeel is ook dat op deze manier de redundancy niet afneemt met het toevoegen van harde schijven, wat anders wel het geval zou zijn.

Lijkt me inderdaad een mooie tussen oplossing Ben benieuwd wat de TS daar van vind omdat dit mij net ook gelijk te binnen schoot toen hij zei dat het niet kon!

[Eagle Creek]

Heb je de TS van het ZFS-topic al doorgelezen? Dan snap je wat ik bedoel.

Eagle Creek schreef op zondag 13 januari 2013 @ 21:21:

ZFS had ik al gezien en dat topic volg ik al een tijdje.

Ook de TS .

[player-x]

Compizfox schreef op maandag 14 januari 2013 @ 14:15:
Stel je hebt een pool met 1 RAID-Z1-vdev van 3 schijven van 1 TB.
Dan besluit je dat je wilt uitbreiden. Je kunt dan nog 3 schijven kopen van 2 TB, en een extra vdev aanmaken binnen de pool.
Dan heb je dus 1 pool met een vdev van 2 TB effectieve capaciteit en ééntje met 4 TB effectieve capaciteit.

Dat de integriteit nog steeds is gewaarborgd, betekend niet dat het bijzonder effectief is, het is gewoon JBOD van verschillende arrays.

Met RAID 5 of 6 op zowel een hardware controller als, en als ik het goed heb ook met Linux, kan je gewoon zo iets als het volgende doen.



En met 3x 1TB + 3x 2TB aan HDDs effectief 9TB 7TB ipv 6TB overhouden, en je dus effectief 15% meer overhoud.
En moet je beide keren een hele pool in een keer aanschaffen.

ZFS is een interessant en robuust file systeem, maar flexibel voor thuis gebruikers is het (nog) niet zonder OCE.

[Compizfox]

player-x schreef op dinsdag 15 januari 2013 @ 17:15:
[...]

Dat de integriteit nog steeds is gewaarborgd, betekend niet dat het bijzonder effectief is, het is gewoon JBOD van verschillende arrays.

Je zou het beter kunnen zien als een mixvorm van JBOD en striping, aangezien het wel aan load balancing doet.

[u_nix_we_all]

player-x schreef op dinsdag 15 januari 2013 @ 17:15:
[...]

Dat de integriteit nog steeds is gewaarborgd, betekend niet dat het bijzonder effectief is, het is gewoon JBOD van verschillende arrays.

Met RAID 5 of 6 op zowel een hardware controller als, en als ik het goed heb ook met Linux, kan je gewoon zo iets als het volgende doen.

[afbeelding]

En met 3x 1TB + 3x 2TB aan HDDs effectief 9TB ipv 6TB overhouden, en je dus effectief 50% meer overhoud.
En moet je beide keren een hele pool in een keer aanschaffen.

ZFS is een interessant en robuust file systeem, maar flexibel voor thuis gebruikers is het (nog) niet zonder OCE.

Voor een thuisnas ben je meestal toch al beperkt in het aantal slots voor disks, dus ik zie dit niet als een heel groot nadeel eigenlijk. En voor grotere systemen wil je helemaal geen disks gaan bijplaatsen in raid5 of raid6 arrays vanwege je chunksize tov stripesize. Daar is het eerder een kwestie van uitbreiden met een extra array. En bij je ontwerp is dan bepaald hoeveel spindels en welk raidlevel je nodig hebt.

Overigens kun je alle overige mogelijkheden (uitbreiden naar mirror, vergroten striped set, vergroten van raid-z1/2/3 dmv vervangen van disken) allemaal prima online doen. Is dat dan geen OCE ?

Al met al een prima case voor ZFS. De voordelen zoals bitrot-detectie (alle data wordt geverivieerd dmv een checksum in de metadata), ongelimiteerd snapshots, compressie, dedup.... niet meer te vergelijken met ext3/4 of XFS. Echt niet.

Edit:
Met 3x1 en 3x2 heb je 9TB bruto, ik volg je sommetje niet ....

[player-x]

We gaan wel erg oftopic en kapen Eagle's topic, maar geloof dat hij zijn informatie al heeft die hij zoekt, en zelf nog even moet broeden wel keuze voor hem het beste is.

u_nix_we_all schreef op dinsdag 15 januari 2013 @ 17:53:
Voor een thuisnas ben je meestal toch al beperkt in het aantal slots voor disks,

Dat licht er natuurlijk maar aan wat voor een behuizing je gebruikt.

In de Lian Li PC-343B met 6 Addonics Disk Array AE5RCS35NSA kan je makkelijk 30HDDs kwijt.

Maar er zijn natuurlijk nog gekkere tweakers.

dus ik zie dit niet als een heel groot nadeel eigenlijk. En voor grotere systemen wil je helemaal geen disks gaan bijplaatsen in raid5 of raid6 arrays vanwege je chunksize tov stripesize. Daar is het eerder een kwestie van uitbreiden met een extra array. En bij je ontwerp is dan bepaald hoeveel spindels en welk raidlevel je nodig hebt.

Voor bedrijven geld dat dan wel, prive wil je gewoon HDDs bij prikken wanneer het nodig is, om zo meer voordeel van de prijsdaling over tijd, en de spreiding van de kosten te genieten.

Al met al een prima case voor ZFS. De voordelen zoals bitrot-detectie (alle data wordt geverivieerd dmv een checksum in de metadata), ongelimiteerd snapshots, compressie, dedup.... niet meer te vergelijken met ext3/4 of XFS. Echt niet.

Heb nooit gezegd dat ZFS een slecht file systeem is, zou het zelfs graag gebruiken, alleen is het voor mij het gebrek van OCE een no-go.

Met 3x1 en 3x2 heb je 9TB bruto, ik volg je sommetje niet ....

Je hebt gelijk had even fout gerekend, en het had 7TB moeten zijn.

Maar blijf er bij dat ZFS gewoon veel minder inefficiënt is, vooral qua kosten als het op uitbreiding aan komt, vooral omdat je minimaal 3 HDDs tegelijk moet kopen, versus 1 voor 1 bij raid.

Stel dat je de kast uit mijn voorbeeld gebruikt met 8x 3.5'' plus een 3x 5.25'' naar 5x 3.5'' bay, kan je makkelijk 13 HDDs in een kast kwijt, zonder rare dingen te hoeven doen.

En stel dat je array bestaat uit 4x 1TB, 3x 2TB , 3x 3TB , 3x 4TB.
En nu zijn al je bay's vol, kan je beginnen met de 1TB HDDs vervangen voor 5TB HDDs en zo door gaan met steeds de kleinste/oudste HDD vervangen voor een nieuwer model, is het een nette manier van opslag, nee niet echt, maar best wel redelijk effectief, en ik ken iemand die dat zo doet.

Kan dat ook met ZFS?

[Compizfox]

player-x schreef op dinsdag 15 januari 2013 @ 22:43:
Maar blijf er bij dat ZFS gewoon veel minder inefficiënt is, vooral qua kosten als het op uitbreiding aan komt, vooral omdat je minimaal 3 HDDs tegelijk moet kopen, versus 1 voor 1 bij raid.

Ook voor RAID-5 heb je minstens 3 schijven nodig. In dat opzicht is het dus hetzelfde als RAID-Z1.

Stel dat je de kast uit mijn voorbeeld gebruikt met 8x 3.5'' plus een 3x 5.25'' naar 5x 3.5'' bay, kan je makkelijk 13 HDDs in een kast kwijt, zonder rare dingen te hoeven doen.

Heel leuk, maar wil je dat ook?
Je geeft aan dat het gebrek aan OCE vooral voor thuisgebruik een groot nadeel is.
Maar zeker voor een thuisserver zou ik geen 13 HDD's hebben willen draaien ivm stroomverbruik. Een HDD doet makkelijk 5-10 watt per stuk.

En stel dat je array bestaat uit 4x 1TB, 3x 2TB , 3x 3TB , 3x 4TB.
En nu zijn al je bay's vol, kan je beginnen met de 1TB HDDs vervangen voor 5TB HDDs en zo door gaan met steeds de kleinste/oudste HDD vervangen voor een nieuwer model, is het een nette manier van opslag, nee niet echt, maar best wel redelijk effectief, en ik ken iemand die dat zo doet.

Kan dat ook met ZFS?

Dat laatste wel, ja.

Als je een vdev hebt met bijvoorbeeld 3x 1 TB in RAID-Z1 (2 TB effectieve capaciteit), kun je al die drie schijven gewoon vervangen door exemplaren van bijvoorbeeld 3 TB per stuk.
Wel één voor één (dus een disk replacen, pool resilveren, volgende disk replacen, pool resilveren, laatste disk replacen, pool resilveren en uiteindelijk filesystem inflaten)
Daarna heb je gewoon 6 TB effectieve capaciteit als het goed is.

Wat dus met ZFS wél mogelijk is:
- Alle disks in 1 vdev vervangen door exemplaren met een hogere capaciteit
- Disks bijplaatsen (en in een extra vdev zetten)

Wat niet mogelijk is:
- Het aantal disks in 1 vdev veranderen. Dus ook het bijplaatsen van disks in een vdev.

Dat laatste vind ik zelf niet zo'n enorm probleem omdat dat toch al geen nette oplossing is omdat je relatieve redundancy lager wordt.
Als je een RAID-Z1 hebt met 3 schijven, betekent dat dat je 1 schijf aan parity kwijt bent. Dat is dus 1/3 van je vdev. (Vandaar ook dat je effectieve opslagcapaciteit (n-1)*g is)
Als je aan die vdev een disk zou toevoegen (wat niet mogelijk is met ZFS), heb je nog steeds 1 schijf aan parity, maar dan verspreidt over 4 schijven. Dat is dus 1/4. De redundancy neemt dus af aangezien je schijven bijplaatst, maar de parity niet groter wordt. Kun je nagaan wat ervan overblijft als je je 3-disk-array gaat uitbreiden naar 13 schijven

[ Voor 26% gewijzigd door Compizfox op 15-01-2013 23:44 ]

[player-x]

Compizfox schreef op dinsdag 15 januari 2013 @ 23:15:
Ook voor RAID-5 heb je minstens 3 schijven nodig. In dat opzicht is het dus hetzelfde als RAID-Z1.

Klopt maar met hardware of Linux raid heb je ook ''Online Raid Level Migration'' functionaliteit.

Je kan dus gewoon met een enkele HDD beginnen, of twee als R1, of eerst 2 of 3 HDDs als R0 array en later omzetten naar R5 of R6, wat je maar wild.

Heel leuk, maar wil je dat ook?

Ik wel iig, kijk 95% eerst van mijn 2.5'' download HDD, en als die vol begint te raken gaat die data over naar het de R6 array voor archivering .

Je geeft aan dat het gebrek aan OCE vooral voor thuisgebruik een groot nadeel is.
Maar zeker voor een thuisserver zou ik geen 13 HDD's hebben willen draaien ivm stroomverbruik. Een HDD doet makkelijk 5-10 watt per stuk.

Een moderne HDD als de WD Green verbruikt 6W gebruik, 5.5W idle, en 0.8W standby/sleep, dus een array van 13 HDDs verbruikt 10W standby, de status dat hij het meeste in is, voor mijn persoonlijk, denk ik dat ik de raid array minder dan 1 uur per dag gemiddeld gebruik, het stroom verbruik valt dus reuze mee

Dat is dus 1/4. De redundancy neemt dus af aangezien je schijven bijplaatst, maar de parity niet groter wordt. Kun je nagaan wat ervan overblijft als je je 3-disk-array gaat uitbreiden naar 13 schijven

Dat is het mooie van ''Online Raid Level Migration''. je kan op een bepaalt moment beslissen om over te gaan van R5 op R6, welke weer een heel stuk betrouwbaarder is met zijn dubbele parity.

En R6 gaat over de betrouwbaarheid van ZFS Z1, en je een Z2 array om weer betrouwbaarder te worden, wat met ZFS weer een dure grap word.