Niet-zelfbouw ZFS/BTRFS NAS met remote backup Overzicht Laatste deel

Pagina: 1
Acties:

Onderwerpen


Acties:
  • 0 Henk 'm!

  • Pol23
  • Registratie: Augustus 2007
  • Laatst online: 01-09 23:03
Geachte tweakers,

In het kader van leesbaarheid begin ik met de conclusies van mijn zoektocht tot nu toe en de vragen die ik jullie graag voorleg (ook genummerd in de tekst).

Ik zoek een goede lange termijn opslag/backup voor mijn belangrijke files (documenten/foto’s):
  1. De eerste eis is een self healing file system, ZFS of btrfs
  2. De tweede eis/sterke voorkeur is een niet-zelfbouw systeem
  3. Een veilige oplossing vereist storage op ZFS/BTRFS en niet backup. Maar hoe gaan jullie dan om met storage op mobiele apparaten (laptop vriendin, foto’s op telefoon)?
  4. De Netgear ReadyNAS 104 lijkt de enige niet-zelfbouw BTRFS optie te zijn in de pricewatch. De reviews zijn wisselend over netgear vandaar dat ik me afvroeg of er hier iemand ervaring heeft met dit apparaat specifiek in een dergelijke setup?
  5. Ik zou graag twee NAS’en hebben op gescheiden locaties die elkaars data backupen. Wat zijn hierbij de do’s en dont’s?
  6. Is ECC apparatuur noodzakelijk bij een ZFS/btrfs oplossing?

Aanleiding en huidige situatie

Ik zoek een oplossing om mijn belangrijke files (documenten, foto’s ed) op te slaan/backuppen. Aanleiding daarvoor is dit artikel.

Momenteel heb ik eigenlijk maar één PC in gebruik (en af en toen een laptop van m’n werk). De PC is wat oud maar ik ben erg tevreden over de snelheid. Het is een Dell Dimension 9200 (ik ben altijd erg gecharmeerd geweest van de koeloplossingen van Dell), Q6600, 5Gib, Radeon 7870. Een tijdje geleden heb ik er een 180Gib SSD in gestoken voor boot (win7) en spul dat ik vaak gebruik waardoor de PC nog erg goed mee kan.

Ik gebruik nu de PC’s 2 originele Seagate Barracuda’s 7200.10 van 250GB voor data opslag. Middels Intel’s Matrix raid van het mobo heb ik hierop twee RAID volumes staan:
  • 200GB RAID 0 voor niet kritiek spul zoals muziek, films, games en overig
  • 150 GB RAID 1 (dus 300GB op de disks) voor wel kritieke files zoals documenten en foto’s
Mijn belangrijke files zijn nu dus beschermd tegen falen van één disk. Van deze files maak ik regelmatig een backup. Eens per één of twee maanden; deze files veranderen niet vaak, ik kan helaas niet elke maand op vakantie op gave foto’s te maken… Ik maak een backup op een disk die letterlijk naast de PC staat Toshiba PX1396E-3T01 1TB zodat ik er snel bij kan (staat ook ander oud spul op) en ik heb een disk op kantoor liggen WD Elements Portable 1TB Zwart die ik mee naar huis neem, backup, en de volgende dag weer op kantoor leg.

Op zich is m’n data redelijk veilig zo lijkt me. In verband met bitrot zoals in het gelinkte artikel genoemd, maak ik sinds een paar maanden nieuwe backups zonder de oude weg te gooien. Mocht een originele file namelijk beschadigd raken, dan wordt de beschadiging ook gewoon gebackupt.

1. Daarom ben ik nu op zoek naar een oplossing voor mijn data opslag waarbij de gegevens niet alleen tegen disk failure beschermd worden maar ook tegen file system failure. Dit is mogelijk met ZFS of btrfs. Mijn voorkeur gaat uit naar btrfs omdat ik er dan nog eens ’n disk bij kan steken door de online capacity expansion (als ik het goed begrijp)

Storage vs backup

Het idee is dan natuurlijk dat je het ZFS/btrfs systeem als storage gebruikt en niet als backup. Dan ben je namelijk wederom data van een foutgevoelig systeem met mogelijk incorrecte data aan het backupen naar een super veilig systeem wat weinig zin heeft. Dan kom je dus uit bij een NAS (liefst zou ik gewoon al m’n devices op ZFS/btrfs overzetten maar dat kan (nog) niet). De storage op een NAS is dan ook te bereiken met andere apparaten dan mijn eigen PC (laptop vriendin, telefoons, toekomstige tablets). Met ‘n gigabit netwerk zouden files snel genoeg accessable zijn als ik het goed begrijp.

2. Ik geef de voorkeur aan een niet-zelfbouw NAS.
Ik ben een tweaker en repareer spul dat niet kapot is maar dit is iets dat niet fout mag gaan. Deze keer moet het gewoon werken, blijven werken en zonder gedoe betrouwbaar zijn voor lange tijd. Dat kan ongetwijfeld met een zelfbouw NAS maar als het kan bespaar ik me liever de moeite en hopelijk kosten (alhoewel ik in het storage forum al aardig wat gunstig geprijsde zelfbouw systemen heb gezien). Daarnaast ben ik niet onhandig met computers maar ik heb eigenlijk alleen ervaring met microsoft. Dus ik ben wat terughoudend over een zelfbouw NAS met bv FreeNAS als OS.

3. Een vraag die ik heb is hoe jullie omgaan met local storage op andere apparaten?
Hoe bijvoorbeeld handig om te gaan met files op de laptop van mijn vriendin. Ik weet zeker dat zij haar foto’s graag bij zich heeft als ze haar laptop mee neemt. Remote access kan natuurlijk maar is onderweg of in het buitenland verre van ideaal. De laptop bij verbinding met thuis wifi laten backupen naar de NAS kan, maar dan zit je met het eerder beschreven risico van foutieve backups. Hoe is hier goed mee om te gaan?

4. Ik zou graag twee NAS’en hebben op gescheiden locaties die elkaars data backupen. Wat zijn hierbij de do’s en dont’s?
Om de data absoluut veilig te stellen zou ik graag twee NAS’en hebben, een bij m’n vader en een bij mij thuis, die elkaars data backupen (bv elke nacht incremental) zodat data in geval van brand/diefstad veilig is. Ik begrijp dat de meeste NAS software dit gewoon kan. Zijn hier ervaringen mee? Ik hoef geen gebruiksaanwijzing maar ik lees op internet vooral dat het kan en hoe het kan maar niet echt do’s en don’ts zeg maar.

Concrete optie

5. De Netgear ReadyNAS 104 lijkt de enige niet-zelfbouw optie te zijn in de pricewatch. De reviews zijn wisselend over netgear vandaar dat ik me afvroeg of er hier iemand ervaring heeft met dit apparaat specifiek in een dergelijke setup?
Mis ik iets of is ZFS/btrfs nog zo nieuw dat er geen andere niet-zelfbouw opties zijn? Deze is zo'n €100 goedkoper dan de goed aangeschreven QNAP TS-412 terwijl die alleen EXT3 of EXT4 ondersteunt. Op basis hiervan zou de 104 dus een no-brainer zijn maar ik begrijp dat de software en ondersteuning slecht zijn.

6. Is ECC apparatuur noodzakelijk bij een ZFS/btrfs oplossing?
Het klinkt natuurlijk logisch om een file systeem met error correctie te ondersteunen met andere error correcting apparatuur (CPU, RAM) maar ik heb geen idee of dit zin heeft/noodzakelijk is.

Acties:
  • 0 Henk 'm!

  • FireDrunk
  • Registratie: November 2002
  • Laatst online: 12-09 17:56
Kijk eens bij iXsystems, die verkopen ZFS machines voor bedrijven, en leveren support.

Even niets...


Acties:
  • 0 Henk 'm!

  • Pol23
  • Registratie: Augustus 2007
  • Laatst online: 01-09 23:03
FireDrunk schreef op vrijdag 28 maart 2014 @ 12:09:
Kijk eens bij iXsystems, die verkopen ZFS machines voor bedrijven, en leveren support.
Dank voor je snelle reactie. Ziet er op het eerste gezicht erg interessant uit maar ook behoorlijk prijzig, bijvoorbeeld: "8TB - $1495 - 4 x 2TB Drives".

Ik hoop dat er oplossingen zijn meer gericht op thuisgebruik...

Acties:
  • 0 Henk 'm!

Verwijderd

Thuisgebruik en kant en klaar ZFS? Heb ik nog niet gezien. Die Netgear is een zielig ARM-chipje met SATA/150. Bovendien is Btrfs niet op hetzelfde niveau als ZFS.

Maar je kunt toch gewoon een zakelijke server laten samenstellen; of wil je ook support/garantie op de software? Als je geen zelfbouw wilt, zou ik niet voor een ARM-systeem gaan maar tenminste wel een 'echte' server. Dan knal je er vervolgens ZFS op en doe je de software zelf.

Zowel hardware als software uitbesteden en lage prijzen voor thuisgebruikers; dat zit er denk ik gewoon niet in. Er zijn maar een handjevol bedrijven die specifiek ZFS servers leveren.

Acties:
  • 0 Henk 'm!

  • FireDrunk
  • Registratie: November 2002
  • Laatst online: 12-09 17:56
@TS,
Klopt, het is zeker niet goedkoop, maar dat is wel een beetje wat je kan verwachten als je geen zelfbouw wil doen.

Ik lees nog niet zo goed waarom je geen zelfbouw wil doen? Je bent bang dat het hogere kosten oplevert in the-long-run, maar juist in the long run kan je er denk ik vanuit gaan dat het goedkoper is, juist omdat je precies de goede componenten bij elkaar kan zoeken voor jouw specifieke setup.

Even niets...


Acties:
  • 0 Henk 'm!

Verwijderd

Hij wilde juist iets hebben wat 'gewoon werkt'. Als je de centen hebt, kun je het dan inderdaad uitbesteden met support enzo. Maar dan trek je daar ook flink de portemonnee voor.

In zijn geval denk ik dat zelfbouw toch beter is, alleen dan goed serverspul kopen (SuperMicro). Dan hoef je toch weinig te rekenen op rare dingen die je dag verpesten en ben je vele malen goedkoper uit.

Het klinkt een beetje alsof hij enterprise-zekerheid wilt voor een thuisgebruikers-prijs; dat gaat natuurlijk niet lukken. ;)

Acties:
  • 0 Henk 'm!

  • Pol23
  • Registratie: Augustus 2007
  • Laatst online: 01-09 23:03
Dank voor de input!

@FireDrunk:
ik twijfel over zelfbouw omdat mijn kennis zich beperkt tot microsoft spul. Ik lees dat de beste ZFS ondersteunende OS'en linux based zijn en zie ook overal dat enige handigheid met de command line van pas kan komen. Ik ben niet bang om dit te leren maar als het te omzeilen is zou dat voor mij handig zijn.

@CiPHER:
Enterprise zekerheid in de componenten hoeft niet zo zeer. Als ooit een disk uitvalt, of zelfs de NAS zelf, zou de data nog in tact moeten zijn ongeacht het systeem (alhoewel een raid setup mogelijk niet meer toegankelijk wordt). Het gaat me om het file system.
Ik heb inderdaad al gezien dat die Netgear Readynas 104 niet echt fatsoenlijke specs heeft. Vandaar mijn twijfel.


@General:
Het verbaasd me echt dat er nog geen betaalbare, all in one storage oplossing is voor consumenten mét een betrouwbaar file system. Dat gaat dan dus toch zelfbouw worden...

Iemand verder nog ervaring met vraag 3? Hoe om te gaan met storage op mobiele apparaten?

Acties:
  • 0 Henk 'm!

  • sphere
  • Registratie: Juli 2003
  • Laatst online: 12-09 17:23

sphere

Debian abuser

Waar baseer je die verbazing op? Vraagt je moeder en je overbuurvrouw ook om zfs/btrfs NAS...? Zo lang de massa het niet als probleem ziet komt er niks.

Wel verbaast het me dat timecapsules van apple nog niet om zijn naar iets fatsoenlijks.

http://stackoverflow.com/questions/1732348/regex-match-open-tags-except-xhtml-self-contained-tags/1732454#1732454


Acties:
  • 0 Henk 'm!

  • Pol23
  • Registratie: Augustus 2007
  • Laatst online: 01-09 23:03
@sphere:
Dat ben ik niet helemaal met je eens. Er zijn genoeg voorbeelden van technieken/producten die door fabrikanten de markt in zijn geholpen. Aangezien een self healing file system werkelijk toegevoegde waarde levert (althans, dat lijkt mij) zou ik verwachten dat men dit al eerder zou introduceren al was het alleen maar voor de marketing. Dat klinkt toch niet zo gek?

Mocht je overigens een idee hebben hoe om te gaan met storage op mobiele apparaten dan hoor ik het heel graag!

Acties:
  • 0 Henk 'm!

  • FireDrunk
  • Registratie: November 2002
  • Laatst online: 12-09 17:56
De toegevoegde waarde heeft nog steeds een prijs. Redundant uitgevoerde fiber kaarten hebben vast ook een toegevoegde waarde. Wil niet zeggen dat het opweegt tegen de kosten / moeite.

Even niets...


Acties:
  • 0 Henk 'm!

  • Pol23
  • Registratie: Augustus 2007
  • Laatst online: 01-09 23:03
@FireDrunk:
Dat ben ik zeker met je eens

Acties:
  • 0 Henk 'm!

  • jacovn
  • Registratie: Augustus 2001
  • Laatst online: 26-08 18:36
Ik ben ook zonder bsd kennis met zfsguru van start gegaan.
De 1e install werkte meteen, en ik heb alleen moeten zoeken naar heel specifieke dingen zoals link bundeling (zat/zit ? Niet in de gui) en vergroten van file systeem buffers om 10GE werkend te krijgen.
Alle andere zaken kon ik of intuïtief vinden in de gui, of hier op tweakers.
Verder is het hier een geweldige community die je ook prima wil helpen met een goed gestelde vraag.

Supermicro moederbord, ecc geheugen,xeon E3 cpu, ibm m1015 controller, voeding van seasonics en alles loopt zonder issues.

8x330 NO12.5°, 8x330 ZW12.5°, 8x350 ZW60°, 8x325 NO10°, SE8K, P500. 6x410 ZW10° Enphase


Acties:
  • 0 Henk 'm!

Verwijderd

Mooi om te horen. Vooral omdat je zonder BSD-kennis dus toch een zelfbouw server hebt weten te bouwen en aan de praat gekregen; dat zie ik graag vaker gebeuren. 10 gigabit ethernet kan ik alleen nog maar van dromen; bij mijn vorige NAS-build vond ik het nog te prijzig. Ik had gehoopt dat 10GbE al flink goedkoper was geworden, zoals dat met gigabit ook gebeurde vrij snel na de introductie.

Acties:
  • 0 Henk 'm!

  • Pol23
  • Registratie: Augustus 2007
  • Laatst online: 01-09 23:03
@jacovn en CiPHER:
Zeker goed om te horen dat het zonder voorkennis is gelukt. Dat geeft de burger moed! Een zelfbouw systeem zal toch moeten dus dit is goed om te horen.
Ik zou zelf de NAS ook graag met 10GbE aan m'n PC hangen. Heb je ook ervaring met wireless toegang? Is het bijvoorbeeld op een laptop goed te doen om door dirs te browsen, foto's te bekijken, muziek/films streamen? Is N hier snel genoeg voor of is dual band noodzakelijk?

Ik vraag het toch nog 'n keertje: hoe om te gaan met storage op mobiele apparaten? Ik heb hier namelijk echt geen idee over dus alle tips of werkende setups zijn zeer welkom!

Acties:
  • 0 Henk 'm!

  • syl765
  • Registratie: Juni 2004
  • Laatst online: 12-09 14:47
Storage op mobiele apperaten is weer wat anders.
Je ontkomt er bijna niet aan om toch zelf iets te moeten installeren.
Of gewoon je mobiele apparaat aan een pc hangen en dan backuppen.

Een oplossing voor thuis kan zijn owncloud.

Acties:
  • 0 Henk 'm!

  • jacovn
  • Registratie: Augustus 2001
  • Laatst online: 26-08 18:36
Ik gebruik de nas voor Films opslag en streamen naar HDI Dune speler.
Een 1 GB aansluiting op het network voor streamen (wireless en wired mogelijk)
Een 10 GB verbinding point-to-point naar mijn PC om gedownloade films er sneller naar toe te krijgen.

Dat sneller limiteerd zich tot 2.5 x sneller dan 1 GE verbinding doordat mijn PC wat ouder is en het file systeem data gewoon langzaamer (1 TB hdd's in raid-5)

8x330 NO12.5°, 8x330 ZW12.5°, 8x350 ZW60°, 8x325 NO10°, SE8K, P500. 6x410 ZW10° Enphase


Acties:
  • 0 Henk 'm!

  • Pol23
  • Registratie: Augustus 2007
  • Laatst online: 01-09 23:03
Dank voor de reacties iedereen!

Ik had gehoopt dat er een meer gangbare oplossing zou zijn, werkend out of the box zeg maar. Het zal dus toch een zelfbouw NAS moeten worden waarbij ik mobiele apparaten dan een soort scheduled backup/sync oid laat maken. @syl765: Owncloud lijkt inderdaad een goede oplossing hiervoor, thx!
Pagina: 1