"Dataveiligheid"

[f.heinen]

Hoi

Ik zit met een vraagstuk waar ik eigenlijk niet echt goed uit kom en ook lastig antwoord op kan vinden.
Het kan zijn omdat het ook lastig te beantwoorden is.

Mijn punt is:
Ik heb een PC waarop ik waardevolle data wil opslaan. Zonder in veel details te treden want daar gaat het mij niet om, is het een systeem met een SSD disk voor de OS en 4 gelijke 2TB disk (plus nog wat andere hardware).
Ik wil kosten wat het kost mijn data welke ik er op ga zetten niet kwijt, bijvoorbeeld foto's en films van mijn gezin/vakanties etc.
Dat was ook het initiële idee achter de 4 disks. Laten we een RAID 5 set maken. Dat is lastig/niet mogelijk in Win7 en een Linux distro is weer slecht compatible met andere hardware dus dat is voor mij een nogo.

Maar toen kwam het vraagstuk, is RAID 5 (of 10) eigenlijk wel een oplossing en wat te doen tegen spannigspieken (bliksem inslag in de buurt) want daar is al 2 keer mijn moederbord deels of geheel door stuk gegaan.

Mijn vragen zijn dus:
1 - Hoe beveiligen jullie belangrijke data (en/of hoe zou het moeten)?
2 - RAID is geen backup maar een kopie van disk 1 naar disk 2 in de PC wel dan?
3 - Hoe gaan jullie om het risico van blikseminslag en andere risico's voor je PC?
4 - Is er een risico analyse waar de meeste mensen hun data aan verliezen? Want beveiligen tegen een risico dat 100x minder voorkomt dan een ander risico is zinloos. En een pseudo oplossing is ook zinloos.

[webfreakz.nl]

RAID5 is leuk als verhoging van de data integriteit totdat jij de belangrijke data gebackupped hebt naar een ander systeem.

Want daar gaat het om: "Een backup is alleen zo goed als het aantal kopieën dat je er van hebt."

Een NAS kopen en die plaatsen in een andere kamer van je huis en periodiek een backup actie vanaf je PC naar je NAS starten is ook een verbetering die je kan doen.

Een extra kopie buitenshuis bewaren is nog een verbetering die je kan doen. En op het internet bij een cloud storage provider opslagruimte huren is er nog een.

Die RAID5 set is niet het eindpunt van jouw zorgen. Het is echt maar iets tijdelijks

[ Voor 5% gewijzigd door webfreakz.nl op 19-02-2012 20:10 ]

[LeVortex]

f.heinen schreef op zondag 19 februari 2012 @ 20:03:
Hoi

Ik zit met een vraagstuk waar ik eigenlijk niet echt goed uit kom en ook lastig antwoord op kan vinden.
Het kan zijn omdat het ook lastig te beantwoorden is.

Mijn punt is:
Ik heb een PC waarop ik waardevolle data wil opslaan. Zonder in veel details te treden want daar gaat het mij niet om, is het een systeem met een SSD disk voor de OS en 4 gelijke 2TB disk (plus nog wat andere hardware).
Ik wil kosten wat het kost mijn data welke ik er op ga zetten niet kwijt, bijvoorbeeld foto's en films van mijn gezin/vakanties etc.
Dat was ook het initiële idee achter de 4 disks. Laten we een RAID 5 set maken. Dat is lastig/niet mogelijk in Win7 en een Linux distro is weer slecht compatible met andere hardware dus dat is voor mij een nogo.

Maar toen kwam het vraagstuk, is RAID 5 (of 10) eigenlijk wel een oplossing en wat te doen tegen spannigspieken (bliksem inslag in de buurt) want daar is al 2 keer mijn moederbord deels of geheel door stuk gegaan.

Mijn vragen zijn dus:
1 - Hoe beveiligen jullie belangrijke data (en/of hoe zou het moeten)?
2 - RAID is geen backup maar een kopie van disk 1 naar disk 2 in de PC wel dan?
3 - Hoe gaan jullie om het risico van blikseminslag en andere risico's voor je PC?
4 - Is er een risico analyse waar de meeste mensen hun data aan verliezen? Want beveiligen tegen een risico dat 100x minder voorkomt dan een ander risico is zinloos. En een pseudo oplossing is ook zinloos.

Nou eigenlijk zeg je het al zelf dat raid geen backup is. Sterker nog je data op 1 pc zetten ook al gebeurd het doormiddel van een kopie en dus geen raid noem ik geen backup.

Een backup zit in mijn ogen namelijk niet in het stopcontact. Dus een externe schijf die je iedere dag/ iedere week/ iedere maand (afhankelijk van hoe belangrijk het is dat er iets kwijt raakt en hoevaak je data veranderd). Of een online backup, dan zit je niet met het risico van brand of diefstal van de harde schijf en computer.

Mijn documenten staan bijvoorbeeld op dropbox, lokaal, usb stick en skydrive. Het ligt er ook een beetje aan hoeveel ruimte je nodig hebt, anders gaat het aardig in de papieren lopen.

[3DDude]

Mijn vragen zijn dus:
1 - Hoe beveiligen jullie belangrijke data (en/of hoe zou het moeten)?
2 - RAID is geen backup maar een kopie van disk 1 naar disk 2 in de PC wel dan?
3 - Hoe gaan jullie om het risico van blikseminslag en andere risico's voor je PC?
4 - Is er een risico analyse waar de meeste mensen hun data aan verliezen? Want beveiligen tegen een risico dat 100x minder voorkomt dan een ander risico is zinloos. En een pseudo oplossing is ook zinloos.

1. Ik zelf niet
2. Neen want stel je pc wordt getroffen door de bliksem is nog steeds alles weg. of zet de pc in de fik.

-> ik zou een NAS regelen en daar een exacte copy van de data op gooien als ik persee data veilig wou stellen.

3. Zoek even naar een beveiligd stekkerblok (dat heb ik wel) welke de piek spanningen en dergelijke opvangt of een UPS-systeem (zo'n batterij ding) vangt ook de pieken en dalen van het stroomnet op.
Ikzelf heb een beveiligd stekkerblok van het merk APC, Surge nogwat

4. bedoel je nu data beveiligen van security of data beveiligen van veilig stellen?


Opslaan op 2 locaties is het best. Kans dat alles door de bliksem wordt getroffen is niet groot + op de 2 locaties een beveiligd stekkerblok of een UPS (batterij die het kan overnemen als de stroom uitvalt) is je het beste paard om te wedden.

Wat een kennis van mij doet is eens in de week een copy op een externe hdd zetten van zijn data. --> deze externe hdd geeft hij aan een vriend van hem en die stopt hem in zijn kluis.. kan je ook nog overwegen

[stftweaker]

Belangrijk is: om hoeveel gig data gaat het? En hoe snel is je internet verbinding. Als je dan toch zeg "kosten wat het kost" dan zou ik gaan voor nas en dan de nas back-up hem naar offside "server"/cloud

[bekertje]

Ik weet niet of het mogelijk is met alle NASen, maar misschien 2 Nasjes ('s nachts) laten repliceren? Je zet er 1 thuis en 1 van bij (schoon)ouders. Als je huis in de fik vliegt, heb je je data nog bij je (schoon)ouders staan. Dan is het wel handig als je (schoon)ouders niet naast je wonen, anders kan hun huis samen met die van jou in de brand staan.

En natuurlijk kan je beveiligen, maar hoe veilig wil je het hebben. Simpel wachtwoordje op je word-documenten, of beveiligen met certificaten om maar wat te noemen.

[gambieter]

@TS, dit wordt meer in dit topicdeel behandeld: Opslagmedia & I/O Controllers

Zie vooral:
Thematopic: Backups
RAID FAQ
en ook Thematopic: Datarecovery als het mis gaat

Bottomline: RAID is geen backup en vervangt ook geen opslag op alternatieve media op alternatieve locaties.

[f.heinen]

Wauw wat een hoop reacties! Ik lees het al.

Ik denk dat ik voor het volgende ga:
1 - "Bliksembeveiliging" d.m.v. een beveiligde stekkerdoos
2 - "In-PC" backup (dagelijks) d.m.v. sync/backup applicatie
3 - Online backup zoals een Livedrive o.i.d.

Totale kosten zijn dan een € 300,- voor 3 jaar = 8 euro per maand
En dan heb je 2 TB online (wat voor de belangrijkste content voldoende moet zijn.

Dat is zeker het overwegen waard.

Thanks voor alle input!

[Johnny]

f.heinen schreef op zondag 19 februari 2012 @ 20:43:
Wauw wat een hoop reacties! Ik lees het al.

Ik denk dat ik voor het volgende ga:
1 - "Bliksembeveiliging" d.m.v. een beveiligde stekkerdoos

De meeste overspanningsbeveiligingen beschermen niet (goed) tegen blikseminslag. Ze zijn bedoeld voor pieken in het net, maar die komen hier in Nederlands nauwelijks voor. Bij een blikseminslag die dichtbij is gaat er dwars doorheen voordat de beveiliging zijn werk kan doen.

2 - "In-PC" backup (dagelijks) d.m.v. sync/backup applicatie

In de PC is geen backup, een virus, hacker, bug, defect of foutje kan alsnog alles permanent verwijderen. Je moet het minimaal op een externe schijf doen, en deze ook fysiek loskopelen/uitschakelen.

3 - Online backup zoals een Livedrive o.i.d.

Dat is een goed idee, maar dan wel in combinatie met een offline backup in eigen beheer.

[gambieter]

Johnny schreef op zondag 19 februari 2012 @ 23:23:
Dat is een goed idee, maar dan wel in combinatie met een offline backup in eigen beheer.

Het belang van een dergelijke backup kan inderdaad niet onderschat worden. En ook die backups moet je van tijd tot tijd testen, ook die schijven kunnen kapot gaan.

Bij een dergelijke backup is trouwens encryptie wel te overwegen voor de wat meer privacy-gevoelige informatie.

[SaN]

Voor foto's kan ik Picasa van Google aanraden. Ik heb een week geleden een account gemaakt met 20GB storage voor $6,-. Het programma werkt erg fijn (met eventueel automatische backups) en ook de online interface is zeer netjes. Ook de app voor Android zit fijn in elkaar waardoor je overal beschikking hebt over al je foto's.

Naast foto's heb ik niet erg veel bestanden die het waard zijn om een echte backup van te maken. Ik heb nog wat op skydrive staan.

[ Voor 11% gewijzigd door SaN op 19-02-2012 23:33 ]

[Rupie]

Volgens mij gaat dit meer om de hardwarekant dan om de software kant. Vandaar een move naar Opslagmedia & I/O Controllers

[Pixeltje]

f.heinen schreef op zondag 19 februari 2012 @ 20:43:
Wauw wat een hoop reacties! Ik lees het al.

Ik denk dat ik voor het volgende ga:
1 - "Bliksembeveiliging" d.m.v. een beveiligde stekkerdoos
2 - "In-PC" backup (dagelijks) d.m.v. sync/backup applicatie
3 - Online backup zoals een Livedrive o.i.d.

Totale kosten zijn dan een € 300,- voor 3 jaar = 8 euro per maand
En dan heb je 2 TB online (wat voor de belangrijkste content voldoende moet zijn.

Dat is zeker het overwegen waard.

Thanks voor alle input!

Wat ik zelf doe;
1) data op laptop staat op andere schijf dan OS
2) Elk uur backup (TimeMachine) naar NAS (Raid 5)
3) Elke week een backup van de belangrijke docs naar een externe USB schijf die daarna weer uit gaat
4) Elke week een backup van de belangrijkste docs naar de NAS (op een ander volume dan de TM)

Nadeel: Alle media in hetzelfde huis. Voordeel; altijd alles bij de hand.

Ik ben nu aan het overwegen om een NAS bij mijn ouders neer te zetten, levert twee voordelen op:
1) Zij krijgen lokaal extra storage
2) NAS systemen kunnen 's nachts backuppen naar elkaar (Rsynch geloof ik?)

NAS kost wat geld, maar die 300 euro cloudopslag waar je het over hebt is ook niet goedkoop en moet je elk jaar betalen, deze NAS is een eenmalige investering. Met Raid 5 probeer je die NAS zo redundant mogelijk te maken (evt Raid 6 maar kost veel ruimte met maar 4 schijven).
Wil je naast veel back-ups ook integriteit? dan ZFS op je NAS (daar ben ik nu mee bezig).

Wel een interessant vraagstuk, want wat is nu echt veilig? Als bij mij nu de tent afbrand ben ik alles kwijt, aan de andere kant, hoe groot is die kans en wat heb je ervoor over om het risico te minimaliseren?

[ Voor 6% gewijzigd door Pixeltje op 20-02-2012 09:07 ]

[Ultraman]

Als je er tenminste zeker van wilt zijn dat je data kwijt raakt, moet je vooral RAID5 gebruiken zonder er nog een backup naast te hebben.
RAID5 met dergelijke grote schijven is onverstandig. Alleen al in het simpelste geval van dat er 1 disk uit klapt of anderzijds defect raakt: dan heb je geen redundantie meer.
Zodra je dan die defecte schijf vervangt, of een hot spare hebt, moeten de andere disken hard gaan werken om er weer een compleet geheel van te maken. Als je 2TB disken hebt duurt het met gemak een halve dag of meer voordat je weer redundant bent. Tijdens die procedure jaag je je de andere disken flink op en verhoogt de kans dat een van die drie ook uitvalt sterk. Gevolg: Array broken, data weg.

Voor disken tot 1TB is RAID5 nog wel te doen, maar daar boven wil je er niet aan beginnen als het je om databehoud te doen is. Ga dan voor ten minste RAID6, maar mijn voorkeur ligt bij een veel simpelere vorm: mirroring (RAID1). Combineer dat met een offsite backup, dan dek je jezelf al heel aardig in.

Mirroring is mooi omdat het zo eenvoudig is. Gewoon een kopie, niet meer niet minder.
En als een enkele mirror te klein is kun je striped mirroring doen (RAID10). Dan krijg je een groot volume opgebouwd uit mirror sets.
Klapt er dan een disk? Dan hoef je maar 1 disk de stress in te jagen, wat al een kleinere kans van uitval heeft dan 3 disks. En als dat nog steeds eng is zijn er technieken die triple way (of meer) mirrors toestaan, o.a. ZFS kan dat.
Bijkomend voordeel is dat je een disk uit een mirror set vaak zonder problemen kunt gebruiken in een willekeurige andere PC, zolang het filesystem maar ondersteunt wordt. Met RAID5 is dat andere koek.


Hoe mijn data protectie er uit ziet:
Ik zie drie niveau's als het op mijn data aan komt:
Prioriteit 1: Belangrijk; ten minste dubbele backup waarvan minstens 1 offsite
Priotiteit 2: Normaal; ten minste een enkele backup, bij voorkeur offsite.
Prioriteit 3: Fijn om te hebben, maar verlies ik geen slaap over als ik het kwijt ben.
(Prioriteit 4: ontplof maar, jammer dan)

Offsite: Mijn server, welke bij mijn ouders thuis staat.

Wat valt voor mij onder welk niveau:
1. Bestanden van mijn studie. Al ontploft hier het huis en verlies ik PC, laptop en USB disk/sticks. Dan staat er nog een kopie off-site op mijn server. Er bestaat synchronisatie tussen machine waar ik op werk en mijn server. Elk vak is een eigen git repository. Ik werk aan een vak op mijn laptop als ik in de universiteit ben. Sla daar mijn werk op op de laptop in de lokale git repository. Bij elke belangrijke/significante wijziging of ongeveer om het uur push ik mijn werk offsite. Zodra ik thuis kom probeer ik mijn USB disk aan mijn laptop te hangen, welke na inpluggen automatisch een backup script start welke mijn complete /home/stefan directory, excl. enkel directories (geen downloads of tmp dirs), synchroniseert met die disk.
Zodra ik een keer studeer aan mijn normale PC synchroniseer ik die ook, omdat ik voordat ik begin natuurlijk de meest recente wijzigingen binnen trek vanaf mijn server of de USB disk (mocht internet falen).

2. Hieronder valt de meeste data in mijn geval. Documenten, Foto's, configuratiefiles, en als het kan ook lopende knutselprojectjes en stiekem ook muziek. De eerste drie worden van mij naar de server gesynchroniseerd (hoewel deze replicatie op moment nog op zijn gat ligt, want ik heb mijn server pas geupgrade en geherinstalleerd, dus nog even mijn scripts bijwerken...). Knutselprojectjes probeer ik dat ook mee te doen, maar die wordt niet automatisch mee gepakt omdat daar de data en ook diens hoeveelheid erg uiteenloopt, die gaan handmatig.
Voor muziek is de synchronisatie van server naar mijn bak, omdat het op de server gedownload wordt. Die data is minder belangrijk dan documenten of foto's, maar er zit wel tijd in het verzamelen en alles netjes taggen. Voor muziek ben ik aan het kijken wat ik kan doen om het intelligenter of two-way sync te maken. Ik heb naar Unison gekeken, maar mja mja... dat heeft me toch niet zo kunnen bekoren. Ik wil binnenkort eens gaan experimenteren met git-annex om te kijken of dat iets voor me kan betekenen hier.

3. Video's, ISO, ebooks. Deze data staat op mijn server, zowel eigen rips/ebooks als wat gedownload materiaal. Deze staan op een ZFS striped mirror op mijn server en die probeer ik natuurlijk ten alle tijden in de lucht te houden. Ontploft de server, dan ben ik dit mogelijk kwijt. Echter is dit data die wel fijn is om te hebben, maar ik lijd er niet onder als het weg is. Het merendeel is allemaal terug te krijgen indien ik dat zou willen.

(4. Data die op schijf staat maar die niet belangrijk is en mogelijk nog verwijderd moet worden. Bijvoorbeeld verse downloads die in de ~/download staan.)

2 - RAID is geen backup maar een kopie van disk 1 naar disk 2 in de PC wel dan?

Zo'n kopie is meer backup dan RAID1 (mirror) dat is in ieder geval. Als jij iets verwijderd van een volume welke onderhuis een RAID1 is, dan is die data ook daadwerkelijk verwijderd (of de pointer er naar toe in ieder geval ).
Als jij een losse disk hebt waar je regelmatig, zeg ff dagelijks, een backup naar wegschrijft, dan kan daar nog een kopie op die losse disk staan.
Je moet het onderscheid maken tussen redundantie (RAID) en backups.
Redundantie houdt in dat je geen hinder hoeft te ondervinden van een defect onderdeel. Het systeem blijft gewoon beschikbaar en bruikbaar.
Backups zijn kopieën van data. Mocht het "origineel" van de aardbodem verdwijnen, dan ben je de data niet kwijt. Sterft de harddisk waar je OS op staat, dan zul je tijd moeten investeren om je systeem weer werkend te krijgen. Echter heb je nog wel een kopie van je data, dus die ben je gelukkig niet kwijt (mits disk OK en geen rare handelingen uitgevoerd op die disk).

Die losse schijf in je PC kan echter wel op zijn donder krijgen als de voeding van de PC ontploft, stroompiek, etc. En een virus infectie kan ook zijn weg naar die disk vinden omdat deze actief in je PC zit. Of je moet hem als read-only mounten en enkel read/write maken op het moment dat er een backup operatie plaatsvind.

4 - Is er een risico analyse waar de meeste mensen hun data aan verliezen? Want beveiligen tegen een risico dat 100x minder voorkomt dan een ander risico is zinloos. En een pseudo oplossing is ook zinloos.

Geen idee, maar meeste wat je meemaakt waarbij ik mensen in (lichte) paniek zie is een defecte laptop/harddisk of de software/OS gesloopt is waardoor ze er in ieder geval niet meer op de normale manier bij kunnen. Waarop ik natuurlijk de vraag stel: maar je hebt het toch ook op je USB stick gezet?
En het antwoord is steevast: 'Nou... *en dan weet ik al genoeg* dat had ik nog niet gedaan' of 'Ben ik vergeten.'

Ik ben in enkele van zulke situaties wel eens ingeschakeld op te kijken of ik de data terug kon halen. En zolang het geen defecte harddisk betrof is me dat eigenlijk altijd wel gelukt. Maar ik laat ze wel zweten en geef nogmaals alle tips om dit in de toekomst te voorkomen.

[RemcoDelft]

webfreakz.nl schreef op zondag 19 februari 2012 @ 20:09:
Want daar gaat het om: "Een backup is alleen zo goed als het aantal kopieën dat je er van hebt."

^^ Dat

Verder lijkt het me dat je onderscheid moet maken tussen het belang van je data onderling: aan familiefoto's heb je geen 8 TB neem ik aan. Ik maak van 90% van mijn data geen backups, omdat 90% vervangbaar is.
De resterende 10% is uniek en daar maak ik dus wel backups van.

[Matthijs B]

Ik gebruik hiervoor backblaze. Unlimited backup ruimte voor 55 dollar per jaar. Grote backups duren afhankelijk van je verbinding misschien lang maar je hoeft er zelf ineens helemaal niet meer mee bezig te zijn

[Gé Brander]

Elk Windows Live account heeft 25GB gratis data opslag. Daar kan je je belangrijkste data plaatsen.

[Admiral Freebee]

Ik doe het "eenvoudig" door gewoon af en toe een externe harde schijf te updaten en bij mijn vader te plaatsen. De belangrijkste data bestaat voor mij uit foto's. Ik laat ze gewoon op het SD kaartje staan zolang die foto's nog niet bij mijn vader staan. Verder maak ik ook een backup naar een externe harde schijf naast de PC.

[Pixeltje]

Ultraman schreef op maandag 20 februari 2012 @ 11:00:
Als je er tenminste zeker van wilt zijn dat je data kwijt raakt, moet je vooral RAID5 gebruiken zonder er nog een backup naast te hebben.
RAID5 met dergelijke grote schijven is onverstandig. Alleen al in het simpelste geval van dat er 1 disk uit klapt of anderzijds defect raakt: dan heb je geen redundantie meer.
Zodra je dan die defecte schijf vervangt, of een hot spare hebt, moeten de andere disken hard gaan werken om er weer een compleet geheel van te maken. Als je 2TB disken hebt duurt het met gemak een halve dag of meer voordat je weer redundant bent. Tijdens die procedure jaag je je de andere disken flink op en verhoogt de kans dat een van die drie ook uitvalt sterk. Gevolg: Array broken, data weg.

(knip)

Dat is dus de reden dat ik mijn belangrijkste data nog backup naar een derde medium. Als mijn array uit elkaar flikkert ben ik een backup (en data die vervangbaar is) kwijt, maar staan de originele bestanden nog op mijn laptop én een externe schijf.

Hoe je het ook bekijkt; er is altijd een scenario waarin je alle data kwijt kunt raken, je moet jezelf alleen afvragen hoe groot die kans is. In mijn geval kunnen er twee van de drie apparaten stukgaan en heb ik de belangrijke data nog. Ook bij een raid 5 array als backup kun je je afvragen hoe groot de kans is dat een van je andere schijven stukgaat bij het rebuilden. Ja het kan, maar hoe waarschijnlijk is het?

[redfoxert]

Pixeltje schreef op maandag 20 februari 2012 @ 12:07:
[...]
Ook bij een raid 5 array als backup kun je je afvragen hoe groot de kans is dat een van je andere schijven stukgaat bij het rebuilden. Ja het kan, maar hoe waarschijnlijk is het?

Waarschijnlijker dan je denkt. De read-error rate van de huidige disken (2TB) is 1 op 10^16 of 10^17 en dat is vrijwel gelijk aan het totaal aantal bits die er op je disk geschreven kunnen worden. Dus bij een full rebuild heb je in principe gegarandeerd al minstens 1 read error op een van je disken die het rebuilden kunnen verstoren en je array definitief kunnen doen overlijden.

Dus ... laat je kansberekeningen er maar eens op los. Ik neem persoonlijk zelf het risico niet

http://www.servethehome.c...-anthology-part-1-primer/ Mooi stukje leesvoer hiervoor

[ Voor 6% gewijzigd door redfoxert op 20-02-2012 12:16 ]

[Pixeltje]

redfoxert schreef op maandag 20 februari 2012 @ 12:15:
[...]


Waarschijnlijker dan je denkt. De read-error rate van de huidige disken (2TB) is 1 op 10^16 of 10^17 en dat is vrijwel gelijk aan het totaal aantal bits die er op je disk geschreven kunnen worden. Dus bij een full rebuild heb je in principe gegarandeerd al minstens 1 read error op een van je disken die het rebuilden kunnen verstoren en je array definitief kunnen doen overlijden.

Dus ... laat je kansberekeningen er maar eens op los. Ik neem persoonlijk zelf het risico niet

http://www.servethehome.c...-anthology-part-1-primer/ Mooi stukje leesvoer hiervoor

Leuke link inderdaad. Jammer dat ze raidz niet hebben meegenomen.. (is ZFS alternatief op raid5)
Maar je hebt gelijk, een "minimale" kans van 10% dat je array sterft is erg groot.

[redfoxert]

Pixeltje schreef op maandag 20 februari 2012 @ 12:23:
[...]


Leuke link inderdaad. Jammer dat ze raidz niet hebben meegenomen.. (is ZFS alternatief op raid5)
Maar je hebt gelijk, een "minimale" kans van 10% dat je array sterft is erg groot.

RAID-Z3 staat er gewoon tussen

[Ultraman]

RemcoDelft schreef op maandag 20 februari 2012 @ 11:02:
Verder lijkt het me dat je onderscheid moet maken tussen het belang van je data onderling: aan familiefoto's heb je geen 8 TB neem ik aan. Ik maak van 90% van mijn data geen backups, omdat 90% vervangbaar is.
De resterende 10% is uniek en daar maak ik dus wel backups van.

Voor mij geldt ook dat 75 a 80% van de data op mijn server in mijn categorie 3 hoort: Leuk om te hebben zolang er plek voor is, maar er worden niet actief backups van gemaakt. En ik het geld er niet voor over heb om ook nog daarvoor in backup te voorzien. Dat is een typische "thuisgebruiker"-constraint.

Pixeltje schreef op maandag 20 februari 2012 @ 12:07:
Dat is dus de reden dat ik mijn belangrijkste data nog backup naar een derde medium. Als mijn array uit elkaar flikkert ben ik een backup (en data die vervangbaar is) kwijt, maar staan de originele bestanden nog op mijn laptop én een externe schijf.

Drie kopieën is een stuk beter dan maar twee inderdaad. Als er één van je kopieën verdwijnt ben je nog steeds redundant. En voor belangrijke data wil je nooit hoeven vertrouwen op een enkele bron.

Hoe je het ook bekijkt; er is altijd een scenario waarin je alle data kwijt kunt raken, je moet jezelf alleen afvragen hoe groot die kans is. In mijn geval kunnen er twee van de drie apparaten stukgaan en heb ik de belangrijke data nog.

Het is een spel van kansen, of in andere woorden: het verlagen van het risico dat je data kwijt raakt. Het is 100% zeker dat een disk ooit sterft, wat zeg ik; dat elk component sterft.
Je bent dus eigenlijk bezig met het behouden van data voor een zo laag mogelijke 'upkeep' (kosten), en het vinden van jouw persoonlijke sweetspot tussen risico en kosten/tijd.

Ook bij een raid 5 array als backup kun je je afvragen hoe groot de kans is dat een van je andere schijven stukgaat bij het rebuilden. Ja het kan, maar hoe waarschijnlijk is het?

Ik zie dat redfoxert in ""Data veiligheid"" hier al op in gaat:

Waarschijnlijker dan je denkt.

Daar ben ik het mee eens.
Daarom gaf ik al aan, dat vanaf 1TB je geen RAID5 meer wilt doen als je data je lief is. De rebuild tijd wordt steeds groter. De kans dat een disk er tijdens een rebuild echt defect van raakt valt denk ik ook wel mee. Echter is de kans op een leesfout een stuk groter, Bit Rot is hiervoor de Engelse benaming.
Dit heeft weer te maken met de Bit Error Rate (BER) van een disk, en het feit dat deze vrijwel gelijk is gebleven door de jaren heen terwijl de capaciteit toenam. Een disk van 2TB hoef je minder vaak te lezen voordat je een keer een omgevallen bit (URE: Unrecoverable Read Error) tegenkomt dan een 320GB schijf, puur vanwege het simpele feit dat er minder bits op die 320GB disk zijn die om kunnen vallen.

Ik wil hier niet diep op ingaan in deze draad om twee redenen:
1. Dit is al uitvoerig besproken in andere topics en er is veel over te vinden op het web, de link die redfoxert geeft is al gelijk een mooie bron.
2. Dat wordt een erg technisch verhaal, waardoor het topic mogelijk flink gaat uitwijken in een richting waar de TS niet om vroeg. Namelijk discussies over consumenten vs enterprise disks, BER, en checksumming filesystems zoals ZFS (zie Het grote ZFS topic) en de nog onvolwassen BtrFS (Linux) en ReFS (Microsoft).

Pixeltje schreef op maandag 20 februari 2012 @ 12:23:
Leuke link inderdaad. Jammer dat ze raidz niet hebben meegenomen.. (is ZFS alternatief op raid5)
Maar je hebt gelijk, een "minimale" kans van 10% dat je array sterft is erg groot.

RAIDZ los meenemen heeft toch weinig zin? Er wordt immers al RAID5 besproken en daar gelden dezelfde "problemen" voor.
ZFS heeft als voordeel dat ze bit errors kan detecteren, en, indien er redundantie aanwezig is, ook kan repareren. Terwijl je bij conventionele RAID5 in ongewisse blijft over de staat van de data.
Zodra een member van een RAID5 of RAIDZ wegvalt is er géén redundantie meer en kan ook ZFS bit errors niet corrigeren omdat er geen correcte kopie van die data meer aanwezig is in de pool. Die data ben je dan dus gewoon kwijt.
En zo is RAIDZ2 vergelijkbaar met RAID6.

[ Voor 10% gewijzigd door Ultraman op 20-02-2012 13:02 ]

[Twister336]

Een backup die je thuis bewaart kun je best in een brandkoffer steken. Die heb je al voor 50 euro.
Hier is een voorbeeld: YouTube: SentrySafe 2460 Test
De meeste koffers zijn wel maar brandvrij voor een half uur. Ik heb eigenlijk geen idee of dat lang genoeg is om een huisbrand te overleven.
Ideaal is een backup ook niet elektronisch. In minder dan een milliseconde kun je ettelijke terrabytes kwijt raken door gewoon een externe HDD aan te sluiten aan een problematische USB poort.
Daarvoor vind ik het eigenlijk jammer dat optische schijven nog nauwelijks worden gebruikt of vernieuwd.

[Pixeltje]

Twister336 schreef op maandag 20 februari 2012 @ 13:30:
Een backup die je thuis bewaart kun je best in een brandkoffer steken. Die heb je al voor 50 euro.
Hier is een voorbeeld: YouTube: SentrySafe 2460 Test
De meeste koffers zijn wel maar brandvrij voor een half uur. Ik heb eigenlijk geen idee of dat lang genoeg is om een huisbrand te overleven.
Ideaal is een backup ook niet elektronisch. In minder dan een milliseconde kun je ettelijke terrabytes kwijt raken door gewoon een externe HDD aan te sluiten aan een problematische USB poort.
Daarvoor vind ik het eigenlijk jammer dat optische schijven nog nauwelijks worden gebruikt of vernieuwd.

Ook aan de houdbaarheidsdatum van optische schijven zit een beperking..

Bron 1
Bron 2

[f.heinen]

Resume:
1 - Offsite opslag is een must om een (aanzienlijke) garantie voor een backup te hebben. Eigenbeheer wordt veelal gebruikt maar online opslag bij een externe partij is ook een goed alternatief.
2 - RAID is geen (echte) optie bij zulke schijven. Redundantie wordt vergroot maar er zijn redelijke risico's dat een rebuild ook verkeerd kan gaan.
3 - Bliksembeveiliging is eigenlijk niet mogelijk. Lichte pieken kun je filteren maar anders heb je een grof filter nodig en een fijn filter en dan heb je nog geen garanties. Sowieso niet bij directe inslag.
4 - Backup inhouse is het beste om een brandbeveiliging te nemen, daar een externe disk in te plaatsen en die elke keer naar een backup los te koppelen en regelmatig te controlleren*

* naar mijn mening geen optie. Laten we eerlijk zijn, ik ga niet elke keer hier aan denken (en ik denk velen met mij).

Mijn conclusie tot zover:
I - Categoriseer je data goed en bepaal de waarde ervan
II - Backup de belangrijkste data zowel offsite als op losse media (waarvan de losse media encrypted moet zijn en offsite bewaard moet worden)
III - Backup de minder belangrijke data op een andere schijf inhouse (welke liefst losgekoppeld wordt na elke backup)
IV - Maak van de "for fun" data geen backup.

Welke van de opties sneuvelen hangt af van ieders budget en inzet.

Gezien in naar ik schat een 2TB aan belangrijke data heb en een 50mB fiber lijn ga ik sowieso voor de online backup (omdat dit makkelijk is, een grote mate van veiligheid geeft, en ik geen gezeur heb met het inrichten en online houden ervan) en voor een inhouse backup. Denk dat deze schijf wel in de PC blijft zitten want ik ken mijzelf, leuk idee dat loskoppelen van een externe disk maar doe ik toch niet...

Dan is het risico dat je huis afbrand of je een zware bliksem inslag hebt afgedekt door je online backup een de minder belangrijke data ben je dan kwijt. En met een kapotte schijf heb je alleen de "for fun data niet meer als je pech hebt (dat net die schijf stuk gaat).

[Ultraman]

f.heinen schreef op maandag 20 februari 2012 @ 15:24:
Resume:
1 - Offsite opslag is een must om een (aanzienlijke) garantie voor een backup te hebben. Eigenbeheer wordt veelal gebruikt maar online opslag bij een externe partij is ook een goed alternatief.

2 - RAID is geen (echte) optie bij zulke schijven. Redundantie wordt vergroot maar er zijn redelijke risico's dat een rebuild ook verkeerd kan gaan.

Geen optie... geen optie... in de algemene zin geldt nog steeds: "RAID is geen backup." dat wel. Maar RAID kan er wel voor zorgen dat je geen downtime hebt of voorkomen dat je terug moet grijpen naar je backups.

3 - Bliksembeveiliging is eigenlijk niet mogelijk. Lichte pieken kun je filteren maar anders heb je een grof filter nodig en een fijn filter en dan heb je nog geen garanties. Sowieso niet bij directe inslag.

Dat is een lastig ja. Zelf nog nooit last gehad van blikseminslag of defect hardware, voor zover ik weet, door stroompieken/dalen. Ik maak gebruik van een stekkerblok welke piekspanningen op kan vangen en gebruik A-merk voedingen met ruim voldoende hoofdruimte qua maximum vermogen.

4 - Backup inhouse is het beste om een brandbeveiliging te nemen, daar een externe disk in te plaatsen en die elke keer naar een backup los te koppelen en regelmatig te controlleren*

* naar mijn mening geen optie. Laten we eerlijk zijn, ik ga niet elke keer hier aan denken (en ik denk velen met mij).

Zelfs zonder brandbeveiliging is het een optie, mits je voorziet in offsite backups. Er aan denken is een kwestie van aanleren of automatiseren (popup: backups! op je scherm, om maar iets te noemen). Maar ik begrijp dat een interne disk fijner is.

Mijn conclusie tot zover:
I - Categoriseer je data goed en bepaal de waarde ervan
II - Backup de belangrijkste data zowel offsite als op losse media (waarvan de losse media encrypted moet zijn en offsite bewaard moet worden)

Volledig eens.

III - Backup de minder belangrijke data op een andere schijf inhouse (welke liefst losgekoppeld wordt na elke backup)

Als je het kan off-siten is dat natuurlijk super, maar dat hangt af van kosten/baten en wat je mogelijkheden zijn. Prima verder.

IV - Maak van de "for fun" data geen backup.

Is wat ik ook doe, enkel redundantie uitgevoerd.

Welke van de opties sneuvelen hangt af van ieders budget en inzet.

Gezien in naar ik schat een 2TB aan belangrijke data heb en een 50mB fiber lijn ga ik sowieso voor de online backup (omdat dit makkelijk is, een grote mate van veiligheid geeft, en ik geen gezeur heb met het inrichten en online houden ervan) en voor een inhouse backup. Denk dat deze schijf wel in de PC blijft zitten want ik ken mijzelf, leuk idee dat loskoppelen van een externe disk maar doe ik toch niet...

Dan is het risico dat je huis afbrand of je een zware bliksem inslag hebt afgedekt door je online backup een de minder belangrijke data ben je dan kwijt. En met een kapotte schijf heb je alleen de "for fun data niet meer als je pech hebt (dat net die schijf stuk gaat).

Keuze voor offsite backup is uitstekend en zo te zien heb je ook aan je privacy gedacht door encryptie toe te passen.

[Verwijderd]

redfoxert schreef op maandag 20 februari 2012 @ 12:15:
Waarschijnlijker dan je denkt. De read-error rate van de huidige disken (2TB) is 1 op 10^16 of 10^17

Hoe kom je hierbij? Consumentenschijven zitten op 10^-14 en dat is een factor 1000 tot 10.000 slechter dan jij aangeeft.

Ultraman schreef op maandag 20 februari 2012 @ 12:46:
[...]
RAIDZ los meenemen heeft toch weinig zin? Er wordt immers al RAID5 besproken en daar gelden dezelfde "problemen" voor.

Niet helemaal:
1) ZFS gebruikt redundante metadata; als een URE zich voordoet in metadata in een RAID0 array wordt deze gewoon gecorrigeerd; alle ZFS pools zijn dus semi-redundant. Ook RAID0 pools met 20 disks. Hier houdt STH geen rekening mee in hun berekening.
2) ZFS rebuild alleen data; geen blocks. Dus als de disks voor de helft gevuld zijn wordt ook maar de helft gerebuild. Je rebuild times zijn dus sneller, daar houdt STH ook geen rekening mee.
3) Traditioneel RAID en filesystems gaan slecht om met URE's welke veel vaker voorkomen dan keihard gefaalde disks die helemaal niets meer doen. De vraag is hoe je dáár mee omgaat en een RAID1 mirror is ondanks zijn 50% redundancy niet optimaal geschikt; een RAID-Z2 is dan beter.

f.heinen schreef op maandag 20 februari 2012 @ 15:24:
Resume:
2 - RAID is geen (echte) optie bij zulke schijven. Redundantie wordt vergroot maar er zijn redelijke risico's dat een rebuild ook verkeerd kan gaan.

Zonder RAID geen veiligheid voor je data. Backups is leuk; maar die lopen achter op je data. Helemaal geen enkele bescherming hebben voor data die je belangrijk vindt lijkt me geen goed advies.

En ik denk dat deze hele discussie omslachtig gevoerd wordt. Ik denk zo:
1) maak een schatting hoe belangrijk je data is en hoeveel moeite/geld/energie je daar in wilt steken om die een goede onderkomen te geven
2) bouw je backups/RAID/whatever en test het goed uit, zodat je weet hoe het werkt in geval van een URE of disk failure.
3) onderhoud je storage goed inclusief backups

In veel van deze stappen is het zeer wenselijk zo niet cruciaal dat je aan de hand van checksums kunt zien of je data nog intact is. Zonder checksums weet je niet of je data nog goed is. Je kunt er dan later achterkomen dat je data beschadigd is. Dan kun je wel backups maken, maar als je je oude goede backup overschrjift met een backup waarvan een paar bestanden al corrupt zijn, dan snap je dat je data security helemaal niet zo goed geregeld is. Het detecteren van corruptie komt dus op plaats 1, dat ZFS de corruptie automatisch fixt is een mooie bonus, maar zou ik als minder belangrijk inschalen dan de detectie van corruptie.