Beste backup medium

[Verwijderd]

Ik heb al even zitten zoeken hier en op google maar vind eigenlijk geen recente data waar ik wat aan heb.

Sinds ik een spiegelreflex heb loopt het aantal foto's dat ik heb de spuigaten uit. Ik gooi wel veel weg maar heel veel ook niet! Ook maak ik erg veel HD filmpjes van mijn dochtertje met een Kodak Playsport.
Ik kopieer nu alles van mijn laptop naar een externe (3.5 inch) harde schijf. Ik heb gedacht aan een NAS met raid maar dat is niks voor mij en veel te duur.

Nu vroeg ik me af hoe betrouwbaar een SD kaart is of een USB stick om data op de backuppen. Ik vind wel betrouwbaarheid m.b.t. het aantal schrijfbewerkingen maar niet hoe lang het te bewaren is.
Ik vond pas onderin een verhuisdoos mijn eerste USB 1.1 stick met 64 MB (jep MB!!!) geheugen. Deze komt uit 2002 en alles wat erop staat is nog te lezen (vandaar dat ik kan zien hoe oud deze is). Alle documenten doen het nog, grappig om te zien dat er toen nog nagenoeg geen digitale camera's waren want ik heb er alleen wat gescande foto's op staan die het ook nog prima doen. Een schijfcontrole levert ook geen enkele fout op.

Je kunt dus de conclusie trekken dat flash geheugen in ieder geval 10 jaar betrouwbaar is en ik zit er dan ook aan te denken om een paar 16 of 32 GB USB sticks te kopen en daar al mijn foto's en filmpjes op te knallen. Over een jaar of wat zie ik dan wel verder wat dan de betrouwbaarste oplossing is.

Wat zijn jullie gedachten/bevindingen/enz. hierover?

[Verwijderd]

Besef dat een oude USB stick geheugen heeft wat een véél hogere retentie heeft dan het huidige NAND. Bij de worst case op dit moment is iets wat je op een stick zet na een paar maanden onleesbaar. Dit is HET-NAND, wat je normaliter nooit aantreft op USB sticks. Maar ga dus niet uit dat USB sticks een perfect backup medium is!

Het is wel heel handig, en relatief betrouwbaar. Ga uit dat een USB Stick een half jaar de data kan bewaren. Dat is een veilige aanname, behalve voor HET-MLC wat een retentietijd heeft van enkele maanden, dus na 2-3 maanden wordt de data onleesbaar, tenzij het apparaat tussentijds langdurig van stroom wordt voorzien.

Als jij je data veilig wilt hebben, zorg je voor meerdere backups. Wil je het serieus aanpakken, dan kijk je naar iets als ZFS, die ook corruptie kan tegengaan.

[Reepje]

Ik heb een oude externe hd omgetoverd tot backup schijf. Naast de normale backup op een hd die in het systeem draait, sluit ik de externe zo nu en dan aan (na 2-3 maanden ofzo) en zet daar een definitieve backup op.

Nu moet ik wel zeggen dat ik van mijn duizenden fotos over de laatste 15 jaar verzameld, ik ze eigenlijk nooit meer heb bekeken, zo druk ben ik met nieuwe maken.

[Koenvh]

RAID-1 storage voor echte zekerheid

[muppet99]

Koenvh.nl schreef op maandag 16 juli 2012 @ 11:41:
RAID-1 storage voor echte zekerheid

Echte zekerheid heb je pas als je off-shore backup draait. RAID1 is nog steeds pleite als er brand uitbreekt
ik zou eerder gaan voor een RAID10 oplossing met een offline backup. Mocht je per ongeluk wat wegkeilen kan je het nog terug halen.

[ Voor 20% gewijzigd door muppet99 op 16-07-2012 11:45 ]

[Midas.e]

Neem een pakket ala Crashplan of Backblaze, 5 dollar / maand kwijt en zekerheid.

[Koenvh]

muppet99 schreef op maandag 16 juli 2012 @ 11:44:
[...]

Echte zekerheid heb je pas als je off-shore backup draait. RAID1 is nog steeds pleite als er brand uitbreekt
ik zou eerder gaan voor een RAID10 oplossing met een offline backup. Mocht je per ongeluk wat wegkeilen kan je het nog terug halen.

Zullen we het er maar op houden dat "echte zekerheid" niet bestaat? Stel je voor dat de hele wereld opgeblazen wordt o.i.d..
Anyway, RAID-1 is redelijk veilig, zolang er geen brand/aardbeving/overstroming/blikseminslag is, online kan ook alleen dat kost gelijk per maand iets

[Mijzelf]

Koenvh.nl schreef op maandag 16 juli 2012 @ 11:41:
RAID-1 storage voor echte zekerheid

Die Urban Myth heeft al een hoop mensen hun data gekost. RAID-1 beschermt je *niet* tegen:
* Per ongeluk wissen van je files. (Meest voorkomende reden van dataverlies).
* Een corrupt filesysteem.
* Laten vallen van de disk (Ze vallen samen).
* Defecte voeding die je disk vermoord. (Beide disks hangen aan dezelfde voeding).
* Brand.
* Diefstal.
* Virus.
* Blikseminslag

In feite is het *enige* waar hij je wel tegen beschermd:
* Dataverlies door uitval van 1 disk.

[Verwijderd]

@cipher: ja dat vermoeden had ik ook al. Moet ik wel zeggen dat ik een aantal USB sticks heb liggen hier die ik al zeker een aantal maanden niet heb gebruikt en het nog prima doen. Maar ik vond inderdaad veel meldingen dat het nieuwe flashgeheugen dan wel goedkoper is en veel meer ruimte biedt maar dat de retentie eigenlijk alleen maar is afgenomen.
Geldt dit ook voor geheugenkaarten als SD kaartjes? Of zitten daar weer gradaties in?

@reepje: ja dat doe ik nu ook, maar ik had een Seagate externe harddisk die van het één op het andere moment ermee kapte. Gelukkig bewaar ik de belangrijkste dingen zowel op de externe harddisk als op mijn PC dus ik heb ze meestal dubbel. Tja ik kijk mijn oude foto's ook niet altijd terug maar ik wil ze ook niet kwijt. De laatste tijd maak ik weer fotoboeken, die kun je gewoon ouderwets in de kast zetten en bieden gewoon meer plezier als digitale boeken en ze nemen een stuk minder ruimte in als boeken volgeplakt met 10x15 foto's. Foto's van je kinderen wil je gewoon af en toe terug kunnen kijken.

RAID opstellingen heb ik gewoon geen zin in, het kost klauwen met geld en ik vind het gewoon teveel gedoe.

[Verwijderd]

Midas.e schreef op maandag 16 juli 2012 @ 11:50:
Neem een pakket ala Crashplan of Backblaze, 5 dollar / maand kwijt en zekerheid.

Ja zekerheid dat mijn data weet ik veel waar staat en dat ik maar mag gokken hoe goed ze hun beveiliging en hun backups op orde hebben. Bij dit soort goedkope aanbieders betwijfel ik sterk dat ze meerdere lokaties gebruiken dus als hun pand in de fik vliegt ben ik nog alles kwijt. En wat gebeurt er met mijn data mochten ze failliet gaan of stoppen met hun service omdat het ze niet genoeg oplevert? Nee van dat soort diensten ga ik voorlopig nog geen gebruik maken.

Wat steeds interessanter lijkt zijn backups op BlueRay. Diverse tests (voor zover ze het kunnen simuleren) wijzen uit dat ze 30 tot 200 jaar goed blijven afhankelijk van de manier van opslag. Toegegeven, ze zeiden dat CD-R en DVD-R ook lang goed zouden blijven maar nu blijkt na een aantal jaar toch dat de de dye die op organische basis is gevoelig is voor zuurstof en licht. Ook de reflectielaag is tegenwoordig vaak van aluminium wat gevoelig is, de oudere gouden laag is een stuk duurde maar in de praktijk wel betrouwbaarder. Ik heb inderdaad nog CD-R's van Philips uit 1998 die nog ouderwets goud waren (en 50 gulden per 10 kostten) met gekopieerde muziek die het nog prima doen. De latere CD-R's die ik nog heb daarvan doen veel het helemaal niet meer of erg haperend. Voor de lief hebbers hier kun je 'gouden' DVD's en CD's kopen.

Ik denk dat ik eens een pak gouden DVD's koop en een goede lichtdichte opslagbak die je luchtdicht kunt afsluiten, volgens mij heb ik hier de komende jaren genoeg aan.

[TERW_DAN]

Wikipedia: Disc rot

Daar kun je met BRs ook last van krijgen op den duur.

Er is niet een beste backupmedium. Sla het spul gewoon redundant op en test eens in de zoveel tijd of de data nog leesbaar is. Of jet het dan op een USBstickje, NAS, hdd of whatever hebt staan maakt dan niet eens zo heel veel uit.

Zie verder Thematopic: Backups

[Mijzelf]

Verwijderd schreef op maandag 16 juli 2012 @ 12:27:

Bij dit soort goedkope aanbieders betwijfel ik sterk dat ze meerdere lokaties gebruiken dus als hun pand in de fik vliegt ben ik nog alles kwijt. En wat gebeurt er met mijn data mochten ze failliet gaan of stoppen met hun service omdat het ze niet genoeg oplevert? Nee van dat soort diensten ga ik voorlopig nog geen gebruik maken.

Je vraagt toch naar een backup medium? Dus als die faalt heb je je origineel nog. Dat is de kracht van backup: risicospreiding.

[Verwijderd]

Reepje schreef op maandag 16 juli 2012 @ 11:39:
Ik heb een oude externe hd omgetoverd tot backup schijf.
(..)
Nu moet ik wel zeggen dat ik van mijn duizenden fotos over de laatste 15 jaar verzameld, ik ze eigenlijk nooit meer heb bekeken, zo druk ben ik met nieuwe maken.

Dat is dus wel gevaarlijk, omdat je uitgaat dat je backup die bestanden inderdaad nog heeft. Dit terwijl doordat je op dit backup hardeschijf lange tijd bepaalde data niet raadpleegt, kunnen een aantal sectoren demagnetiseren over tijd. Op het moment dat je je backup dan nodig hebt, blijkt op dat moment dat er allemaal bad sectors op zitten.

Om dat te voorkomen zou je een surface read moeten doen. Dit kan gewoon met HDTune. Als je je backup disk dan na een paar maanden weer aansluit, doe je even die surface read zodat:
1) je weet of er bad sectors zijn (meten = weten)
2) je zeker weet dat je backup nu goed is
3) sectoren met weak sectoren worden opnieuw beschreven. Dit gebeurd volledig autonoom door de schijf, enige wat je hoeft te doen is alle sectoren te lezen. Bij dat lezen bepaalt de schijf of het lezen buitengewoon lang duurt. In dat geval wordt er opnieuw beschreven. Duurt het dan nog steeds te lang, dan wordt de sector omgewisseld. Maar als het dan wel goed werkt was de sector dus eerst aan het demagnetiseren. Dit proces gaat door totdat de hoeveelheid bitfouten de error-correctie overtreft. Op dat moment heb je dus een onleesbare bad sector puur door de tijd, het demagnetisering van de electrische lading.

Koenvh.nl schreef op maandag 16 juli 2012 @ 11:41:
RAID-1 storage voor echte zekerheid

Ja door dit soort aannames ga je dus vrijwel zeker data verliezen. RAID heeft geen antwoord op corruptie en bad sectors. Denk bijvoorbeeld eens aan dit scenario:
1) je hebt een mirror die je een tijd lang gebruikt
2) een keer wordt één van de twee disks uit de RAID geschopt; hey wat krjigen we nou? eerst maar even mijn werk opslaan; op de resterende andere schijf die nu de RAID bedient.
3) na rebooten gebeurt hetzelfde maar dan andersom, nu werk je op de andere schijf
4) na wat stoeien heb je nu de mirror weer compleet, en je start een rebuild. AHA!

Nu heb je een corrupt volume, want er staat nieuwe data op disk 1, en ook nieuwe data op disk 2. De data die op de RAID zou moeten staan is een combinatie van disk1 en disk2. Dit komt omdat de RAID-array degraded is geweest en writes naar de RAID dus maar naar één disk gingen. Dat kan prima werken als je daarna direct rebuild, maar wat als beide schijven veranderd zijn? Je filesystem zal corruptie gaan vertonen omdat bij het rebuilden de master schijf wordt genomen en simpelweg alles naar de slave schijf wordt gekopiëerd.

RAID is enorm waardevol en bezit veel meer potentie dan veel mensen denken; ook wordt het vrijwel overal in het computersysteem toegepast in vele vormen en maten. Maar denk niet dat RAID alleen je data beschermt. Als je dat over ZFS zou zeggen: misschien. Maar ook daar zijn beperkingen, zoals defect RAM geheugen waar ZFS zeer beperkt tegen beschermt.

Je kunt beter een onveilige setup draaien dan dénken dat je een veilige setup draait, terwijl dat niet zo is. De schijnveiligheid van RAID kan dus een groter risico vormen dan de bescherming die het in eerste instantie biedt.

Koenvh.nl schreef op maandag 16 juli 2012 @ 11:55:
Zullen we het er maar op houden dat "echte zekerheid" niet bestaat? Stel je voor dat de hele wereld opgeblazen wordt o.i.d..

Leuk, maar met dit soort argumenten kun je geen échte argumenten weerleggen die praktisch een gevaar vormen voor je data. RAID heeft veel data vernietigt zonder dat de hardeschijven defect waren. De lage kwaliteit RAID implementaties en ouderwetse filesystems zijn hiervoor primair verantwoordelijk.

Verwijderd schreef op maandag 16 juli 2012 @ 12:03:
@cipher: ja dat vermoeden had ik ook al. Moet ik wel zeggen dat ik een aantal USB sticks heb liggen hier die ik al zeker een aantal maanden niet heb gebruikt en het nog prima doen. Maar ik vond inderdaad veel meldingen dat het nieuwe flashgeheugen dan wel goedkoper is en veel meer ruimte biedt maar dat de retentie eigenlijk alleen maar is afgenomen.
Geldt dit ook voor geheugenkaarten als SD kaartjes? Of zitten daar weer gradaties in?

SD, CompactFlash, USB-stick = allemaal hetzelfde. Het gaat daarbij om NAND geheugen met een minicontroller die basic wear leveling doet. Een soort supereenvoudige SSD dus. Hoe ouder het NAND geheugen des te beter, waarmee ik doel op de generatie. 50nm-klasse NAND is het beste voor retentie, terwijl huidig 20nm-class TLC (Triple-Level-Cell) het vele malen slechter doet (link).

Je beste advies als je geen gebruik kunt maken van écht veilige software is om meerdere backups te hebben. Dan is de kans groter dat één backup nog intact is. Ook je backups regelmatig controleren en updaten is goed advies. Denk bijvoorbeeld aan dat je drie USB sticks gebruikt, deze week gebruik je stick 1 om te backuppen, de week erop gebruik je stick 2, etc. Zo heb je altijd 3 backups van de afgelopen drie weken, bijvoorbeeld. Dat zou een goed systeem zijn.

[Ploink]

Verwijderd schreef op maandag 16 juli 2012 @ 11:38:
Het is wel heel handig, en relatief betrouwbaar. Ga uit dat een USB Stick een half jaar de data kan bewaren. Dat is een veilige aanname, behalve voor HET-MLC wat een retentietijd heeft van enkele maanden, dus na 2-3 maanden wordt de data onleesbaar, tenzij het apparaat tussentijds langdurig van stroom wordt voorzien.

Verdorie dat is waardeloos! Gelukkig heb ik nog oudere stiks in gebruik.
Maar een stik continu van stroom voorzien is ook geen goed idee, daar zijn ze niet voor gemaakt. Een stik wordt toch een beetje warm en heeft geen heatsink voorziening. Een kennis van me had een stik gebruikt als boot drive voor een public display systeem en na een jaar was ie stuk en helemaal bruin verkleurd van binnen!
NB: de stik werd alleen gebruikt om te booten met een linux live image, dus heel weinig schrijf acties.

[Verwijderd]

Dat hangt dan af van de controller, maar in principe kan een SSD of USB stick heel weinig energie verbruiken, niet genoeg om te oververhitten. Een USB stick als OS-drive gebruiken betekent random writes, en daar zal met name een USB stick heel snel door slijten. Denk dat het schrijven van 512 bytes betekent dat de USB stick tot 4 megabyte moet schrijven. Betere sticks tot 512K erase blocks. Hierdoor kan je USB stick al binnen een paar maanden door zijn write cycles heen zijn, afhankelijk van gebruik.

En retentie van NAND is nog steeds degelijk. Hetzelfde geldt voor hardeschijven met name die met hoge datadichtheid (platters van 500GB+). Je moet gewoon niet uitgaan dat iets wat een jaar in de kast ligt gewoon leesbaar is. Dat kán prima, maar je mag daar niet blindelings van uitgaan. Als je dat niet weet kun je nog eens voor verrassingen komen te staan. Bijvoorbeeld mensen die pakweg 10 jaar geleden allemaal CD-R's gingen branden en een mooie collectie hadden, die het na een aantal jaar simpelweg niet meer deed vanwege cd-rot. De errorcorrectie is dan onvoldoende om de bitfouten op te vangen.

Neem dus goede voorzorgsmaatregelen en je komt niet voor verrassingen te staan.

[Ploink]

Reepje schreef op maandag 16 juli 2012 @ 11:39:
Ik heb een oude externe hd omgetoverd tot backup schijf. Naast de normale backup op een hd die in het systeem draait, sluit ik de externe zo nu en dan aan (na 2-3 maanden ofzo) en zet daar een definitieve backup op.

Ook een HDD heeft net als een USB stik een bepaalde data retentie tijd.
Om dat te compenseren controleert de firmware regelmatig het oppervlak en schijft eens in de zoveel tijd alles opnieuw om de magnetische informatie te verversen.

Als je een HDD als backup gebruikt raad ik je aan om deze niet direct er na uit te pluggen maar rustig een paar uurtjes aan de voeding te laten hangen zodat de firmware zijn werk kan doen, minimaal eens in de 3 maanden. De pc zelf kun je eventueel uit zetten als de HDD een externe voeding heeft.

Als je een lang ongebruikte disk alleen aan de voeding hangt en je legt je oor er tegen, dan kun je horen dat het ding 'iets' aan het doen is. Hij is dan het hele oppervlak aan het verversen.

Ik heb ooit 2 perfect functionerende schijven van 200G uit een systeem gehaald voor een upgrade en na een jaar op de plank zaten ze beiden vol met bad sectors!

[Ploink]

Verwijderd schreef op maandag 16 juli 2012 @ 13:23:
Dat hangt dan af van de controller, maar in principe kan een SSD of USB stick heel weinig energie verbruiken, niet genoeg om te oververhitten. Een USB stick als OS-drive gebruiken betekent random writes, en daar zal met name een USB stick heel snel door slijten.

In dit geval was de boot-stik geen OS-drive. Een linux live cd kun je op stik zetten met live-usb creator, maar het gedraagt zich dan nog als read-only media. Een filesystem image wordt gelezen tijdens boot en dan draait alles verder als ramdisk.
Het was ook geen defect geheugen, maar de hele controller was doorgfikt en de stik werd niet meer herkend.

Het zal idd aan de el-cheapo controller gelegen hebben, het was een goedkoop stikkie en er zijn vast stiks die heel weinig stroom verbruiken... maar welke?

[Verwijderd]

Aahhhhhh....allemaal zeer waardevolle informatie. Maar eigenlijk is het gewoon risicovol om te vertrouwen op 1 medium.

[Verwijderd]

In dit geval was de boot-stik geen OS-drive. Een linux live cd kun je op stik zetten met live-usb creator, maar het gedraagt zich dan nog als read-only media. Een filesystem image wordt gelezen tijdens boot en dan draait alles verder als ramdisk.

Ah oke, in dat geval zou NAND juist heel lang mee moeten kunnen gaan.

Het was ook geen defect geheugen, maar de hele controller was doorgfikt en de stik werd niet meer herkend.

Lijkt me eerder een slechte controller dan die teveel stroom verbruikt, of iets van kortsluiting. Want zoveel stroom zou zo'n minicontroller echt niet mogen gebruiken. 2,5W is ook het maximum van een normale USB poort (5V, 500mA) en normaliter draaien deze sticks op een halve watt. Overigens veel meer dan een SSD met DIPM; die kan zijn verbruik tot 0,065W of 0,075W laten zakken, voor de Intel X25-M en Intel 320 series respectievelijk. Andere merken ondersteunen DIPM vaak niet goed of hebben meer bescheiden winsten.

Aahhhhhh....allemaal zeer waardevolle informatie. Maar eigenlijk is het gewoon risicovol om te vertrouwen op 1 medium.

Dat is inderdaad de kern van mijn argument (en die van anderen natuurlijk ook ). Aannames zijn dodelijk. Doe aan risicospreiding en gebruik meerdere backupmedia. Bijvoorbeeld een of twee losse externe hardeschijven die maar spaarzaam ingeschakeld zijn - doch wel zodat autonome surface reads mogelijk zijn zoals Ploink uitgelegd. Combineer dat met een goede USB stick voor zaken die je echt niet kwijt wilt, denk aan documenten, administratie, emailbackups, firefoxprofiel (wachtwoorden), persoonlijke foto's en andere belangrijke meuk. Vaak is dit qua bestandsgrootte erg beperkt en past het prima op een USB stick.

[Ploink]

Verwijderd schreef op maandag 16 juli 2012 @ 14:15:
Lijkt me eerder een slechte controller dan die teveel stroom verbruikt, of iets van kortsluiting. Want zoveel stroom zou zo'n minicontroller echt niet mogen gebruiken. 2,5W is ook het maximum van een normale USB poort (5V, 500mA) en normaliter draaien deze sticks op een halve watt.

Een halve watt lijkt me wel aannemelijk, maar zelfs dat kan al teveel zijn. Een halve watt in een klein chippie zonder enige heatsink op een flinterdun printplaatje in een isolerende plastic behuizing zonder enige ventilatie in een kleine ruimte achter het plastic frontje van een fanless mini-itx kast... dat wordt warm.
Wellicht niet terminaal bij normaal gebruik, maar na een jaar 24/7 uiteindelijk wel.
Maar goed, dit was slechts om te illustreren dat een USB stik ook spontaan stuk kan gaan

[Verwijderd]

Natuurlijk, al is USB NAND opzich al veel veiliger dan floppies en cdtjes, wat we eerst gebruikten. Daarbij waren leesfouten normaal en moest je maar weer een nieuwe floppy of cd schrijven. Gelukkig zijn we dat tijdperk voorbij.

Hier nog een plaatje van de retentietijd van NAND:



Wat oudere USB sticks zijn vaak 55nm NAND class.

[ Voor 30% gewijzigd door Verwijderd op 16-07-2012 15:27 ]

[Verwijderd]

De Sandisk memory vault garandeert behoudt van data voor 100 jaar

http://www.sandisk.com/products/usb/memory-vault/

Sandisk is de bedenker van Compact flash en maakt zijn eigen Inand , altijd goede produkten van Sandisk

[jan99999]

Een comment van een website test:
http://blog.dk.sg/2012/01/18/review-sandisk-memory-vault/

Aaron: Sorry for the late reply. It is writable like a normal USB drive. But the Memory Vault limits the number of times you can erase and refill the device. When the limit is exceeded, the Memory Vault will change to a read only mode – the “Preserve Mode”. The limit is determined by the on-board controller.

Sadly, we don’t know what is the limit. But its enough for you to copy all your important data over.

[TERW_DAN]

Dat is op zich leuk natuurlijk, maar wil jij vertrouwen op een claim van een fabrikant? Ook al geven ze de garantie dat het 100 jaar goed moet gaan, waar ben je als die claim niet klopt? Alles kan kapot, dus ook zo'n stick.

[Verwijderd]

TERW_DAN schreef op woensdag 18 juli 2012 @ 10:22:
Dat is op zich leuk natuurlijk, maar wil jij vertrouwen op een claim van een fabrikant? Ook al geven ze de garantie dat het 100 jaar goed moet gaan, waar ben je als die claim niet klopt? Alles kan kapot, dus ook zo'n stick.

Dat is ook zo , en toch vindt ik de CF kaarten mede door de doelgroep een hoogwaardig produkt maken .
Het is niet voor niks geweest dat de IBM microdrive CF compatible was , dat is hoogwaardige techniek wat de voorloper is van de huidige ssd . Alleen een ssd kan goed tegen kleine reads en writes , dat is niks voor een CF kaart

Neemt niet weg dat meerdere backups noodzakelijk blijft , zo een memory vault zal je eigenlijk om de tien jaar moeten upgraden . Upgraden is trouwens een goede manier om lang je data te bewaren , met altijd een backup op hd/ssd . Met de introduktie van nieuwe generatie schijven en ssd telkens naar nieuwe platforms blijven verhuizen

[Verwijderd]

@systeemherstel, je weet dat CompactFlash in feite Parallel ATA is?

Dat CompactFlash kaartjes geen goede random I/O hebben komt omdat die kaartjes net als vrijwel alle USB sticks geen rewrite engine hebben. Dus een simpele NAND controller in plaats van een échte controller zoals je in moderne SSDs kunt vinden. Maar er zijn bijvoorbeeld wel USB sticks met Sandforce controller. Hetzelfde is theoretisch mogelijk met CompactFlash. Dat IBM Microdrive compactflash was, komt omdat destijds CF de grootste standaard was voor digitale camera's, nu is dat SD. De grootte was ook een voordeel, want de mini-hardeschijf kon volgens mij 4 gigabyte terwijl 4 gigabyte aan NAND nog heel duur was destijds. Zeker een geinig product, maar komt op mij meer over als een Prius-auto met Diesel-motor.

Ook al geven ze de garantie dat het 100 jaar goed moet gaan

Die garantie geven ze niet, er staat 'up to' met twee sterretjes ergens waar verder niet aan wordt gerefereerd. De claim van 100 jaar is voor zover ik kan lezen louter gebaseerd op een wiskundige formule. Ik zet grote vraagtekens bij de daadwerkelijke retentietijd van dit product als je het op de plank laat liggen. Maar het is prima mogelijk dat er ander NAND wordt gebruikt met een betere retentietijd. Dus bijvoorbeeld 54nm SLC ipv 25nm MLC. Toch twijfel ik, want als dat zo was hadden ze dat wel vermeld op hun productpagina. Ik denk dat dit product in feite vooral marketing is, want die claim van 100 jaar kun je nauwelijks testen. En al is je data na 4 jaar onleesbaar dan nog klopt hun claim 'tot 100 jaar'.

[Verwijderd]

Maar CF is nog steeds aanwezig in digitale cameras , hasselblad gebruikt voor sommige modellen enkel CF . De canon 5D Mark III heeft ook CF en SD bij Nikon hebben de pro spiegelreflex ook CF .
Komt omdat die standaard van CF gewoon goed is in de vorm van tijdsloos .De SD heeft wel een gelijke ondersteuning kwa standaard , maar je ziet bv bij nikon dat ze als tweede aansluiting voor een ander type hebben gekozen als de SD namelijk XQD-geheugenkaarten

Canon 5D Mark III

[Verwijderd]

Het argument was eerst dat CF sneller is, maar of dat tegenwoordig nog opgaat is de vraag. SD heeft het voordeel dat het gewoon veel kleiner is, maar dat is voor professionele camera's helemaal niet zo'n voordeel. Zo'n CF kaart is best een lekker formaat, bovendien heb je geen uitstekende elektrische contactpunten zoals bij SD, wat EMI/ESD schade kan veroorzaken.

Bovendien hebben veel fotografen al een aardige verzameling aan CF kaartjes, dus wisselen van standaard is iets wat ze hun klanten niet willen aandoen zonder overtuigende reden.

[Ploink]

Verwijderd schreef op woensdag 18 juli 2012 @ 12:56:
[...]


Dat is ook zo , en toch vindt ik de CF kaarten mede door de doelgroep een hoogwaardig produkt maken .
Het is niet voor niks geweest dat de IBM microdrive CF compatible was , dat is hoogwaardige techniek wat de voorloper is van de huidige ssd . Alleen een ssd kan goed tegen kleine reads en writes , dat is niks voor een CF kaart

De IBM microdrive was ook een echte miniatuur HDD, inderdaad hoogwaardige techniek gelijk een zwitsers uurwerkje.

Een goed CF kaart kan volgens mij prima tegen kleine read/writes.
Ik tiep dit op een Acer ONE, een van de allereerste netbooks uit 2008. Ik heb er destijds meteen een goede 8GB CF kaart ingezet als system disk. Hij boot er windows XP van en ik gebruik hem dagelijks en nooit problemen mee gehad.
Volgens mij heeft deze CF kaart gewoon wear leveling, anders zou hij nu toch onderhand wel stuk zijn?

[Verwijderd]

Ze ondersteunen wear leveling, maar dat is niet voldoende. De meeste moderne simpel flash (CF, SD, USB sticks) hebben een simpele controller die niet aan write remapping doet. Dit heeft tot gevolg dat random writes heel traag worden. Hoe traag, hangt af van de grootte van de erase blocks. Echte SSDs ondersteunen wél write remapping; die schrijven simpelweg naar een andere plek toe en onthouden dat om zo onderstaand probleem te omzeilen:

Stel je gaat één sector ofwel 512 bytes schrijven naar de SSD, een typische random write voor updaten van filesystem metadata.

Voorbeeld 1: oude USB-stick met 64K blocks
Procedure: lees de hele 64K block, wis de hele 64K blok, programmeer vervolgens de block met oude en nieuwe data
Random write IOps: 64K read + erase + 64K write
Write amplification: 64KiB read + 64KiB erase + 64KiB write = 64 / 0.5 = 128.0. Valt nog mee.

Voorbeeld 2: nieuwe USB-stick met 4MiB blocks
Procedure: lees de hele 4MiB block, wis de hele 4MiB blok, programmeer vervolgens de block met oude en nieuwe data
Write amplification: 4MiB read + 4MiB erase + 4MiB write = 4096 / 0.5 = 8192.0 (!!)

Tweede voorbeeld geeft dus aan dat voor een kleine write meer dan 8000 keer zoveel geschreven moet worden. Ook al heb je wear leveling, dit gaat je flash opvreten. Maar het eerste voorbeeld met een oudere stick kan prima zijn dat die véél betere random write performance heeft en kleinere erase blocks. Dus veel beter voor random writes dan vrijwel alle nieuwe sticks. Die gebruiken steeds grotere blokgroottes en zijn dus eigenlijk alleen goed voor grote bestanden en specialiseren in sequential I/O ipv random write.

Conclusie: nieuwe simpele flash devices zoals USB sticks, SD en CompactFlash gebruiken meestal grotere erase blocks wat ten koste gaat van random write performance. Deze sticks zijn dus eigenlijk alleen te gebruiken voor grote bestanden en zeker niet als OS-drive. Tussen sticks kunnen extreem grote verschillen zitten in random write performance, tot een factor > 1000.0.

[ Voor 4% gewijzigd door Verwijderd op 18-07-2012 20:37 ]

[Q]

Er zijn twee onderwerpen, beschikbaarheid (RAID) en backup: data over meerdere media verspreiden.

Ik zou de data op meerdere harde schijven bewaren, liefst ook extern bij ouders bijv. Zoals wordt aangegeven zou je 1x per jaar die disks eigenlijk even moeten checken.

Een NAS met RAID 1 disks vind je te duur, maar hoe veel geld heb je over om de foto's van je kind veilig te stellen?

Anyway, als je op een verse stick gewoon 1x je data zet en dan met meerdere sticks meerdere sets aan data bewaart, hoe lang blijft je data dan goed? Dus als je een stick als een CD/DVD beschouwd? En hooguit enkele keren in de levens duur zal beschrijven?

[ Voor 24% gewijzigd door Q op 18-07-2012 20:40 ]

[Rebunted]

Verwijderd schreef op maandag 16 juli 2012 @ 12:27:
[...]


Ja zekerheid dat mijn data weet ik veel waar staat en dat ik maar mag gokken hoe goed ze hun beveiliging en hun backups op orde hebben. Bij dit soort goedkope aanbieders betwijfel ik sterk dat ze meerdere lokaties gebruiken dus als hun pand in de fik vliegt ben ik nog alles kwijt. En wat gebeurt er met mijn data mochten ze failliet gaan of stoppen met hun service omdat het ze niet genoeg oplevert? Nee van dat soort diensten ga ik voorlopig nog geen gebruik maken.

Wat steeds interessanter lijkt zijn backups op BlueRay. Diverse tests (voor zover ze het kunnen simuleren) wijzen uit dat ze 30 tot 200 jaar goed blijven afhankelijk van de manier van opslag. Toegegeven, ze zeiden dat CD-R en DVD-R ook lang goed zouden blijven maar nu blijkt na een aantal jaar toch dat de de dye die op organische basis is gevoelig is voor zuurstof en licht. Ook de reflectielaag is tegenwoordig vaak van aluminium wat gevoelig is, de oudere gouden laag is een stuk duurde maar in de praktijk wel betrouwbaarder. Ik heb inderdaad nog CD-R's van Philips uit 1998 die nog ouderwets goud waren (en 50 gulden per 10 kostten) met gekopieerde muziek die het nog prima doen. De latere CD-R's die ik nog heb daarvan doen veel het helemaal niet meer of erg haperend. Voor de lief hebbers hier kun je 'gouden' DVD's en CD's kopen.

Ik denk dat ik eens een pak gouden DVD's koop en een goede lichtdichte opslagbak die je luchtdicht kunt afsluiten, volgens mij heb ik hier de komende jaren genoeg aan.

Bij Crashplan wordt je data beveiligd met een 448-bit sleutel met Blowfish encryptie. Daarnaast kan je ook nog je eigen persoonlijke wachtwoord hieraan koppelen.

Lijkt me een erg veilige oplossing waarbij het niet uitmaakt waar de data staat. Niemand anders dan jij kan die data lezen. Sterker nog, als jij je wachtwoorden kwijt bent is al je data weg omdat Crashplan je dan niet meer kan helpen.

Alle info: http://support.crashplan.com/doku.php/faq/security

[Mr Silver]

Je kunt je wel beschermen tegen bliksem inslag. Dat zijn stekkerdozen (die kosten 50 euro) en hebben surge protection met verzekering. Er zijn ook tal van andere opties voor.

[begintmeta]

Pff, dit topic doet me eraan denken dat ik mijn systeem ook eens moet vervangen... heb nu vooral DVD-RAM en hdds als backupmedia, maar het is allemaal niet meer goed te beheren... (en het wordt ook sowieso tijd de DVD-RAMs te gaan vervangen...) Online ligt voor de hand, maar ik zou ook offline graag nog mijn eigen backups hebben.

[ Voor 30% gewijzigd door begintmeta op 19-07-2012 00:33 ]

[melvinnie]

Wat ik binnenkort als scenario heb:

Op dit moment is het enige wat ik gebruik mijn laptop voor school, deze heeft 2 schijfjes in een software raid-1 en dat werkt prima. Nu komt er een nasje in mijn huis te staan waar ik dan regelmatig een back-up naartoe trek. Vervolgens zet ik mijn aller belangrijkste documenten en dierbare foto`s op Dropbox waar ik een nette 70GB heb opgespaard inmiddels. Lijkt mij dat wanneer er iets fout gaat dat ergens mijn data nog te vinden is.

Het lijkt mij sterk dat mijn laptop schijven en de schijven in de nas tegelijk kapot gaan (Ik heb een stekkerdoos die beschermd tegen de bliksem) en dat Dropbox falliet gaat.

[MadMan]

Bij mij is het redelijk simpel, alle pc's in huis draaien RAID 5 of 10 en schrijven elke dag een incremental naar mijn backupserver, die spiegelt de data weer over 2 RAID 60 arrays van 16 schijven elk. Daarvan wordt elke week een backup naar 2 tapes gespiegeld en naar een solid state systeempje wat in een kluis onder de betonvloer van de garage ligt. Tot slot gaat alles maandelijks ook naar mijn online opslag.

Veel veiliger dan dat gaat het volgens mij niet snel worden in een thuissituatie.

Edit:

Een stekkerdoos tegen de bliksem, het klinkt mooi, maar werkt absoluut niet. Als de bliksem op je electriciteitsnet inslaat dan werkt helemaal niets, zelfs de stekker uittrekken niet als je hem dan alsnog dichtbij je stopcontact laat liggen. Ik woon in een alleenstaand huis met rondom velden en een paar lange antennes op het dak, de bliksem slaat hier toch wel geregeld op of rondom het huis in.
Knalt hij niet direct op je net, dan helpt een degelijke UPS met surge protection in de meeste gevallen.
Van die stekkerdoosjes heb ik er al een aantal gehad van goedkoop tot duur, tot nog toe was alle apparatuur die aan zo'n ding hing net zo gebakken als de apparatuur die gewoon ingestoken was. Keer of 4 gebeurd al, vandaar dat het systeem wat onder de vloer van mijn garage ligt op een 12V accu werkt. De lader daarvan is een 500mA druppellader met akelig dunne kabeltjes die wegsmelt voor hij de accu zo'n piek kan geven dat het systeem daar iets van gaat merken.

[ Voor 49% gewijzigd door MadMan op 19-07-2012 01:05 ]

[PilatuS]

Mijn backup maak ik op 2 verschillende externe schijven. Ik maak 1x per week een backup en doe dit om en om op beide schijven. Wanneer ik een backup maak gooi ik alle oude data weg en schrijf dus alles opnieuw. Heb alleen geen backup op een andere locatie dus mocht het hier fout gaan ben ik alsnog alles kwijt. Mocht er een schijf kapot gaan heb ik wel altijd een dubbele backup. (1x orgineel + 2x backup)

[Ploink]

Verwijderd schreef op woensdag 18 juli 2012 @ 20:36:
[...]
Conclusie: nieuwe simpele flash devices zoals USB sticks, SD en CompactFlash gebruiken meestal grotere erase blocks wat ten koste gaat van random write performance. Deze sticks zijn dus eigenlijk alleen te gebruiken voor grote bestanden en zeker niet als OS-drive. Tussen sticks kunnen extreem grote verschillen zitten in random write performance, tot een factor > 1000.0.

Bedankt voor de uitleg CiPHER. Ik had wel eens gehoord van write amplification, maar klepel en klok enzo
Maar als je boot van CF via een echte IDE interface dan zit daar een disk cache tussen en valt het misschien nog mee in de praktijk.

Ik vond de netbook nog redelijk snel met een 40/30 MB/s R/W, maar het hele ding encrypten met diskcryptor trek dat wel wat omlaag Er zijn dan nooit lege/gewiste blocks op voorraad.

[Compizfox]

@TS: Waarom wil je eigenlijk backups maken op USB-sticks? Die zijn toch veel te klein lijkt me. Ik zou gewoon een externe HD nemen die je om de paar jaar controleert. Beter is natuurlijk een NAS met RAID 1, maar als dat te duur is...

Mijzelf schreef op maandag 16 juli 2012 @ 11:57:
[...]

Die Urban Myth heeft al een hoop mensen hun data gekost. RAID-1 beschermt je *niet* tegen:
* Per ongeluk wissen van je files. (Meest voorkomende reden van dataverlies).
* Een corrupt filesysteem.
* Laten vallen van de disk (Ze vallen samen).
* Defecte voeding die je disk vermoord. (Beide disks hangen aan dezelfde voeding).
* Brand.
* Diefstal.
* Virus.
* Blikseminslag

In feite is het *enige* waar hij je wel tegen beschermd:
* Dataverlies door uitval van 1 disk.

Maar als je backup-NAS RAID-1 gebruikt, heb je het in feite op 3 schijven staan (de niet-backup, en de 2 backup schijven in RAID-1).
Als 1 van de schijven in je RAID-array uitvalt plaats je er een nieuwe in en kun je je array rebuilden. De kans dat ze tegelijk uitvallen, én je op dat moment de backup ook nodig hebt omdat je werk-PC ook nog eens is gecrasht is toch behoorlijk klein.

MadMan schreef op donderdag 19 juli 2012 @ 00:53:
Bij mij is het redelijk simpel, alle pc's in huis draaien RAID 5 of 10 en schrijven elke dag een incremental naar mijn backupserver, die spiegelt de data weer over 2 RAID 60 arrays van 16 schijven elk. Daarvan wordt elke week een backup naar 2 tapes gespiegeld en naar een solid state systeempje wat in een kluis onder de betonvloer van de garage ligt. Tot slot gaat alles maandelijks ook naar mijn online opslag.

Veel veiliger dan dat gaat het volgens mij niet snel worden in een thuissituatie.

Dat was ironisch, mag ik toch aannemen?

[MadMan]

Jij vind het niet veilig? Of doelde je op het "simpel"?

In het laatste geval, het is echt simpel hoor, instellen en niet meer naar omkijken. Af en toe wat nieuwe tapes in de robot proppen, dat is het wel.

[Ploink]

Mijn computers hebben alleen een SSD voor het OS, de data staat op de server.
De server doet wekelijks een rsync van schijf 1 naar schijf 2.
Schijf 2 heeft een BTRFS filesystem en die bewaart ook nog een paar snapshots.
Maar als die server ontploft/verbrand/gestolen wordt, dan ben ik het haasje....

@Madman, het is niet "simpel" nee, vooral niet voor een thuis situatie. Ik denk dat je voldoende heb staan voor de ICT afdeling van een middelgroot bedrijf.

[ Voor 20% gewijzigd door Ploink op 19-07-2012 01:11 ]

[PhilipsFan]

Ik zie hier allerlei oplossingen voorbij komen, sommigen prima, sommigen minder. Wat je goed moet bedenken is tegen welke risico's je wilt backuppen:

* Kapotte schijven -> RAID
* Diefstal, brand -> Kopie buitenshuis, cloud

Maar de belangrijkste oorzaken van dataverlies heb ik nog nauwelijks oplossingen voorbij zien komen:

* Virussen -> Hashen van je files (en de hashes periodiek controleren)
* Stommiteiten (de verkeerde data deleten) -> Backuppen in generaties

Ikzelf heb mijn data verdeeld in blokken, dit dateert nog uit de tijd dat schijfruimte kostbaar was. Sommige soorten data zijn belangrijker dan andere. Van mijn foto's (de kostbaarste categorie) heb ik 5 exemplaren op harddisks op verschillende locaties. Ze worden op verschillende tijden bijgewerkt (generaties) en alle data is gehashed. Alleen al de gemoedsrust die het geeft dat ik met 1 commando kan controleren of mijn bestanden niet zijn veranderd. Ik bedoel, hoe vaak bekijk je _al_ je foto's? Tegen de tijd dat je erachter komt dat een virus je files heeft verminkt kan het al in al je generaties backups zitten.

Nog een nadeel aan RAID, tenminste hier ben ik altijd heel bang voor. Wat nu als niet 1 van je schijven, maar je RAID controller het begeeft? Die schijven zijn niet gewoon NTFS of ext3 geformatteerd, dus je kunt niet eenvoudig je data terughalen. Dan moet je dus op zoek naar precies zo'n controller en hopen dat je de boel weer ingericht krijgt zonder de data weg te formatteren. Mij te ingewikkeld...

[ZaZ]

Volgens mij zit ik redelijk veilig:
In mijn NAS (raid 6) zet ik mijn foto's. Elke nacht wordt er een incremental backup gemaakt naar een externe disk. Geen mirror, dus verwijderde foto's blijven staan op de backup.
Die backup gaat als ie klaar is naar een andere NAS op locatie (mirror)

Eens in de zoveel tijd check ik adhv laatste wijzigingen attributes de mappen waar het de laatste tijd dingen in zijn gebeurd en dan start ik handmatig de taak om de backup te draaien, maar dan niet incremental, maar mirrored.
Die trekt dan de boel weer recht (de verwijderde foto's worden dus nu ook verwijderd in de backup en later dus ook autmomatisch in de backup op locatie)

Het meeste risico loop ik op het moment dat ik mijn camera 'leeg' naar de NAS.
Daarom laat ik de oude foto's er ook meestal een dag nog opstaan, zodat ze in ieder geval zijn meegenomen in de backup.
Wil ik 'm perse leeg hebben, dan start ik handmatig de reguliere backup. Die is toch meestal in 2 minuten klaar. Dan moet er alleen geen brand uitbreken voordat ie het online heeft gebackuped.

[Ploink]

PhilipsFan schreef op donderdag 19 juli 2012 @ 01:34:
[..]
Maar de belangrijkste oorzaken van dataverlies heb ik nog nauwelijks oplossingen voorbij zien komen:

* Virussen -> Hashen van je files (en de hashes periodiek controleren)
* Stommiteiten (de verkeerde data deleten) -> Backuppen in generaties
[..]

Hashen is een goed idee. Als het geen virus is dan wel slechte hardware die sluipende data corruptie veroorzaakt. Ik ken nog van vroeger de beruchte CMD640 ide controller die spontaan af en toe bitjes liet omvallen...

En wat dacht je van een voeding die plots vonk-knetter-stinkie doet en door overspanning alle schijven meeneemt in zijn graf?

Voor het "Backuppen in generaties" is btrfs of zfs ideaal omdat je snapshots kan nemen, virtuele images van alle data die nauwelijks ruimte innemen.

[ Voor 22% gewijzigd door Ploink op 19-07-2012 01:57 ]

[Compizfox]

MadMan schreef op donderdag 19 juli 2012 @ 01:07:
Jij vind het niet veilig? Of doelde je op het "simpel"?

In het laatste geval, het is echt simpel hoor, instellen en niet meer naar omkijken. Af en toe wat nieuwe tapes in de robot proppen, dat is het wel.

Niet veilig? Dit is de meest overkill backup-situatie waar ik van heb gehoord (voor thuis dan)

[MadMan]

Dan is het geslaagd

Om nog even op Philipsfan in te gaan, dat je zorgt voor een goede bescherming tegen virussen lijkt me vanzelfsprekend. In mijn geval wordt de data in elk geval ook in tijdsvakken gebackupt zodat ik altijd vorige versies van bestanden kan vinden, of bestanden die inderdaad per ongeluk gewist zouden zijn. Over de controller, dat is de reden dat je een controller koopt van een bekend A-merk. Die zijn betrouwbaarder, lange tijd na hun officiële EOL nog te krijgen en lange tijd daarna nog 2dehands. Tegen de tijd dat dat nodig is mag ik hopen dat je sowieso al aan een update zal denken.
Ikzelf heb in elke PC dezelfde controller en daarbij nog 2 spares in de kast liggen. De server (HP) heeft 2 controllers die redundant zijn aangesloten op de storage library en daar heb ik ook nog 2 spares voor liggen.
Verder gebruik ik in elke PC dezelfde harddisks (WD RE4), daar heb ik er 6 los van in de kast liggen en heb ik voor de server een hele berg originele HP 15K hotswap disks liggen en een reserve taperobot. Ik heb meerdere servers, allemaal HP's en vandaar heb ik wat dat betreft spares voor de rest van mijn leven mocht het nodig zijn.

[PhilipsFan]

Nu we toch een draadje over backuppen onder Windows hebben, hoe kun je op een makkelijke manier een backup maken van de home-dir (users/<username>) van een user die nog aangelogd is?

[begintmeta]

een snapshot gebruiken?