Wear Leveling SSD softwareafhankelijk?

[dennis_rsb]

Hoi,

Ik beheer voor mij en mijn directe familie de computers. Ik kijk ook regelmatig de SMART van de harde schijven. Met name let ik op current pending sectors en reallocated sectors. Daarnaast formatteer ik bij mij zelf elke +- 2 jaar de dataschijf volledig en plaats het daarna vanuit de backup weer terug. Zodat alle data even van zijn plaats is. (om risico op dataverlies/corruptie te verkleinen) Ik raad dit ook aan aan mijn broers, hoewel een vriend mij zegt dat Windows dit zelf regelt?

Maar goed, nu las ik op internet dat SSD's zelf dit al regelen. ¨wear leveling´ dus dat ook heb je ´stilstaande' data, dat dit alsnog verplaatst wordt om slijtage gelijkmatig te verdelen. Maar als ik het goed begrijp is dit hetzelfde effect als wat ik nu doe met de harde schijven. (maar dan gaat het vanzelf)

Nu de hamvraag. Dat wear-leveling op SSD's, doet de controller in de SSD dit zelf? Of is dit afhankelijk of je een tool als Samsung Magician bv hebt geïnstalleerd? En heeft iedere SSD wear-leveling? Nu heb ik het gros van de data nog op een HDD, en mijn broers ook. Maar nu de SSD's qua prijs/gb steeds gunstiger worden zou het goed kunnen dat ik op redelijke korte termijn afscheid neem van de interne HDD.

[jan99999]

dennis_rsb schreef op maandag 4 februari 2019 @ 22:48:
Hoi,

Daarnaast formatteer ik bij mij zelf elke +- 2 jaar de dataschijf volledig en plaats het daarna vanuit de backup weer terug.

Spinrite kan dit zonder de data te verwijderen, of een backup terug zetten.
Spinrite leest elke sector en herschrijft deze zonder iets te wijzigen, dus test elke sector of deze nog goed is.
Zou wel even oefenen op een andere schijf. Spinrite is een bootable iso.

Je zou ook gewoon je schijf kunnen kopiëren naar een andere lege schijf, en de schijf uitwisselen.

Wear leveling ssd, dacht dat de ssd zelf kijkt waar het minst geschreven is , en daar data schrijft.
Wat met gevulde data gebuurt weet ik niet, maar ik vermoed dat daar niet mee geschoven wordt, omdat er anders meer slijtage zou inhouden.
Ik weet wel dat je ssd' s meer plaats moet open laten ivm wear leveling.
En dat ssd' s die langer niet gebruikt worden, langzaam worden, om terug te lezen, of data verdwijnt weet ik niet. Voor langere tijd backup zou ik gewone hd gebruiken op dit moment, en bij ssd' s, deze regelmatig testen, misschien met spinrite.

[ Voor 41% gewijzigd door jan99999 op 05-02-2019 11:27 ]

[jan99999]

Via google,
Wear leveling algorithms

There are many algorithms for wear leveling. Let us limit ourselves here to two major basic principles:

Dynamic wear leveling

Static wear leveling

Dynamic wear leveling

With dynamic wear leveling, only the blocks that undergo rewriting experience re-positioning to new blocks. At the time of a rewrite the algorithm selects an empty block to write the data to update.

To achieve this, the SSD controller keeps track of the number of writes to each block using a non-volatile memory. When the SSD is brand new, the counter is at 0. It is then goes up by 1 at each new write.

The dynamic wear leveling is however not optimal. Indeed, when a block is with data that is read-only or does not experience frequent updates, they do not move. It is better to place this type of data on the used blocks and place the data which is updated frequently on unused blocks.
Static wear leveling

Here, the controller selects the block in which rewrite the data from all blocks of the hard drive: it will take a block that has relatively few entries, corresponding to blocks containing static data, or empty blocks few used.


Due to these characteristics, the SSD is a hard drive that is important to optimize. Wear leveling is a recognized technique to achieve this. There are other types of optimization designed to reduce wear on SSD by limiting the volume of writing to improve durability.

[FoxLenny]

Lijkt mij een hoop moeite voor (bijna) niks... Gewoon zorgen dat je backups in orde zijn en als je merkt dat een schijf/ssd problemen heeft vervangen.

[n0elite]

Zoek eens op Google naar ssd en trim.

[jan99999]

Spinrite en vergelijkbare software heeft als voordeel dat je merkt dat de hd defect is, omdat je dit niet anders merkt totdat de hd weigert, en dus je data verloren hebt.
bijv een hd die lang in de kast ligt als backup.

Spinrite kan ook bij een niet startende hd, eerste sectoren beschadigd, dit repareren, dan is het mogelijk dat de hd weer boot/bruikbaar is.
Dit heb ik al 2x gebruikt hiervoor. Bijv 1 hd viel stroom uit, daarna werkte de hd niet meer door sector 0 die net meer goed was.
Spinrite gaat dan elke sector meerdere keren lezen om de goede data eruit te halen. en dan de sector te herschrijven, eigenlijk hetzelfde als de controller in de hd(daar maakt spinrite gebruik van), en bij beide keren lukte dit. En natuurlijk de hd direct gekopieerd, zonder de pc nog uit te zetten.

En natuurlijk een backup is belangrijk.
Bijv een goede file system die je waarschuwt voor fouten in je files. ZFS BTFS,bijv.

[ Voor 11% gewijzigd door jan99999 op 05-02-2019 11:38 ]

[dennis_rsb]

jan99999 schreef op dinsdag 5 februari 2019 @ 11:21:
[...]

Spinrite kan dit zonder de data te verwijderen, of een backup terug zetten.
Spinrite leest elke sector en herschrijft deze zonder iets te wijzigen, dus test elke sector of deze nog goed is.
Zou wel even oefenen op een andere schijf. Spinrite is een bootable iso.

Je zou ook gewoon je schijf kunnen kopiëren naar een andere lege schijf, en de schijf uitwisselen.

Wear leveling ssd, dacht dat de ssd zelf kijkt waar het minst geschreven is , en daar data schrijft.
Wat met gevulde data gebuurt weet ik niet, maar ik vermoed dat daar niet mee geschoven wordt, omdat er anders meer slijtage zou inhouden.
Ik weet wel dat je ssd' s meer plaats moet open laten ivm wear leveling.
En dat ssd' s die langer niet gebruikt worden, langzaam worden, om terug te lezen, of data verdwijnt weet ik niet. Voor langere tijd backup zou ik gewone hd gebruiken op dit moment, en bij ssd' s, deze regelmatig testen, misschien met spinrite.

Dus hoe ik het nu doe met hdd's is overdreven? Dus trage format? Gewoon snelformat en dan alles terug kopiëren op de dataschijf vanuit de backup is al prima?

Over het SSD verhaal, waar het mij om gaat vooral. Ah zo dus ze worden waarschijnlijk niet verplaatst. Dus eigenlijk geldt daar hetzelfde voor als wat ik met de harde schijven nu doe of wat spinrite doet?

jan99999 schreef op dinsdag 5 februari 2019 @ 11:29:
Via google,
Wear leveling algorithms

There are many algorithms for wear leveling. Let us limit ourselves here to two major basic principles:

Dynamic wear leveling

Static wear leveling

Dynamic wear leveling

With dynamic wear leveling, only the blocks that undergo rewriting experience re-positioning to new blocks. At the time of a rewrite the algorithm selects an empty block to write the data to update.

To achieve this, the SSD controller keeps track of the number of writes to each block using a non-volatile memory. When the SSD is brand new, the counter is at 0. It is then goes up by 1 at each new write.

The dynamic wear leveling is however not optimal. Indeed, when a block is with data that is read-only or does not experience frequent updates, they do not move. It is better to place this type of data on the used blocks and place the data which is updated frequently on unused blocks.
Static wear leveling

Here, the controller selects the block in which rewrite the data from all blocks of the hard drive: it will take a block that has relatively few entries, corresponding to blocks containing static data, or empty blocks few used.


Due to these characteristics, the SSD is a hard drive that is important to optimize. Wear leveling is a recognized technique to achieve this. There are other types of optimization designed to reduce wear on SSD by limiting the volume of writing to improve durability.

Zou je dit in aub in eenvoudige taal willen uitleggen ? mijn Engels is ook niet goed dus dan is het helemaal lastig om te begrijpen.

FoxLenny schreef op dinsdag 5 februari 2019 @ 11:29:
Lijkt mij een hoop moeite voor (bijna) niks... Gewoon zorgen dat je backups in orde zijn en als je merkt dat een schijf/ssd problemen heeft vervangen.

Nou ja dat weet ik zo net niet. Heb al meerdere malen gelezen dat als data altijd op dezelfde sector op een HDD staat dat de kans op corruptie/verlies van bepaalde bestanden fors toeneemt. Vandaar dat ik dit ben beginnen doen. Hoe dit met SSD's zit weet ik dus niet. SSD's slijten natuurlijk harder als je dit doet met grote hoeveelheden. Hoewel ik het zelf met mijn hdd maar eens in de +- 2 jaar doe.

n0elite schreef op dinsdag 5 februari 2019 @ 11:33:
Zoek eens op Google naar ssd en trim.

TRIM ken ik al, maar zover ik weet zorgt die alleen voor de snelheid hoog te houden.

jan99999 schreef op dinsdag 5 februari 2019 @ 11:35:
Spinrite en vergelijkbare software heeft als voordeel dat je merkt dat de hd defect is, omdat je dit niet anders merkt totdat de hd weigert, en dus je data verloren hebt.
bijv een hd die lang in de kast ligt als backup.

Spinrite kan ook bij een niet startende hd, eerste sectoren beschadigd, dit repareren, dan is het mogelijk dat de hd weer boot/bruikbaar is.
Dit heb ik al 2x gebruikt hiervoor. Bijv 1 hd viel stroom uit, daarna werkte de hd niet meer door sector 0 die net meer goed was.
Spinrite gaat dan elke sector meerdere keren lezen om de goede data eruit te halen. en dan de sector te herschrijven, eigenlijk hetzelfde als de controller in de hd(daar maakt spinrite gebruik van), en bij beide keren lukte dit. En natuurlijk de hd direct gekopieerd, zonder de pc nog uit te zetten.

En natuurlijk een backup is belangrijk.
Bijv een goede file system die je waarschuwt voor fouten in je files. ZFS BTFS,bijv.

Backups heb ik voldoende. Spinrite is een optie, maar eens in de 2 jaar een trage format op mijn data harddisk doen vind ik ook niet zo lastig/veel werk. Maar hoe het met SSD's zit weet ik dus niet.. ZFS/BTFS is alleen bij Linux en een NAS zover ik weet. Ik gebruik gewoon Windows 10, waar de dataschijf aanzit.

[n0elite]

dennis_rsb schreef op dinsdag 5 februari 2019 @ 12:04:


[...]

TRIM ken ik al, maar zover ik weet zorgt die alleen voor de snelheid hoog te houden.
[...]

Heeft 2 functies:

Benefits of using TRIM

SSD TRIM facilitates important benefits in the areas of performance and drive longevity.

1) Using the TRIM command reduces the amount of data an SSD needs to move during the garbage collection process and reduces the amount of erase cycles, enabling the drive to last longer.
2) By avoiding unnecessary copying of invalid data, the write performance of the drive speeds up.

[Juup]

dennis_rsb schreef op maandag 4 februari 2019 @ 22:48:
Daarnaast formatteer ik bij mij zelf elke +- 2 jaar de dataschijf volledig en plaats het daarna vanuit de backup weer terug. Zodat alle data even van zijn plaats is. (om risico op dataverlies/corruptie te verkleinen)

Dit is het slechtste wat je kan doen voor een SSD.
Een SSD slijt alleen als er naar geschreven wordt (eigenlijk als er een block erased wordt).

[dennis_rsb]

Juup schreef op dinsdag 5 februari 2019 @ 13:00:
[...]

Dit is het slechtste wat je kan doen voor een SSD.
Een SSD slijt alleen als er naar geschreven wordt (eigenlijk als er een block erased wordt).

Ik heb het in de topicstart ook over de HARDE SCHIJF waar ik een volledige format zo af en toe doe. Bij een SSD lijkt mij dat ook niet echt goed inderdaad, hoewel het maar eens in de 2 jaar ofzo zou zijn. Maar als het niet nodig is doe ik dat niet, daarom opende ik dit topic ook om daar hopelijk achter te komen

n0elite schreef op dinsdag 5 februari 2019 @ 12:31:
[...]


Heeft 2 functies:

Benefits of using TRIM

SSD TRIM facilitates important benefits in the areas of performance and drive longevity.

1) Using the TRIM command reduces the amount of data an SSD needs to move during the garbage collection process and reduces the amount of erase cycles, enabling the drive to last longer.
2) By avoiding unnecessary copying of invalid data, the write performance of the drive speeds up.

Uit dit stuk tekst haal ik niet eruit dat de bestanden verplaatst worden? Wat ik gewoon wil weten is als ik mijn hele video/foto collectie op een SSD zet intern, of de data intact blijft altijd zonder extra handmatige handelingen? En de daaraan gelinkte vraag, heeft een tool van de fabrikant zoals in het geval van Samsung, de Samsung Magician tool nog nut betreft dataverlies/corruptie voorkomen?

[dcm360]

dennis_rsb schreef op dinsdag 5 februari 2019 @ 18:01:
[...]
Uit dit stuk tekst haal ik niet eruit dat de bestanden verplaatst worden? Wat ik gewoon wil weten is als ik mijn hele video/foto collectie op een SSD zet intern, of de data intact blijft altijd zonder extra handmatige handelingen? En de daaraan gelinkte vraag, heeft een tool van de fabrikant zoals in het geval van Samsung, de Samsung Magician tool nog nut betreft dataverlies/corruptie voorkomen?

Wear leveling wordt door de SSD zelf gedaan, en Windows-tooltjes hebben daar geen invloed op (nou ja, je zou de data zelf kunnen herschrijven, dan forceer je het ook wel soort van). Toen Samsung in het verleden eens een probleem had met oude data die minder leesbaar werd op hun SSD's moest daar ook een nieuwe firmware voor aan te pas komen om dat op te lossen.

[dennis_rsb]

dcm360 schreef op dinsdag 5 februari 2019 @ 20:45:
[...]

Wear leveling wordt door de SSD zelf gedaan, en Windows-tooltjes hebben daar geen invloed op (nou ja, je zou de data zelf kunnen herschrijven, dan forceer je het ook wel soort van). Toen Samsung in het verleden eens een probleem had met oude data die minder leesbaar werd op hun SSD's moest daar ook een nieuwe firmware voor aan te pas komen om dat op te lossen.

Oke dus zonder de tool fabrikant is de data ook veilig dus. Maar Jan vermoed dat wear leveling de data niet echt verplaatst omdat dit extra write acties zijn.

Dus wat is nu slim. alle bestanden (foto, video, documenten) op de ssd zetten, verder niets behalve soms de smart uitlezen. Of alle bestanden op de ssd zetten en na een jaar of 2 de ssd traag formatteren en daarna alle files terug plaatsen vanuit de backup. Ik snap dat met dat laatste de ssd harder slijt. Maar ik wil geen datacorruptie of verlies. Of is een SSD slim genoeg omdat te voorkomen, slimmer dan een hdd? (mits de smart oke is)

[WCA]

Gewoon de SSD/HDD zijn werk laten doen en er verder niet aanzitten is het beste idee

[dcm360]

Pragmatisch gezien zou ik zeggen: alles kan stuk, dus vertrouw niet op 1 schijf (wat je al niet doet want je hebt een backup). En zolang de SSD werkt zal de schijf zelf voldoende moeite doen om de data leesbaar te houden, en als je daar wat meer zekerheid op wil hebben kan je periodiek alle opgeslagen data scannen (waarmee de SSD zelf kan bepalen of er misschien data herschreven moet worden als het uitlezen van bepaalde delen lastiger blijkt dan verwacht. Dat was overigens ook het probleem met de Samsung-SSD's destijds: de data was nog wel leesbaar, maar het kostte wat meer moeite. De nieuwere firmware deed het huishouden iets beter).

Volledig (of traag) formatteren is iets dat je in geen enkel geval wil doen met een SSD. Wat je daarmee namelijk doet is de schijf volledig volschrijven, waarmee je wear leveling zo hard mogelijk in de weg zit als maar kan en de prestaties lager worden.

[dennis_rsb]

GreNade schreef op dinsdag 5 februari 2019 @ 21:33:
Gewoon de SSD/HDD zijn werk laten doen en er verder niet aanzitten is het beste idee

Thanks, de SMART zal ik sowieso geregeld uitlezen op de SSD/HDD. Op dit moment gebruik ik SSD's alleen als bootdisk+software. Maar dat gaat veranderen.

dcm360 schreef op dinsdag 5 februari 2019 @ 21:33:
Pragmatisch gezien zou ik zeggen: alles kan stuk, dus vertrouw niet op 1 schijf (wat je al niet doet want je hebt een backup). En zolang de SSD werkt zal de schijf zelf voldoende moeite doen om de data leesbaar te houden, en als je daar wat meer zekerheid op wil hebben kan je periodiek alle opgeslagen data scannen (waarmee de SSD zelf kan bepalen of er misschien data herschreven moet worden als het uitlezen van bepaalde delen lastiger blijkt dan verwacht. Dat was overigens ook het probleem met de Samsung-SSD's destijds: de data was nog wel leesbaar, maar het kostte wat meer moeite. De nieuwere firmware deed het huishouden iets beter).

Volledig (of traag) formatteren is iets dat je in geen enkel geval wil doen met een SSD. Wat je daarmee namelijk doet is de schijf volledig volschrijven, waarmee je wear leveling zo hard mogelijk in de weg zit als maar kan en de prestaties lager worden.

Oke dus als ik het zo'n beetje kan samenvatten wat in dit topic gezegd wordt is dat je de schijven hun ding moet laten doen, uiteraard wel backups maken, de smart uitlezen regelmatig. En bij hdd's kan het imo geen kwaad om de data af en toe te verversen. Bij ssd's is wat ik al een beetje dacht, en wat jullie beamen, een no-go om die volledig/traag te formatteren.

Wat bedoel je eigenlijk met opgeslagen data scannen. Waarmee scannen? Ik heb overigens geen tools van de SSD op mijn systemen staan. Ik heb trouwens echt van alles wat in huis. Samsung 830, Crucial BX100, in de medion laptop weet ik niet, Kingston (type weet ik niet)

[WCA]

dennis_rsb schreef op dinsdag 5 februari 2019 @ 21:54:
[...]

Thanks, de SMART zal ik sowieso geregeld uitlezen op de SSD/HDD. Op dit moment gebruik ik SSD's alleen als bootdisk+software. Maar dat gaat veranderen.
[...]

En bij hdd's kan het imo geen kwaad om de data af en toe te verversen.

Kan geen kwaad, maar echt nut heeft het niet. Een keertje defragmenteren (wat op de achtergrond automatisch gebeurt) bereikt ongeveer hetzelfde. Alleen dan kost het je zelf geen tijd

[dennis_rsb]

GreNade schreef op dinsdag 5 februari 2019 @ 21:58:
[...]


Kan geen kwaad, maar echt nut heeft het niet. Een keertje defragmenteren (wat op de achtergrond automatisch gebeurt) bereikt ongeveer hetzelfde. Alleen dan kost het je zelf geen tijd

Thanks, defragmentatie ja? Ik dacht dat alleen was voor de prestaties van de schijf. Omdat het dan beter geordend wordt Ik heb dat dus bij mijn broer uitgezet destijds, omdat hij nog op Windows 7 draait. En ik kreeg het toen niet voor elkaar om defragmentatie per schijf afzonderlijk in en uit te schakelen. En aangezien Windows 7 niet altijd een SSD goed herkent heb ik toen defragmentatie uitgezet.

[WCA]

dennis_rsb schreef op dinsdag 5 februari 2019 @ 22:14:
[...]

Thanks, defragmentatie ja? Ik dacht dat alleen was voor de prestaties van de schijf. Omdat het dan beter geordend wordt Ik heb dat dus bij mijn broer uitgezet destijds, omdat hij nog op Windows 7 draait. En ik kreeg het toen niet voor elkaar om defragmentatie per schijf afzonderlijk in en uit te schakelen. En aangezien Windows 7 niet altijd een SSD goed herkent heb ik toen defragmentatie uitgezet.

Uiteraard geen ssd defragmenten, ik had het over de hdd

[dennis_rsb]

GreNade schreef op dinsdag 5 februari 2019 @ 22:21:
[...]


Uiteraard geen ssd defragmenten, ik had het over de hdd

Ik heb het ook over de hdd. Dat staat uit bij mijn broer op zijn hdd. Draait al 6jaar goed zonder data-issues. maar dit jaar ga ik zijn pc toch onderhanden nemen, er moet Windows 10 op ivm naderende EOL van Win7. Bij de Windows 10 imstall blikf ik dan wel af van optimalisatie/defragmentatie.

Maar ik snap je punt. met defragmentatie wordt alles geordend, dus wordt er ook e.e.a. verplaatst. Hoewel er ook lege ruimte is op de hdd’s, dus lowlevel format voegt wel meer toe imo. of het écht nodig is op een hdd ivm databehoud is misschien twijfelachtig. maar ach eens in de paar jaar een 1 tb formatteren kost eem uurtje of 2-3. Backup terugplaatsen is ook rap gebeurd met een usb 3 externe hdd

[ Voor 4% gewijzigd door dennis_rsb op 05-02-2019 22:32 ]

[WCA]

Het maakt geen verschil of een schijf oude data moet overschrijven of dat een schijf 'lege' ruimte moet beschrijven. Wat je doet is ècht verspilde moeite, sorry

[MsG]

Jullie praten een beetje langs elkaar heen volgens mij.

Ik check met HDTune af en toe of ik nog steeds volledig groene sectoren heb. Zodra ik daar een bad sector zie maak ik een volledige schijfimage. Doe ik een slow format op die schijf en zet ik de image weer terug.

Is de current pending sector weer op 0 en de reallocated sectors niet opgehoogd? Dan was het een (wellicht eenmalige fout). Gaat de reallocated sector count echter flink omhoog, of ontstaat er snel weer een bad sector dan zou ik tzt de schijf vervangen.

GreNade schreef op dinsdag 5 februari 2019 @ 22:33:
Het maakt geen verschil of een schijf oude data moet overschrijven of dat een schijf 'lege' ruimte moet beschrijven. Wat je doet is ècht verspilde moeite, sorry

Als je een quick format doet, markeert Windows zelf enkel de bad sectors, maar geeft Windows dat niet door aan de schijf. Pas met een low level format krijgt de schijf zelf de status van de sectoren.


Ik heb er ook eens een topic aan gewijd, misschien nog interessant: Bad sector 'weghalen'

[ Voor 36% gewijzigd door MsG op 05-02-2019 23:49 ]

[dennis_rsb]

MsG schreef op dinsdag 5 februari 2019 @ 23:46:
Jullie praten een beetje langs elkaar heen volgens mij.

Ik check met HDTune af en toe of ik nog steeds volledig groene sectoren heb. Zodra ik daar een bad sector zie maak ik een volledige schijfimage. Doe ik een slow format op die schijf en zet ik de image weer terug.

Is de current pending sector weer op 0 en de reallocated sectors niet opgehoogd? Dan was het een (wellicht eenmalige fout). Gaat de reallocated sector count echter flink omhoog, of ontstaat er snel weer een bad sector dan zou ik tzt de schijf vervangen.


[...]


Als je een quick format doet, markeert Windows zelf enkel de bad sectors, maar geeft Windows dat niet door aan de schijf. Pas met een low level format krijgt de schijf zelf de status van de sectoren.


Ik heb er ook eens een topic aan gewijd, misschien nog interessant: Bad sector 'weghalen'

Jup dat bad sector en smart verhaal heb ik pas ook helemaal uitgezocht. Ik gebruik overigens Speedfan, die heeft ook online diagnose etc. En voor ssd’s meestal Crystal Disk Info, die herkent ssd’s beter dan Speedfan heb ik gemerkt.

[Compizfox]

dennis_rsb schreef op dinsdag 5 februari 2019 @ 12:04:
[...]

Dus hoe ik het nu doe met hdd's is overdreven? Dus trage format? Gewoon snelformat en dan alles terug kopiëren op de dataschijf vanuit de backup is al prima?

Nee, het is helemaal nergens voor nodig wat je doet. Je hoeft de data niet "te verversen".

Nou ja dat weet ik zo net niet. Heb al meerdere malen gelezen dat als data altijd op dezelfde sector op een HDD staat dat de kans op corruptie/verlies van bepaalde bestanden fors toeneemt. Vandaar dat ik dit ben beginnen doen.

Dat werkt niet zo. Niet op de manier dat jij denk, in elk geval. Er bestaat zoiets als "silent corruption" of "bitrot", maar dat beïnvloedt alle sectoren evenveel en kun je niet voorkomen door de data te "verversen". Als jij een backup trekt dan kan daar immers al corrupte data in zitten, die je dan doodleuk met corruptie weer terugzet.

Als je bang bent voor bitrot, niet geheel onterecht als je belangrijke data lang wilt bewaren, moet je gaan kijken naar self-healing filesystems zoals ZFS. Die kunnen bitrot opsporen en repareren d.m.v. checksums over de data en redundantie. Dat werkt wel.

---

MsG schreef op dinsdag 5 februari 2019 @ 23:46:
[...]
Als je een quick format doet, markeert Windows zelf enkel de bad sectors, maar geeft Windows dat niet door aan de schijf. Pas met een low level format krijgt de schijf zelf de status van de sectoren.


Ik heb er ook eens een topic aan gewijd, misschien nog interessant: Bad sector 'weghalen'

Je hoeft geen format te doen als je enkele pending bad sectors hebt. Als je de schijf normaal gebruikt zie je ze vanzelf wel weggaan, of vermeerderen. Een format is dus eigenlijk alleen nodig als je ongeduldig bent.

De schijf weet natuurlijk al wat de status van alle sectoren zijn. Het is de schijf die de status doorgeeft aan Windows, niet andersom. Als je pending bad sectors hebt, betekent dat dat de schijf die sectoren niet kon lezen. De schijf doet er echter pas iets mee als je ze gaat proberen te overschrijven. Dan kan het zo zijn dat er toch niks met de sector mis blijkt: dan gaat de pending bad sector count omlaag. Als de sector echt permanent kaduuk blijkt, wordt het een reallocated sector. Dat kun je forceren door een format te doen, en dan wel een echte format die de hele schijf overschrijft. Een quick format wist alleen de partitietabel en dat heeft dus geen effect daarvoor.

[ Voor 40% gewijzigd door Compizfox op 06-02-2019 03:20 ]

[MsG]

@Compizfox Nou ja waarom ik eerder al dit handwerk deed was omdat, zodra je dus een bad sector ontdekt, je in onzekerheid verkeert over de schadelijkheid hiervan / defectheid van de schijf. Terwijl als ik hem dan zelf een long format geef en zie dat de bad sector 'weer weg is' en current pending sectors en reallocated sector count niet omhoog is geschoten, ik constateer dat de schijf SMART-technisch nog prima is. Terwijl als ik weet dat het een daadwerkelijke fysieke sector is die stuk is, ik dat mee kan nemen in eventuele vervang-overwegingen.

@jan99999 Gebruik jij dat SpinRite nog op hedendaagse grote schijven? En ook in GPT/UEFI situaties? Een dergelijke tool is een stuk handiger dan alles backuppen en de hele schijf volledig formatteren, maar de software ziet er vrij archaïsch uit en lijkt allemaal beperkingen te kennen met moderne schijven (als ik de website zo lees).

Het valt me trouwens op dat zelfs op Tweakers-niveau en ander prosumer-computergebruik mensen helemaal niet op de hoogte zijn van de verschillende soorten 'bad' sectors. Ik ken hele volksstammen die blind een hardeschijf weggooien als een chkdsk-test een stukje bad sector geeft, helemaal niet meer kijkende of dit überhaupt gewoon maar 1 bad sector is, of enkel een pending sector, waarbij nog moet blijken of het een reallocated sector wordt, of dat hij weer leesbaar bleek na een full format.

Zo had ik eens een SSD gekregen met allemaal bad sectors met HD-tune, maar allemaal pending sectors, oftewel nog onduidelijk wat het was. Meteen een long format gegeven, en een half uurtje later oid had ik een perfecte SSD met 0 pending sectors en 0 reallocated sectors.

[ Voor 30% gewijzigd door MsG op 06-02-2019 08:18 ]

[Giesber]

MsG schreef op woensdag 6 februari 2019 @ 08:07:
@Compizfox Nou ja waarom ik eerder al dit handwerk deed was omdat, zodra je dus een bad sector ontdekt, je in onzekerheid verkeert over de schadelijkheid hiervan / defectheid van de schijf. Terwijl als ik hem dan zelf een long format geef en zie dat de bad sector 'weer weg is' en current pending sectors en reallocated sector count niet omhoog is geschoten, ik constateer dat de schijf SMART-technisch nog prima is. Terwijl als ik weet dat het een daadwerkelijke fysieke sector is die stuk is, ik dat mee kan nemen in eventuele vervang-overwegingen.

Daar kan je ook een extended SMART test voor gebruiken. Dan blijft de harde schijf gewoon nog online, en het zou een stuk sneller moeten zijn. Ik dacht dat een extended SMART test hetzelfde doet als spinrite: elke sector uitlezen en schrijven. Alleen kan een SMART test dat een pak sneller, want de data hoeft niet over de SATA interface te gaan, de controller kan het alleen afhandelen. Dat is trouwens het HDD verhaal, hoe het bij een extended SMART test bij een SSD zit weet ik niet.

Edit na zoekwerk: een SMART test gaat dus niet schrijven, en geen pending sectoren oplossen. Wel pending sectoren vinden.

[ Voor 5% gewijzigd door Giesber op 06-02-2019 14:50 ]

[MsG]

Ik doe altijd met HD Tune een smart test die sector voor sector kijkt. Maar dat opnieuw schrijven/proberen van die eventuele rode blokjes doet HD Tune niet. Welk programma gebruik jij voor die Extended SMART Test waarbij hij dat wèl doet?

Op internet zag ik HDD Regenerator als alternatief. Zal die eens proberen als ik weer eens bad sectors heb.

[dennis_rsb]

Compizfox schreef op woensdag 6 februari 2019 @ 00:16:
[...]

Nee, het is helemaal nergens voor nodig wat je doet. Je hoeft de data niet "te verversen".

[...]

Dat werkt niet zo. Niet op de manier dat jij denk, in elk geval. Er bestaat zoiets als "silent corruption" of "bitrot", maar dat beïnvloedt alle sectoren evenveel en kun je niet voorkomen door de data te "verversen". Als jij een backup trekt dan kan daar immers al corrupte data in zitten, die je dan doodleuk met corruptie weer terugzet.

Als je bang bent voor bitrot, niet geheel onterecht als je belangrijke data lang wilt bewaren, moet je gaan kijken naar self-healing filesystems zoals ZFS. Die kunnen bitrot opsporen en repareren d.m.v. checksums over de data en redundantie. Dat werkt wel.

---

Interessant stuk! ZFS wel vaker van gehoord, maar wist niet echt de voordelen van deze schijfindeling, nu vertel jij dit, en heb even op internet gezocht. Klinkt ideaal. Maar zover ik zie is dat primair verkrijgbaar bij Linux distro's? Liefst wil ik wel Windows 10 blijven gebruiken. Draait ZFS op iedere (kant&klare) NAS?

En de externe back-upschijven zijn ook ingedeeld op NTFS. Dus dan moet je bijna al overgaan op Linux lijkt mij wil je ZFS op elke schijf kunnen gebruiken.

Komt dat bitrot eigenlijk vaak voor? Persoonlijk heb ik het nooit meegemaakt, ook niet bij familie. Maar ik lees op internet wel soms zoiets als ''omgevallen bitje'' waarmee men hetzelfde bedoeld volgens mij.

Edit: ik kom dit nog tegen Wikipedia: Data degradation

Magnetic media, such as hard disk drives, floppy disks and magnetic tapes, may experience data decay as bits lose their magnetic orientation. Periodic refreshing by rewriting the data can alleviate this problem. In warm/humid conditions these media, especially those poorly protected against ambient air, are prone to the physical decomposition of the storage medium.[1]

Dus de kans zou daadwerkelijk kleiner worden op bitrot door ''verversen van data''

En bij ssd's lijkt dat ook zo vergelijkbaar.

Solid-state media, such as EPROMs, flash memory and other solid-state drives, store data using electrical charges, which can slowly leak away due to imperfect insulation. The chip itself is not affected by this, so reprogramming it once per decade or so prevents decay. An undamaged copy of the master data is required for the reprogramming; by the time reprogramming is attempted, the master data may be lost

[ Voor 29% gewijzigd door dennis_rsb op 06-02-2019 10:33 ]

[Giesber]

MsG schreef op woensdag 6 februari 2019 @ 09:47:
Ik doe altijd met HD Tune een smart test die sector voor sector kijkt. Maar dat opnieuw schrijven/proberen van die eventuele rode blokjes doet HD Tune niet. Welk programma gebruik jij voor die Extended SMART Test waarbij hij dat wèl doet?

Hoe weet je dat HD tune dat niet doet? Ik dacht dat een SMART test door de controller van de harde schijf wordt uitgevoerd, en dat een extended SMART test dus altijd hetzelfde doet, door welk programma je dat ook start. Ik gebruikte overigens de smart command line tools van freeBSD (op een freenas server), en de WD tools op Windows (om de defecte WD schijf te controleren).

dennis_rsb schreef op woensdag 6 februari 2019 @ 10:28:
[...]

Interessant stuk! ZFS wel vaker van gehoord, maar wist niet echt de voordelen van deze schijfindeling, nu vertel jij dit, en heb even op internet gezocht. Klinkt ideaal. Maar zover ik zie is dat primair verkrijgbaar bij Linux distro's? Liefst wil ik wel Windows 10 blijven gebruiken. Draait ZFS op iedere (kant&klare) NAS?

En de externe back-upschijven zijn ook ingedeeld op NTFS. Dus dan moet je bijna al overgaan op Linux lijkt mij wil je ZFS op elke schijf kunnen gebruiken.

ZFS werkt native op freeBSD, maar er is ook al jaren linux ondersteuning voor. Windows ondersteuning is er nog niet, en er wordt ook niet aan gewerkt voor zover ik weet.

[MsG]

Giesber schreef op woensdag 6 februari 2019 @ 11:40:
[...]

Hoe weet je dat HD tune dat niet doet?

Omdat na 2 X HDTune draaien op een schijf met current pending sectors daarna precies hetzelfde resultaat opnieuw verschijnt, en niet zoals gebruikelijk dat OF er een reallocated sector bij is gekomen, OF current pending weer op 0 en er niks aan de hand was. Pas na een format krijg ik weer een volledig groene HDTune.

[HollowGamer]

@dennis_rsb Tja, hoe belangrijk is die data? Kan je niet gewoon af-en-toe een back-up maken, eventueel naar de cloud (met versiebeheer).

Je moet doen waar je gelukkig van wordt uiteraard, maar ik zie het voor alsnog als verspilde moeite en tijd.

[DataGhost]

MsG schreef op woensdag 6 februari 2019 @ 11:44:
[...]


Omdat na 2 X HDTune draaien op een schijf met current pending sectors daarna precies hetzelfde resultaat opnieuw verschijnt, en niet zoals gebruikelijk dat OF er een reallocated sector bij is gekomen, OF current pending weer op 0 en er niks aan de hand was. Pas na een format krijg ik weer een volledig groene HDTune.

Dat komt doordat het herhaaldelijk proberen te lezen van een "bad sector" op een gegeven moment wel goed kan gaan. Zoals al eerder gezegd hier, wordt er *nooit* geschreven totdat de user dat zelf doet. De SMART tests doen dat dus niet, HD Tune ook niet. Is ook nergens voor nodig, die sector kan lekker pending/rood blijven, daar heb je helemaal geen last van (behalve dat de data in die sector kwijt is). Als 'ie wordt overschreven wordt 'ie geremapt en "wordt 'ie weer groen". Alleen als het aantal pending/reallocated/unreadable regelmatig omhoog gaat zal het tijd zijn om de drive te vervangen.

[ Voor 29% gewijzigd door DataGhost op 06-02-2019 11:49 ]

[dennis_rsb]

HollowGamer schreef op woensdag 6 februari 2019 @ 11:47:
@dennis_rsb Tja, hoe belangrijk is die data? Kan je niet gewoon af-en-toe een back-up maken, eventueel naar de cloud (met versiebeheer).

Je moet doen waar je gelukkig van wordt uiteraard, maar ik zie het voor alsnog als verspilde moeite en tijd.

Gros is wel onvervangbare data zoals eigen gemaakte video/foto's. Zoveel tijd/moeite kost het niet om eens in de paar jaar de schijf traag te formatteren en de backup terug te plaatsen. Ik maak inderdaad backups. En tevens lees ik de smart uit. Maar waar het om gaat is waar Compizfox het over heeft. Datarot. Dat voorkom je niet door alleen backups te maken.

Wel heb ik het nu beter op een rijtje.

-Bij gebruik van SSD geen trage format doen, of hooguit na 5 jaar ofzo, omdat anders het aantal writes te hard oplopen. Verder vertrouwen op de slimmigheden van een SSD en regelmatig de smart uitlezen, en uiteraard backups maken.

-Bij een HDD toch de dataverversing doen af en toe, en uiteraard de smart in de gaten houden en backups maken.

-Idealiter overschakelen naar ZFS, maar als het alleen native op FreeBSD draait wordt m dat niet Ik kan wel een zelfbouw NAS maken en daar FreeBSD opzitten. Maar dan zit je nog steeds met je externe backupschijven, tenzij je die dan ook kan indelen via FreeBSD naar ZFS.

[MsG]

DataGhost schreef op woensdag 6 februari 2019 @ 11:48:
[...]


Dat komt doordat het herhaaldelijk proberen te lezen van een "bad sector" op een gegeven moment wel goed kan gaan. Zoals al eerder gezegd hier, wordt er *nooit* geschreven totdat de user dat zelf doet. De SMART tests doen dat dus niet, HD Tune ook niet. Is ook nergens voor nodig, die sector kan lekker pending/rood blijven, daar heb je helemaal geen last van (behalve dat de data in die sector kwijt is). Als 'ie wordt overschreven wordt 'ie geremapt en "wordt 'ie weer groen". Alleen als het aantal pending/reallocated/unreadable regelmatig omhoog gaat zal het tijd zijn om de drive te vervangen.

Ja dat zeg ik dus, maar ik reageer op @Giesber die zegt dat de SMART tests dat ook doen, wat volgens mij, en dus ook volgens jou niet zo is.

Ik vind dat penden dus niet zo fijn, omdat je dan vaak later pas ziet dat dat omhoog gaat, vandaar dat ik dat zelf wel een beetje monitor.

[Nuccie]

dennis_rsb schreef op woensdag 6 februari 2019 @ 11:54:
[...]


Gros is wel onvervangbare data zoals eigen gemaakte video/foto's. Zoveel tijd/moeite kost het niet om eens in de paar jaar de schijf traag te formatteren en de backup terug te plaatsen. Ik maak inderdaad backups. En tevens lees ik de smart uit. Maar waar het om gaat is waar Compizfox het over heeft. Datarot. Dat voorkom je niet door alleen backups te maken.

Vroeger gebruikten we QuickPar om bestanden van Usenet te controleren op fouten en eventueel te repareren. Tegenwoordig gebruik ik MultiPar (opvolger van QuickPar) om bij onmisbare bestanden een extra setje .par2 bestanden aan te maken en deze gaan mee op verschillende back-up media.
Daarna om de zoveel tijd kijken of de checksum nog correct is, indien dat het geval is zijn alle bestanden nog hetzelfde dan toen ze geback-upt werden, dus geen data corruptie.

[Wim-Bart]

Wat je ook doet, een backup is de beste oplossing voor alles. Verder kan je het beste een SSD en HDD gewoon met rust laten en laten doen waar ze goed in zijn. Daarnaast moet je een SSD niet behandelen als een HDD omdat een "sector" niet meer op een vaste locatie staat. Sector 0, Head 0, Cylinder 0 bij een SSD kan vandaag fysiek op punt A staan en morgen op punt B. Het zelfde geld een beetje voor moderen HDD's. ook daar is een fysieke locatie niet altijd meer aan de logische locatie. Bijvoorbeeld doordat een sectore relocated is. Defragmentatie en dergelijke is dan ook een beetje onzinnig en sloopt een SSD.

Vroeger had je een defecte sector, tegenwoordig is die al relocated voordat je er erg in hebt. Dus defragmenteren, leeg maken, data moven heeft geen enkel nut, behalve dat het tijd kost en de levensduur van je devices verkort.

[Giesber]

dennis_rsb schreef op woensdag 6 februari 2019 @ 11:54:
[...]
-Idealiter overschakelen naar ZFS, maar als het alleen native op FreeBSD draait wordt m dat niet Ik kan wel een zelfbouw NAS maken en daar FreeBSD opzitten. Maar dan zit je nog steeds met je externe backupschijven, tenzij je die dan ook kan indelen via FreeBSD naar ZFS.

Linux gaat ook, daar is het niet native door licentieproblemen, maar matuur genoeg om robuust te zijn. Windows support kan je vergeten.

MsG schreef op woensdag 6 februari 2019 @ 12:34:
[...]


Ja dat zeg ik dus, maar ik reageer op @Giesber die zegt dat de SMART tests dat ook doen, wat volgens mij, en dus ook volgens jou niet zo is.

Ik heb nog even opgezocht, en nagenoeg alle (want fabrikant afhankelijk) extended SMART tests gaan inderdaad niet schrijven. Ze gaan enkel alle sectoren lezen en verifiëren. Een (extended) SMART test kan dus sectoren markeren als pending (niet leesbaar), maar niet herstellen of markeren als bad sector. Daarvoor is inderdaad een schrijfactie nodig, die je onder andere kan doen met een volledige format.

Mijn excuses voor de verwarring.

[dennis_rsb]

Wim-Bart schreef op woensdag 6 februari 2019 @ 13:40:
Wat je ook doet, een backup is de beste oplossing voor alles. Verder kan je het beste een SSD en HDD gewoon met rust laten en laten doen waar ze goed in zijn. Daarnaast moet je een SSD niet behandelen als een HDD omdat een "sector" niet meer op een vaste locatie staat. Sector 0, Head 0, Cylinder 0 bij een SSD kan vandaag fysiek op punt A staan en morgen op punt B. Het zelfde geld een beetje voor moderen HDD's. ook daar is een fysieke locatie niet altijd meer aan de logische locatie. Bijvoorbeeld doordat een sectore relocated is. Defragmentatie en dergelijke is dan ook een beetje onzinnig en sloopt een SSD.

Vroeger had je een defecte sector, tegenwoordig is die al relocated voordat je er erg in hebt. Dus defragmenteren, leeg maken, data moven heeft geen enkel nut, behalve dat het tijd kost en de levensduur van je devices verkort.

Hmm dus als ik het goed begrijp is een backup meestal voldoende? Een hdd low level formatteren af en toe zal imo niet veel kwaad kunnen voor de levensduur (in het geval van een hdd, bij een ssd ligt dit anders natuurlijk omdat het aantal writes drastisch stijgt bij een trage format), al is het twijfelachtig of het echt nut heeft. Meeste hier zeggen dat het geen nut heeft, maar goed als ik wat sites bekijk die het hebben over de datarot raden die dikwijls wel aan om zo om de paar jaar de data eens te verversen, in ieder geval bij een mechanische schijf.

Maar SMART van hdd en ssd af en toe controleren en backups maken is het belangrijkste als ik jou goed begrijp?

Veel diverse meningen hier merk ik.

[ Voor 7% gewijzigd door dennis_rsb op 06-02-2019 15:05 ]

[Compizfox]

dennis_rsb schreef op woensdag 6 februari 2019 @ 10:28:
[...]

Interessant stuk! ZFS wel vaker van gehoord, maar wist niet echt de voordelen van deze schijfindeling, nu vertel jij dit, en heb even op internet gezocht. Klinkt ideaal. Maar zover ik zie is dat primair verkrijgbaar bij Linux distro's? Liefst wil ik wel Windows 10 blijven gebruiken. Draait ZFS op iedere (kant&klare) NAS?

FreeBSD voornamelijk, eigenlijk. Maar sinds een tijdje is het ook heel stabiel op Linux (ZoL; ZFS on Linux).

En de externe back-upschijven zijn ook ingedeeld op NTFS. Dus dan moet je bijna al overgaan op Linux lijkt mij wil je ZFS op elke schijf kunnen gebruiken.

Ja, dit is iets wat je normaal gesproken op een fileserver/NAS (met FreeBSD of Linux) draait, niet op je desktop-PC.

Komt dat bitrot eigenlijk vaak voor? Persoonlijk heb ik het nooit meegemaakt, ook niet bij familie. Maar ik lees op internet wel soms zoiets als ''omgevallen bitje'' waarmee men hetzelfde bedoeld volgens mij.

Edit: ik kom dit nog tegen Wikipedia: Data degradation

Magnetic media, such as hard disk drives, floppy disks and magnetic tapes, may experience data decay as bits lose their magnetic orientation. Periodic refreshing by rewriting the data can alleviate this problem. In warm/humid conditions these media, especially those poorly protected against ambient air, are prone to the physical decomposition of the storage medium.[1]

Klopt. Tja, wat is vaak... Als je data voor een langere tijd (jaren/tientallen jaren) bewaart, dan wil er hier en daar nog wel eens een bitje omklappen ja. Dit zie je soms in de praktijk als JPEGs (foto's) met rare lijnen erin.

Dus de kans zou daadwerkelijk kleiner worden op bitrot door ''verversen van data''

Het probleem met die methode is dat je niet weet of corruptie al is opgetreden wanneer je dat doet. Het is dus alsnog geen echte oplossing omdat je bitrot niet kunt detecteren.

[MsG]

Wim-Bart schreef op woensdag 6 februari 2019 @ 13:40:
Wat je ook doet, een backup is de beste oplossing voor alles. Verder kan je het beste een SSD en HDD gewoon met rust laten en laten doen waar ze goed in zijn. Daarnaast moet je een SSD niet behandelen als een HDD omdat een "sector" niet meer op een vaste locatie staat. Sector 0, Head 0, Cylinder 0 bij een SSD kan vandaag fysiek op punt A staan en morgen op punt B. Het zelfde geld een beetje voor moderen HDD's. ook daar is een fysieke locatie niet altijd meer aan de logische locatie. Bijvoorbeeld doordat een sectore relocated is. Defragmentatie en dergelijke is dan ook een beetje onzinnig en sloopt een SSD.

Vroeger had je een defecte sector, tegenwoordig is die al relocated voordat je er erg in hebt. Dus defragmenteren, leeg maken, data moven heeft geen enkel nut, behalve dat het tijd kost en de levensduur van je devices verkort.

Maar hoe doe jij dat in redelijkheid? Die 'bitrot' is zo subtiel. Dat MP3'tje wat eerder geen piep er in had, maar blijkbaar nu random ineens kraakt. Dat sinterklaasgedicht wat je al jaren op je PC had staan, dat ineens corruptie er bij in heeft, etc. etc. Met backups sluimert dat soort corruptie er helaas vaak ook in. Eigenlijk zouden tools daar ook wel meer op mogen checken, al is corruptie niet per se duidelijk te herkennen natuurlijk, laat staan in gesloten formaten.

[mcDavid]

dennis_rsb schreef op maandag 4 februari 2019 @ 22:48:
Daarnaast formatteer ik bij mij zelf elke +- 2 jaar de dataschijf volledig en plaats het daarna vanuit de backup weer terug. Zodat alle data even van zijn plaats is. (om risico op dataverlies/corruptie te verkleinen) Ik raad dit ook aan aan mijn broers, hoewel een vriend mij zegt dat Windows dit zelf regelt?

Mag ik vragen wat precies het idee hierachter is? Heb je checksums van je backups maar niet van de originele data?

Als je geen checksum controle doet lijkt me dit volledig nutteloos. De kans dat je backup corrupt is is immers niet significant kleiner dan de kans dat het origineel corrupt is. Misschien is de kans zelfs groter, want met het origineel heb je nog de kans dat je het opgemerkt had als een bestand corrupt was.
In ieder geval heb je na het terugschrijven van zo'n kopie geen redundantie meer die je in geval van corruptie zou kunnen helpen dus het lijkt me dat het eerder meer kwaad doet dan goed.

Andersom, als je wel checksums maakt, is het ook volledig nutteloos, tenzij je natuurlijk daadwerkelijk checksum errors hebt.

Als je je wilt beschermen tegen bitrot lijkt het me in alle gevallen verstandig om gewoon pariteitsdata te gebruiken en geen zelfverzonnen lapmiddeltjes

edit: Zie inmiddels dat je je aan het inlezen bent op ZFS, dan is je waarschijnlijk al een hoop duidelijk geworden

Maar er bestaan ook backup tools (zoals duplicity/duplicati) die automatisch checksum controles kunnen doen en pariteitsdata kunnen maken bij je backups. Waarschijnlijk is dat praktischer voor je als je vast zit aan ouderwetse filesystems.

[ Voor 12% gewijzigd door mcDavid op 06-02-2019 17:26 ]

[dennis_rsb]

mcDavid schreef op woensdag 6 februari 2019 @ 17:17:
[...]

Mag ik vragen wat precies het idee hierachter is? Heb je checksums van je backups maar niet van de originele data?

Als je geen checksum controle doet lijkt me dit volledig nutteloos. De kans dat je backup corrupt is is immers niet significant kleiner dan de kans dat het origineel corrupt is. Misschien is de kans zelfs groter, want met het origineel heb je nog de kans dat je het opgemerkt had als een bestand corrupt was.
In ieder geval heb je na het terugschrijven van zo'n kopie geen redundantie meer die je in geval van corruptie zou kunnen helpen dus het lijkt me dat het eerder meer kwaad doet dan goed.

Andersom, als je wel checksums maakt, is het ook volledig nutteloos, tenzij je natuurlijk daadwerkelijk checksum errors hebt.

Als je je wilt beschermen tegen bitrot lijkt het me in alle gevallen verstandig om gewoon pariteitsdata te gebruiken en geen zelfverzonnen lapmiddeltjes

Nee geen checksum controle. Ik heb zoveel JPEG's, video_ts met inhoud, MP4, MP3, documenten dat dat erg veel weer is om die allemaal een checksum te geven. Par bestanden maken heb ik nog nooit gedaan, maar kan daar eens naar kijken. Ik snap wel wat jij en Compizfox bedoeld. Al zou je je schijf formatteren na x aantal tijd. Dan zou je eigenlijk tussen in al continue al moeten kijken of alle bestanden nog goed werken, wat in de praktijk niet te doen is. Immers gebruik je niet alle bestanden dagelijks/wekelijks/maandelijks.

[mcDavid]

@dennis_rsb zie edit van mijn vorige post

[MsG]

Maar hoe weet zo'n backup-tool dan dat het ene plaatje niet veranderd mag zijn qua bits, maar het document dat je aan het schrijven was weer wèl? Je wil ook niet bij een backup de hele tijd handmatig toestaan dat een bestand gewijzigd is, of iets dergelijks.

[mcDavid]

MsG schreef op woensdag 6 februari 2019 @ 17:31:
Maar hoe weet zo'n backup-tool dan dat het ene plaatje niet veranderd mag zijn qua bits, maar het document dat je aan het schrijven was weer wèl? Je wil ook niet bij een backup de hele tijd handmatig toestaan dat een bestand gewijzigd is, of iets dergelijks.

Zo'n backup tool maakt gewoon incremental backups, zodat je (evenals bij ZFS overigens) altijd terug kunt naar een "snapshot" van een oudere versie.

Een goeie backup tool beschermt je op die manier ook tegen eigen stommiteiten zoals het per-ongeluk overschrijven of verwijderen van een bestand.

[dennis_rsb]

mcDavid schreef op woensdag 6 februari 2019 @ 17:36:
[...]

Zo'n backup tool maakt gewoon incremental backups, zodat je

Detecteert ie dan dat je een externe backupsschijf aansluit en maakt ie dan de backup? Nu doe ik altijd een full backup via de verkenner. Ik ben namelijk nooit een backupprogramma tegen gekomen die je niet in een vendor-lock stopt. Veel van de tools die ik geprobeerd had, stoptte alle files in één containerformaat. Vergelijkbaar met een image van Ghost of Acronis.

[mcDavid]

dennis_rsb schreef op woensdag 6 februari 2019 @ 17:39:
[...]

Detecteert ie dan dat je een externe backupsschijf aansluit en maakt ie dan de backup? Nu doe ik altijd een full backup via de verkenner. Ik ben namelijk nooit een backupprogramma tegen gekomen die je niet in een vendor-lock stopt. Veel van de tools die ik geprobeerd had, stoptte alle files in één containerformaat. Vergelijkbaar met een image van Ghost of Acronis.

Ik kan natuurlijk niet voor alle tools van de wereld spreken, maar Duplicity gebruikt gewoon standaard technieken om archives te maken (tar), te encrypten (gpg) etc.. Opzich is het vrijwel ondenkbaar dat Duplicity van de aardbodem zou verdwijnen, maar zelfs in dat geval zou je je data altijd nog handmatig kunnen extracten, zolang je de key maar hebt.

Iedere keer een full backup maken kost ontzettend veel schijfruimte en tijd als je het vergelijkt met incremental backups. Zou ik dus sowieso afraden. Ik backup niet naar een externe schijf maar naar cloudhosting, en heb gewoon een cronjob die dat periodiek doet. Eéns in de paar maanden een full backup (en daarna een oudere backup weer weggooien) en de rest incremental.

[ Voor 17% gewijzigd door mcDavid op 06-02-2019 17:53 ]

[MsG]

mcDavid schreef op woensdag 6 februari 2019 @ 17:36:
[...]

Zo'n backup tool maakt gewoon incremental backups, zodat je (evenals bij ZFS overigens) altijd terug kunt naar een "snapshot" van een oudere versie.

Een goeie backup tool beschermt je op die manier ook tegen eigen stommiteiten zoals het per-ongeluk overschrijven of verwijderen van een bestand.

En hoeveel increments gaat jouw backup-inrichting terug? Vaak ontdek ik dat kapotte MP3'tje of die kapotte JPG pas jaren later. Dat is een beetje het karige met die sluimerende corruptie. Ik heb nog weinig consumentenoplossingen gevonden die dat soort 10-15 jaars termijnen overleeft. Voor nu zit ik ook al een tijdje aan de Duplicatie icm Stack, maar ik moet op de langere termijn maar zien of dat het is. Als je niet oppast synchroniseert die bitrot gewoon mee in de backup.