Hebben mechanische schijven ooit retraining nodig?

[Verwijderd]

Aangezien per jaar 1% van het magnetisch veld op waarop data staat vervaagt.... En hoe doe je zoiets? Alles eraf kopieren en opnieuw schrijven?

Ik heb wat (antieke) disks liggen die het nog steeds doen na een jaar of 15. Perfect voor backups en het bevat aardig wat persoonlijke data.

Ik trok er vandaag eentje uit de kast om wat eraf te halen, maar stel nou dat ... Hebben die dingen ooit een retraining nodig? Het gaat om een 6 tal samsung HDD's.

[Douweegbertje]

Het is naar mijn mening vragen om problemen. Ze zijn er simpelweg niet voor gemaakt. Tapes wel.
Je vraag vind ik ook lastig, want je geeft aan dat je het gebruikt voor backups? Ik zou dus niet 15 jaar oude disks gebruiken voor het geen wat nu juist zo belangrijk is: mijn backups. Als ik een 15 jaar oude disk heb, dan zou ik juist daar een backup van maken en de disk weg doen.
Definieer ook "nog steeds doen"? Er is kans op Wikipedia: Data degradation - wat misschien niet direct zichtbaar is.

Om misschien tot de kern te komen, backups zijn super belangrijk dus dan ga je niet 'dingen' doen (retraining, of wat dat ook precies is) maar zorg je voor altijd degelijke hardware die je op tijd vervangt en daar ook nog een kopie van hebt. Vaak wat je ziet is dat men voor long term storage een replica of 3 hebben en binnen x-periode of x-runtime disks vervangen. of.. het dus op tapes zetten

De kans is naar mijn inziens groot dat je in 1x heel je disk verliest. Dat zou wel jammer zijn natuurlijk.

[Verwijderd]

Ze liggen jaren beschermd in de kast. En zolang ze niet gebruikt worden gaat er ook weinig mis lijkt mij. Als er een PCB kapot gaat dan is het vervangen relatief simpel (jarenlang HDD recovery gedaan). Van alle meest belangrijke backups staat op iedere disk feitelijk wel hetzelfde. Dus als er eentje eruit vliegt is dat niet zo'n ramp. _{in mijn boek is samsung qua betrouwbaarheid het hoogst hier... daarintegen Seagate en WD vooral vallen als appels uit de bomen qua betrouwbaarheid}

Maar ....

Magnetic Field Deterioration: Permanent magnets generally lose their field strength at the rate of 1% per year. After 69 years, the field strength would have dropped by 50 percent. That much field strength loss will likely lead not only to general data corruption of the stored data, but also to the loss of the index tracking marks which tell a drive where a sector starts and stops. So, not only is the stored data lost, but the ability to read the drive may be gone as well.

Dit dus. Ik weet 1% per jaar is niet zo bijster veel. Maar toch.

[ Voor 7% gewijzigd door Verwijderd op 04-11-2022 03:55 ]

[FrankHe]

Verwijderd schreef op vrijdag 4 november 2022 @ 02:11:
Aangezien per jaar 1% van het magnetisch veld op waarop data staat vervaagt.... En hoe doe je zoiets? Alles eraf kopieren en opnieuw schrijven?

Ik heb wat (antieke) disks liggen die het nog steeds doen na een jaar of 15. Perfect voor backups en het bevat aardig wat persoonlijke data.

Ik trok er vandaag eentje uit de kast om wat eraf te halen, maar stel nou dat ... Hebben die dingen ooit een retraining nodig? Het gaat om een 6 tal samsung HDD's.

Na 15 jaar zou ik mij om hele andere dingen zorgen gaan maken. Drooggevallen elektrolytische condensatoren en opgedroogde smerig van lager zie ik als een groter probleem dan het vervagen van het magnetisch veld. Oude schijven zou ik niet meer vertrouwen. Theoretisch klinkt het misschien leuk maar in de praktijk wil je gewoon geen belangrijke data op een oude schijf hebben.

[FrankHe]

Verwijderd schreef op vrijdag 4 november 2022 @ 03:54:
Ze liggen jaren beschermd in de kast. En zolang ze niet gebruikt worden gaat er ook weinig mis lijkt mij. Als er een PCB kapot gaat dan is het vervangen relatief simpel (jarenlang HDD recovery gedaan). Van alle meest belangrijke backups staat op iedere disk feitelijk wel hetzelfde. Dus als er eentje eruit vliegt is dat niet zo'n ramp. _{in mijn boek is samsung qua betrouwbaarheid het hoogst hier... daarintegen Seagate en WD vooral vallen als appels uit de bomen qua betrouwbaarheid}

Maar ....

[...]

Dit dus. Ik weet 1% per jaar is niet zo bijster veel. Maar toch.

Die 1% is gemiddeld! Het vervelende van bit rot is dat het niet evenredig plaatsvindt. De grap is juist dat (oude) schijven met een lage capaciteit relatief weinig bit rot kennen en (nieuwe) schijven met een hoge capaciteit een hogere kans hebben op bit rot. Vandaar dat je de laatste jaren zo'n enorme vlucht ziet naar hedendaagse file systems als Btrfs en ZFS. Dit is niet zozeer vanuit luxe maar juist vanuit bittere noodzaak. Doormiddel van scrub and check wil je bit rot in een vroeg stadium detecteren en repareren. Het is een kwestie van kansberekening, bij grote getallen neemt de absolute kans nu eenmaal toe.

Een PCB van een schijf vervangen is één ding, maar vaak moet je ook nog de firmware op de juiste versie brengen. Het is niet gezegd dat twee identieke schijven ook exact dezelfde firmware draaien.

[Verwijderd]

Ik acht gekgenoeg oudere schijven betrouwbaar als nieuwere. De enige disks die vaker kapot gingen bij mij waren met name seagate's en WD's - maar ook binnen een HDD recovery die ik commercieel deedt was het gros allemaal Seagate, WD's en sporadisch een derde merk. Meestal in behuizingen van tafel gedonderd ofzo. Ja ik ben me bewust van PCB swapping + firmware clonen of overzetten. Ik had dan ook een succesratio van 95%. Ging zelfs zover dat ik HDD's draaiende in de vriezer had om juist de data eraf te krijgen (met succes).

[Ben(V)]

Disken zijn voor dataopslag en voor backup, maar volkomen ongeschikt als archivering medium(net als tapes).

Alles wat met magnetisme werkt verliest op den duur informatie.
Verder krijg je op den duur te maken met niet meer bestaande interfaces, software en degraderende hardware.

En 15 jaar oude disk kun je misschien wel de data vanaf halen, maar gegarandeerd niet zonder corruptie.
Uiteraard is het afhankelijk van die data of dat erg is.
Een video bestand waar wat beeld bitjes van zijn omgevallen is bijvoorbeeld geen enkel probleem maar als dat in de metadata of de folderstructuur gebeurd heb je wel een probleem.

Eigenlijk is er nog geen echt goede methode om data langdurig te archiveren.

En die 6 stuks 15 jaar oude harddisken zou ik even kopiëren naar een nieuwe schijf en de oude weggooien.
De kosten zal het niet zijn, want 15 jaar oude disken zijn naar huidige maatstaven erg klein.

PS
ssd's zijn helemaal een ramp als het om archivering gaat.
Volgens de jedec specs moeten ze zonder power de data minimaal een jaar kunnen vasthouden.
Gemiddeld zal het tussen de 2 en 5 jaar zijn, maar dus volkomen ongeschikt voor archivering.

[Q]

Archivering is niet iets wat je eenmalig doet. Archivering is een proces. Dat proces bestaat uit periodiek data overzetten op een nieuw fris medium. Dat is wat je doet als je data belangrijk is. Als je data dit niet waard is, waarom dan bewaren? Al die oude data past vast op een enkele moderne schijf. Koop er twee voor de zekerheid en zet de data op twee schijven.

Je hebt in het verleden mazzel gehad met schijven in de vriezer en PCBs maar dat is in feite gewoon archivering op basis van Russische Roulette. Je praat jezelf een schijn-veligiheid aan. Wat jij doet zou ik niemand aan raden die om zijn/haar data geeft.

[ Voor 26% gewijzigd door Q op 05-11-2022 22:07 ]

[Verwijderd]

Ben(V) schreef op zaterdag 5 november 2022 @ 14:02:
Disken zijn voor dataopslag en voor backup, maar volkomen ongeschikt als archivering medium(net als tapes).

Alles wat met magnetisme werkt verliest op den duur informatie.
Verder krijg je op den duur te maken met niet meer bestaande interfaces, software en degraderende hardware.

En 15 jaar oude disk kun je misschien wel de data vanaf halen, maar gegarandeerd niet zonder corruptie.
Uiteraard is het afhankelijk van die data of dat erg is.
Een video bestand waar wat beeld bitjes van zijn omgevallen is bijvoorbeeld geen enkel probleem maar als dat in de metadata of de folderstructuur gebeurd heb je wel een probleem.

Eigenlijk is er nog geen echt goede methode om data langdurig te archiveren.

En die 6 stuks 15 jaar oude harddisken zou ik even kopiëren naar een nieuwe schijf en de oude weggooien.
De kosten zal het niet zijn, want 15 jaar oude disken zijn naar huidige maatstaven erg klein.

PS
ssd's zijn helemaal een ramp als het om archivering gaat.
Volgens de jedec specs moeten ze zonder power de data minimaal een jaar kunnen vasthouden.
Gemiddeld zal het tussen de 2 en 5 jaar zijn, maar dus volkomen ongeschikt voor archivering.

Lijkt me stug dat SATA verdwijnen gaat de komende jaren. Dus die dingen kunnen echt nog wel even mee. Anders vindt je wel een USB > Sata ding. Het gaat me erom of magnetisme op traditionele HDD"s enigzins betrouwbaar zijn over tijd of niet.

Ik weet dat als ik in een schijf 10 jaar in de kast leg en er na 10 jaar weer uithaal de kans aanzienlijk is dat deze het gewoon nog doet. Teminste in mijn optiek doen de oudere schijven het beter dan de nieuwere.

Ik heb jaren HDD recovery gedaan. Mijn succesratio was meer dan 95%. Ook met PCB's en het swappen van firmware's. Het gros van mensen wil gewoon hun data terug. Wat er met die disk gebeurd naderhand zal men een rotzorg wezen. Als die data er maar af komt.

En ja, soms moet je brutale middelen toepassen, zoals het invriezen van een HDD maar ook in de vriezer laten terwijl het operatief is om juist de datablocks eraf te kunnen krijgen. Je zal je verbazen wat voor een krachtige tools er zijn voor dat doel.

Ik heb denk ik 5+ pakketten geprobeerd maar ik blijf zweren bij eentje: testdisk. In sommige extreme gevallen duurde het ruim 48 uur maar de data was naderhand wel van de disk eraf. Doel heiligt de middelen.

En als er toch 1 schijf uitdondert in mijn archief, dan heb ik er 5 over op waarop dezelfde data staat. Daar maak ik me niet zo'n zorgen over of om. Gaat me er alleen om hoe betrouwbaar diezelfde data nog over 10 jaar is.

[Herman]

@Verwijderd Wat is het doel van dit topic als je alle antwoorden in dit topic gaat weerspreken? Wil je alleen het antwoord hebben dat je wilt horen?

[FrankHe]

Verwijderd schreef op maandag 7 november 2022 @ 04:38:
[...]

Lijkt me stug dat SATA verdwijnen gaat de komende jaren. Dus die dingen kunnen echt nog wel even mee. Anders vindt je wel een USB > Sata ding. Het gaat me erom of magnetisme op traditionele HDD"s enigzins betrouwbaar zijn over tijd of niet.

[...]

Ik heb hier nog een Ultra3 SCSI (160 Mbytes/sec) Low Voltage Differential (LVD) schijf liggen. Benieuwd of daar nog interfaces voor bestaan? Dat is in dit geval niet van toepassing omdat ik weet dat deze schijf stuk is, maar er zijn genoeg oude schijven te bedenken met een interface die tegenwoordig niet meer zo courant zijn.

Aanvulling met betrekking tot recovery, dat zie ik echt als allerlaatste redmiddel. Hier staat het archief gewoon bij de reguliere data op de NAS.

Alle data, dus ook het archief gaat hier mee in de geversioneerde dubbele backup volgens het 3-2-1-beginsel. Er vindt regelmatig automatisch een check plaats op de data-integriteit van de backups. Wanneer de NAS wordt vernieuwd naar staan zowel de reguliere data als het archief meteen op frisse hardware. Dat is naar mijn mening een duurzame manier van archiveren in een SOHO situatie. De grap is dat het archief doorgaans kleiner van omvang is dan de huidige hoeveelheid reguliere data waardoor het niet ingewikkeld is om deze gewoon mee te nemen.

[ Voor 33% gewijzigd door FrankHe op 07-11-2022 10:47 . Reden: aanvulling recovery ]

[dmantione]

Volgens mij is bij oude harde schijven het magnetisch omvallen van bits niet de beperkende factor, ze vallen niet om en als het gebeurt zijn er foutcorrectiealgoritmen die dat opvangen. Ze hebben eerst last van mechanische problemen: Assen die na jaren niet gedraaid hebben niet meer wrijvingsloos draaien of motortjes die door de tand des tijds niet genoeg kracht meer leveren.

Ik zou zeggen dat 10 jaar backup op magnetische schijven geen enkel probleem is, maar perioden langer dan 20 jaar vermijden. Als gegevens zo lang bewaard moeten blijven, dan uitlezen en op nieuwe media schrijven.

[HenkEisDS]

Dat een schijf die je al een aantal jaar zonder problemen gebruikt een kleinere faalkans heeft dan een nieuwe dat vind ik wel logisch klinken. Maar toch zou ik een 15 jaar oude schijf toch niet durven gebruiken als backup, tenzij je een heel systeem (raid nr nogwat) hebt opgezet om de status van die schijven te checken en je belangrijke files op minstens 2 van die gare oude backup schijven staan.

Ik zou vanwege Moores law juist alles op nieuwe schijven zetten. 4TB kost je nog geen 100 euro en voor 200 euro heb je dus een goede backup schijf en een offsite backup schijf.

[Stanton]

Ik heb jaren HDD recovery gedaan. Mijn succesratio was meer dan 95%. Ook met PCB's en het swappen van firmware's. Het gros van mensen wil gewoon hun data terug. Wat er met die disk gebeurd naderhand zal men een rotzorg wezen. Als die data er maar af komt.

En ja, soms moet je brutale middelen toepassen, zoals het invriezen van een HDD maar ook in de vriezer laten terwijl het operatief is om juist de datablocks eraf te kunnen krijgen. Je zal je verbazen wat voor een krachtige tools er zijn voor dat doel.

Ik heb denk ik 5+ pakketten geprobeerd maar ik blijf zweren bij eentje: testdisk. In sommige extreme gevallen duurde het ruim 48 uur maar de data was naderhand wel van de disk eraf. Doel heiligt de middelen.

Bla bla bla ..

Allereerst zou ik willen zeggen stuur je opslag media nooit naar een lab dat een 95% succes rate claimt. Dat riekt naar creatief goochelen met getallen, zoiets: https://www.disktuna.com/...-are-they-worth-anything/. Dit lab https://thedigilab.com/ wordt binnen de data recovery community gezien als top notch als het aankomt op mechanische drives. Als niemand het kan, dan stuur je je drive hier naartoe. Wat valt op? Geen succes percentages. Waarom? Als je veel complexe zaken aanneemt zal je succes percentage omlaag gaan, iedereen kan scoren met uitmuntende slaging percentages als je alleen simpele gevallen aanneemt. Lang verhaal kort, succes percentages zeggen me niets.

PCB swaps zijn oplossing voor een beperkt aantal gevallen en een goed deel van de firmware bevindt zich op de platters en een ROM swap gaat niets doen indien deze on-drive firmware corrupt is.

Theoretisch kan bevriezen van een drive een zeer beperkt aantal issues op meest oudere drives tijdelijk omzeilen maar het is toch vooral een bruut middel dat 99 van 100 issues niet oplost terwijl iedereen kan aanvoelen dat de methode niet zonder risico is. Een drive koelen tijdens het clonen is best een goed idee maar daar hebben we geen vriezer voor nodig. Ik sta in dagelijks contact met zo'n 20 data recovery labs en weet, de vriezer behoort niet tot het dagelijkse repertoire.

Data recovery is niet het domweg uitproberen van pakketten, en nee TestDisk is niet "de pinnacle" van data recovery tools. Als dat je conclusie is heb je niet de juiste tools geprobeerd. Deze pakketten zijn sowieso tools voor enkel logische data recovery. Een 'beetje lab' beschikt over diverse logische data recovery tools en kiest een tool die zich het best leent voor de situatie (denk RAID recovery, of recovery van een specifiek bestandssysteem zoals bijvoorbeeld XFS). Daarbij zijn deze tools vaak het sluitstuk die helemaal aan het eind van het recovery proces worden toegepast.

[Boermansjo]

Ben(V) schreef op zaterdag 5 november 2022 @ 14:02:
Disken zijn voor dataopslag en voor backup, maar volkomen ongeschikt als archivering medium(net als tapes).

Alles wat met magnetisme werkt verliest op den duur informatie.
Verder krijg je op den duur te maken met niet meer bestaande interfaces, software en degraderende hardware.

En 15 jaar oude disk kun je misschien wel de data vanaf halen, maar gegarandeerd niet zonder corruptie.
Uiteraard is het afhankelijk van die data of dat erg is.
Een video bestand waar wat beeld bitjes van zijn omgevallen is bijvoorbeeld geen enkel probleem maar als dat in de metadata of de folderstructuur gebeurd heb je wel een probleem.

Eigenlijk is er nog geen echt goede methode om data langdurig te archiveren.

En die 6 stuks 15 jaar oude harddisken zou ik even kopiëren naar een nieuwe schijf en de oude weggooien.
De kosten zal het niet zijn, want 15 jaar oude disken zijn naar huidige maatstaven erg klein.

PS
ssd's zijn helemaal een ramp als het om archivering gaat.
Volgens de jedec specs moeten ze zonder power de data minimaal een jaar kunnen vasthouden.
Gemiddeld zal het tussen de 2 en 5 jaar zijn, maar dus volkomen ongeschikt voor archivering.

Leuke informatie allemaal. Ik heb hier zelf ook nog een hdd liggen die al ouder is dan 13j.
Werkt nog perfect. Data die erop staat is niet echt kritiek moest ik deze kwijt zijn.
Maar toch ben ik benieuwd naar langdurige opslag. (Nintendo gameboy cartridges bv. Die blijven toch goed werken na 20+ jaar)
Is ROM dan echt geen goeie oplossing op lange termijn ?

[Ben(V)]

Een ROM is Read Only Memory, dat kun je enkel eenmalig programmeren (lees wegbranden van dioden in het substraat).

En of iets blijft werken is natuurlijk heel wat anders dan dat alle data nog correct en ongewijzigd aanwezig is.

En mensen die roepen dat het wel opgelost wordt door de ingebouwde error correctie moet ik ook teleurstellen.
Die kan alleen op het moment data de data gelezen wordt detecteren dat er iets niet correct is, maar heeft geen enkele mogelijkheid dat weer recht te trekken.
Om dat te kunnen doen heb je een raidset nodig en geen enkelvoudige disken.

Misschien moeten de mensen die er anders over denken hun natuurkunde even ophalen, magnetische velden zijn altijd onderhavig aan degradatie, de enige vraag is hoe snel het gaat.

Wat archivering omgevingen zoals bijvoorbeeld "Beeld en Geluid archief" doen is redundant opslaan en regelmatig alles scrubben en indien nodig weer te corrigeren.

[Verwijderd]

Stanton schreef op maandag 7 november 2022 @ 14:44:
[...]


PCB swaps zijn oplossing voor een beperkt aantal gevallen en een goed deel van de firmware bevindt zich op de platters en een ROM swap gaat niets doen indien deze on-drive firmware corrupt is.

Wtf. Jaren is de MCU / EMU of firmware gewoon op de PCB te vinden:



Jij stelt dus dat firmware's tegenwoordig ondisk worden geplaatst?

Theoretisch kan bevriezen van een drive een zeer beperkt aantal issues op meest oudere drives tijdelijk omzeilen maar het is toch vooral een bruut middel dat 99 van 100 issues niet oplost terwijl iedereen kan aanvoelen dat de methode niet zonder risico is. Een drive koelen tijdens het clonen is best een goed idee maar daar hebben we geen vriezer voor nodig. Ik sta in dagelijks contact met zo'n 20 data recovery labs en weet, de vriezer behoort niet tot het dagelijkse repertoire.

Het doel heiligt de middelen. De recovery dat ik boodt koste de consument ~ 250 euro met een slagingskans van ruim 95%. Ik nam de disks niet aan die van tafel waren gevallen (Externe HDD's) want dat waren vaak schijven met optische schade (platter / koppen) waar ik gewoon niet de apparatuur voor had.

Data recovery is niet het domweg uitproberen van pakketten, en nee TestDisk is niet "de pinnacle" van data recovery tools. Als dat je conclusie is heb je niet de juiste tools geprobeerd. Deze pakketten zijn sowieso tools voor enkel logische data recovery. Een 'beetje lab' beschikt over diverse logische data recovery tools en kiest een tool die zich het best leent voor de situatie (denk RAID recovery, of recovery van een specifiek bestandssysteem zoals bijvoorbeeld XFS). Daarbij zijn deze tools vaak het sluitstuk die helemaal aan het eind van het recovery proces worden toegepast.

Ja maar mijn hele dienst was niet gebaseerd op het bieden van Lab achtige recovery, recovery waarvan ik weet hee die kan ik fixen en vaak voor 1/3rde van het bedrag t.o.v wat een consument kwijt zou zijn richting een echt lab. Geef de complexe gevallen maar aan labs. Want dan kijk je grofweg tegen 800 ex btw zonder enige garantie dat je je data terug zult krijgen of niet.

Ik heb jarenlang gewerkt met https://www.stellar.nl/ ook; en ook die hadden een behoorlijk grote kans op herstel (bij de echt extreme cases). Maar dat was ook duur. Je betaald per GB en als je veel files of grote bestanden had werd het een aardig dure case. Enige wat ik rekende was mij fee en alles ging per gecomprimeerd en wachtwoord beveiligd bestand terug naar de consument. De HDD na herstel in de vuilnisbak na een paar goede petsen met een hamer.

Mijn ervaring is dat de oudere disk het veel beter (betrouwbaarder) doen dan de nieuwere generatie. Best voorbeeld is samsung schijven t.o.v WD of seagate. De faillure rate bij die laatste 2 genoemde zijn bizar hoog.

[ Voor 3% gewijzigd door Verwijderd op 07-11-2022 15:33 ]

[Stanton]

Ben(V) schreef op maandag 7 november 2022 @ 15:26:

En mensen die roepen dat het wel opgelost wordt door de ingebouwde error correctie moet ik ook teleurstellen.
Die kan alleen op het moment data de data gelezen wordt detecteren dat er iets niet correct is, maar heeft geen enkele mogelijkheid dat weer recht te trekken.

ECC detecteert en corrigeert, maar kan dit slechts voor een beperkt aantal bit errors. Hoeveel dat er zijn hangt af van ECC algoritme en grootte van ECC blok.

Bepaalde ECC algoritmes zijn geoptimaliseerd voor correctie van burst errors (dus meerdere bits na elkaar 'flippen') andere juist weer voor scattered bit errors. En als rule of thumb, hoe groter je ECC data, des te meer errors je corrigeren kunt.

[Ben(V)]

Een disk heeft geen ECC data aan boord, dat vind je enkel op cd en dvd's.
Er is slechts een CRC aanwezig op elke disksector waarmee gedetecteerd kan worden of de data nog correct is.
Als een disk ECC aan boord had dan zou zoiets als Bitrot niet bestaan, want dan zou de disk dat zelf gewoon corrigeren.

[hcQd]

Ben(V) schreef op maandag 7 november 2022 @ 15:39:
Een disk heeft geen ECC data aan boord, dat vind je enkel op cd en dvd's.
Er is slechts een CRC aanwezig op elke disksector waarmee gedetecteerd kan worden of de data nog correct is.

In de jaren '90 misschien nog wel, maar met de huidige dichtheden kan een harde schijf niet functioneren zonder ecc.

[Ben(V)]

Zit er echt niet in.

[FrankHe]

Boermansjo schreef op maandag 7 november 2022 @ 15:02:
[...]


Leuke informatie allemaal. Ik heb hier zelf ook nog een hdd liggen die al ouder is dan 13j.
Werkt nog perfect. Data die erop staat is niet echt kritiek moest ik deze kwijt zijn.
Maar toch ben ik benieuwd naar langdurige opslag. (Nintendo gameboy cartridges bv. Die blijven toch goed werken na 20+ jaar)
Is ROM dan echt geen goeie oplossing op lange termijn ?

ROM is relatief duur voor de hoeveelheid opslag die je krijgt.

[vanaalten]

Ben(V) schreef op maandag 7 november 2022 @ 15:54:
Zit er echt niet in.

Lenovo beweert anders: https://lenovopress.lenovo.com/redp5119.pdf
Ook is er een SMART attribute, "195 - Hardware ECC Recovered" dat toch wel suggereert dat ECC gebruikt wordt.

Hoe dan ook is het denk ik niet zo relevant: de BER die een drive fabrikant specificeert is uiteindelijk de rate *na* eventuele foutcorrectie. Dus als eind-klant heb je er niets aan, lijkt mij.

[dcm360]

Ben(V) schreef op maandag 7 november 2022 @ 15:54:
Zit er echt niet in.

Dan zul je de schijffabrikanten dat even moeten uitleggen, en ook de tekst op Wikipedia moeten aanpassen. Iedere sector op een HDD bevat naast de data een beginmarker, eindmarker, en data voor foutdetectie en foutcorrectie. Het is ook de reden dat we van 512B-sectoren naar 4k-sectoren zijn gegaan: foutdetectie en correctie neemt relatief minder ruimte in over grotere blokken, in ruil voor wat rekenkracht.

[Stanton]

Ben(V) schreef op maandag 7 november 2022 @ 15:39:
Een disk heeft geen ECC data aan boord, dat vind je enkel op cd en dvd's.
Er is slechts een CRC aanwezig op elke disksector waarmee gedetecteerd kan worden of de data nog correct is.
Als een disk ECC aan boord had dan zou zoiets als Bitrot niet bestaan, want dan zou de disk dat zelf gewoon corrigeren.

Dit is gewoon onzin en ik leg uit dat ECC beperkt is in hoeveelheid bits die het kan repareren. ECC is essentieel voor foutcorrectie op harde schijven. Om maar te zwijgen over SSD's. Dus dat met bestaan ECC er geen bit rot meer zou bestaan is onjuist.

Ik vind bit rot sowieso een beetje slechte omschrijving. Een hoop symptomen die we toeschrijven aan bit rot worden in het geheel niet veroorzaakt door 'decay over time'.

[FrankHe]

hcQd schreef op maandag 7 november 2022 @ 15:51:
[...]

In de jaren '90 misschien nog wel, maar met de huidige dichtheden kan een harde schijf niet functioneren zonder ecc.

Wat ik ervan heb begrepen is dat een schijf in beginsel de data snel leest, je wilt immers een hoge doorvoersnelheid en een hoog aantal IOPS. Wanneer de pariteitsberekening niet klopt dan zal de disk dezelfde sector opnieuw lezen maar dan beduidend langzamer met een dramatische val in datadoorvoer en IOPS. Als ook dat niets oplevert zal de schijf opnieuw hetzelfde stuk proberen te lezen maar nu vanuit verschillende richtingen, net zolang totdat er een grote waarschijnlijkheid bestaat dat de gelezen data correct is. Als de pariteitsberekening na enige tijd nog steed niet klopt dan zal de schijf het opgeven. Gedurende deze periode is de schijf niet beschikbaar voor andere lees- en schrijfacties.

Schijven die beschikken over een firmware die ervan uitgaat dat de schijf onderdeel uitmaakt van een array hanteert een veel kortere timeout en zal naar de controller communiceren dat de data uit de rest van de array moet worden opgehaald, of te wel door het terugrekenen van de parity op array niveau. Deze firmware wordt ook wel NAS- of Enterprise firmware genoemd, verschillende merken hanteren verschillende termen. Het voordeel van deze benadering is dat de schijf beduidend korter wordt geblokkeerd en dus sneller weer beschikbaar is.

[FrankHe]

Ben(V) schreef op maandag 7 november 2022 @ 15:39:
Een disk heeft geen ECC data aan boord, dat vind je enkel op cd en dvd's.
Er is slechts een CRC aanwezig op elke disksector waarmee gedetecteerd kan worden of de data nog correct is.
Als een disk ECC aan boord had dan zou zoiets als Bitrot niet bestaan, want dan zou de disk dat zelf gewoon corrigeren.

Een CD, DVD of Blu-ray zal niet functioneren zonder error correction. Het is een integraal onderdeel van de standaard.

Bij de Red Book Audio-CD is er overigens alleen sprake van errordetectie, waneer de berekening van de pariteit niet klopt zal dat frame gewoon worden gedropt, de audiouitgang van de CD-speler wordt korte tijd gedempt. Bij incidentele read errors heb je daar als luisteraar geen erg in.

Met een CD-ROM is het een heel ander verhaal, daar moet de data daadwerkelijk worden teruggerekend. Hoe ze dat precies deden weet ik niet maar ik weet wel dat het allemaal erg traag was.

[Stanton]

Jij stelt dus dat firmware's tegenwoordig ondisk worden geplaatst?

Chip op PCB bevat de zgn. 'adaptives', informatie die een schijf nodig heeft om überhaupt te kunnen lezen en schrijven. Deze worden tijdens fabricage geprogrammeerd en zijn specifiek voor die schijf.

Bulk van de firmware staat op de platters en en veel voorkomend symptoom dat we kennen als buzzen en klikken wordt veroorzaakt doordat de schijf deze firmware niet vinden/lezen kan. Dat kan een fysieke oorzaak hebben, de firmware kan ook 'gewoon' corrupt zijn. Dat is waarom labs gebruik maken van firmware tools als PC3000.

Het doel heiligt de middelen. De recovery dat ik boodt koste de consument ~ 250 euro met een slagingskans van ruim 95%. Ik nam de disks niet aan die van tafel waren gevallen

Dat was een beetje mijn punt, slagingspercentages zonder context zijn onzin. Als je alleen minder complexe gevallen aanneemt zal je slagingspercentage stijgen.

Ik heb jarenlang gewerkt met https://www.stellar.nl/ ook; en ook die hadden een behoorlijk grote kans op herstel (bij de echt extreme cases). Maar dat was ook duur. Je betaald per GB en als je veel files of grote bestanden had werd het een aardig dure case.

Stellar heeft in de community een slechte naam, maar, ik hoor wel vaker goede verhalen over NL lab. Overigens biedt Stellar als ik me niet vergis vaste prijzen tegenwoordig.

Mijn ervaring is dat de oudere disk het veel beter (betrouwbaarder) doen dan de nieuwere generatie.

Dat idee heb ik ook o.h.a. ook al waren er in het verleden ook genoeg problemen.

[Verwijderd]

Stanton schreef op maandag 7 november 2022 @ 16:26:
[...]


Chip op PCB bevat de zgn. 'adaptives', informatie die een schijf nodig heeft om überhaupt te kunnen lezen en schrijven. Deze worden tijdens fabricage geprogrammeerd en zijn specifiek voor die schijf.

Ja, nou nieuwere disks hebben tegenwoordig een "unieke" firmware dat speciaal bedoeld is voor die schijf. Je kunt niet meer zoals vroeger even een PCB'tje swappen en klaar is kees. Neen, je moet de firmware handmatig overzetten. Dat kan op verschillende manieren

- Het swappen van de MCU/Bios fysiek van PCB a naar PCB b.

- Het uitlezen van de MCU middels een serial verbinding en overzetten

Het komt voor dat firmware's zo uit het niets corrupt kunnen raken (Seagate is heer en meester hierin) en dan rest niets anders dan een donor PCB te verkrijgen en de zooi over te zetten.

Dat was een beetje mijn punt, slagingspercentages zonder context zijn onzin. Als je alleen minder complexe gevallen aanneemt zal je slagingspercentage stijgen.

Mijn dienst was wellicht beperkt t.o.v een groot datarecovery bureau maar wel effectief voor hetgeen wat ik deedt.

Stellar heeft in de community een slechte naam, maar, ik hoor wel vaker goede verhalen over NL lab. Overigens biedt Stellar als ik me niet vergis vaste prijzen tegenwoordig.

De zaken die ik doorzette en waar klanten ook mee akkoord gingen qua datarecovery kregen in de regel hun data gewoon terug. En daar gaat het ook om.

Als de schijf naderhand volledig verwoest is of een one-mans-attempt op losgelaten is zal ieders een worst wezen. Data is belangrijker. En de grootste oorzaak waren schijven (extern vaak) die van het bureau afgevallen waren. Kop/platter schade, vergeet het maar.

[Stanton]

FrankHe schreef op maandag 7 november 2022 @ 16:16:
[...]

Wat ik ervan heb begrepen is dat een schijf in beginsel de data snel leest, je wilt immers een hoge doorvoersnelheid en een hoog aantal IOPS. Wanneer de pariteitsberekening niet klopt dan zal de disk dezelfde sector opnieuw lezen maar dan beduidend langzamer met een dramatische val in datadoorvoer en IOPS.

Precies. En is dit is bijvoorbeeld waarom een lab deze error recovery procedures (ERP) zal onderbreken om de stress die dit veroorzaakt te reduceren, en daarbij maakt het dat het wel leesbare deel van een schijf sneller ge-cloned of ge-imaged kan worden. Die ERP kunnen variëren van een paar tot wel 20 seconden per sector.

[FrankHe]

Stanton schreef op maandag 7 november 2022 @ 16:33:
[...]

Precies. En is dit is bijvoorbeeld waarom een lab deze error recovery procedures (ERP) zal onderbreken om de stress die dit veroorzaakt te reduceren, en daarbij maakt het dat het wel leesbare deel van een schijf sneller ge-cloned of ge-imaged kan worden. Die ERP kunnen variëren van een paar tot wel 20 seconden per sector.

En dit is dan ook één van de belangrijke redenen waarom het beter is om een array te bouwen van schijven die zijn voorzien van firmware die is afgestemd op gebruik in een array. Die gaan namelijk niet zoals een gewone consumentenschijf 20 seconden spenderen aan error recovery maar schuiven het probleem binnen een fractie van een seconde door naar de controller zodat deze het kan gaan oplossen. Bij een array met single parity is de kans vrij groot dat de data direct hersteld kan worden. Wanneer meer zekerheid noodzakelijk is dan zul je met een double parity moeten werken. Zitten er toch een consumentenschijven in een array dan is er een grote kans dat de controller de schijf binnen enkele seconden, ruim binnen die 20 seconden, uit de array gooit omdat de schijf niet meer lijkt te reageren. Dat resulteert in een degraded array en dat is uiteraard zeer onwenselijk.

Vandaar dat mijn archief op hetzelfde systeem staat als mijn actuele data. Bij een geplande periodieke vervanging van de NAS krijgt al mijn oude en nieuwe data weer mooie verse hardware.

[dmantione]

Ben(V) schreef op maandag 7 november 2022 @ 15:39:
Een disk heeft geen ECC data aan boord, dat vind je enkel op cd en dvd's.
Er is slechts een CRC aanwezig op elke disksector waarmee gedetecteerd kan worden of de data nog correct is.
Als een disk ECC aan boord had dan zou zoiets als Bitrot niet bestaan, want dan zou de disk dat zelf gewoon corrigeren.

Daar klopt geen bal van, vanaf ongeveer 2010 wordt op harde schijven LDCP-codering gebruikt, waarmee omvallende bits gecorrigeerd kunnen worden. Doel van het toepassen van LDCP was het aantal toevallige leesfouten te verminderen, maar of een leesfout nu toevallig is of het gevolg van een omgevallen bit, LDCP zal de fout corrigeren.

[ Voor 8% gewijzigd door dmantione op 07-11-2022 18:43 ]

[dmantione]

FrankHe schreef op maandag 7 november 2022 @ 16:16:
[...]
Schijven die beschikken over een firmware die ervan uitgaat dat de schijf onderdeel uitmaakt van een array hanteert een veel kortere timeout en zal naar de controller communiceren dat de data uit de rest van de array moet worden opgehaald, of te wel door het terugrekenen van de parity op array niveau. Deze firmware wordt ook wel NAS- of Enterprise firmware genoemd, verschillende merken hanteren verschillende termen. Het voordeel van deze benadering is dat de schijf beduidend korter wordt geblokkeerd en dus sneller weer beschikbaar is.

Dit is wel uitsluitend van toepassing bij SATA-schijven. Bij SAS-schijven is dit mechanisme netter opgelost, zodat de controller zelf het initiatief heeft wanneer zijn geduld op is en de pariteit aan gaat spreken en de controller niet uit de context hoeft op te maken dat die plek op schijf moeilijker leesbaar is, maar die informatie gewoon krijgt.

[FrankHe]

dmantione schreef op maandag 7 november 2022 @ 18:51:
[...]

Dit is wel uitsluitend van toepassing bij SATA-schijven. Bij SAS-schijven is dit mechanisme netter opgelost, zodat de controller zelf het initiatief heeft wanneer zijn geduld op is en de pariteit aan gaat spreken en de controller niet uit de context hoeft op te maken dat die plek op schijf moeilijker leesbaar is, maar die informatie gewoon krijgt.

Er zijn tegenwoordig ook SATA-schijven met dergelijke firmware, dit is niet meer uitsluitend een SAS feature. Het protocol zal er ongetwijfeld iets anders uitzien maar de uitwerking is hetzelfde. Error correction is een pariteitscontrole op schijfniveau waarbij de snelste manier van recovery is om de informatie uit de (rest van de) array te betrekken. Error recovery op een enkele schijf, niet onderdeel uitmakend van een array, is een bijzonder moeizaam proces dat de schijf volledig in beslag neemt. Voor betrouwbare archivering zou ik dus niet vertrouwen op een enkele schijf die heel lang op de plank heeft gelegen.

[dmantione]

Ik zou in ieder geval nooit een RAID-array op de plank leggen, dan krijg je bij teruglezen de complexiteit dat je hem in de RAID-controller moet importeren en daarvoor een compatibele controller moet hebben. Harde schijven zijn spotgoedkoop per terabyte, maak dan vooral een dubbele kopie, zodat als een schijf niet meer leest na 10 jaar, je eenvoudig de tweede kopie kunt pakken.

[FrankHe]

Een array leg je niet op de plank die zit in een machine en draait dagelijks. Actuele data en archief staan hier samen op dezelfde NAS en gaan iedere dag mee in de backup. Sinds alle data centraal staat ben ik helemaal van losse schijven afgestapt.

[dmantione]

Ik ga er vanuit dat de oorspronkelijk vraag gaat over het op de plank leggen van schijven.

[FrankHe]

De consensus is dat schijven als archief op de plank leggen geen goede gang van zaken is. Het advies is dan ook om gewoon een live systeem te hebben en het archief samen met alle reguliere data in de backup mee te nemen en de hardware periodiek preventief te vervangen.