USB 3.0 HUB data corruptie op externe harddisk

[jimh307]

Hallo,

Mijn systeem heeft een serie USB 2.0 poorten en 2 USB 3.0 poorten.
Vorige maand heb ik een USB 3.0 externe harddisk aangeschaft.

Gisteren deed ik een verificatie controle van mijn back-up en in 1 van de archieven zat een CRC fout. Daar wordt je niet blij van. Nu is het zo dat de USB 3.0 poorten op een Renesas controller zitten en de USB 2.0 poorten via een Microsoft driver (native) zijn aangestuurd.
Dus heb ik in het gevolg een nieuwe back-up gemaakt via USB 2.0 en buiten het feit dat dit langzamer is had ik geen CRC fouten.
De SMART status van de externe harddisk gaf niets bijzonders aan en er zijn ook geen slechte sectoren.

-Is het nu zo dat de Renesas controller niet te vertrouwen is? Ik last in CiPHER's blog over SSD's dat het wel degelijk uitmaakt op welke controller de SSD zit.
-Mogen zulke fouten optreden bij de dataoverdracht?!

Leuk vond ik dit niet want het overpompen met 25-30 MB/s is merkbaar trager dan met 110 MB/s. Tja, als dit helpt kan ik ermee leven want ik kan gewoon iets anders doen tijdens de back-up, maar ik ben er wel van geschrokken. Datacorruptie is het laatste wat je wilt als je de back-up eens echt nodig hebt

PS: Het was maar goed dat ik de back-up op fouten heb gecontroleerd ....
PS: Voor de USB 3.0 hub heb ik aparte drivers nodig. Voor USB 2.0 niet.

Alvast bedankt

[jeroen3]

Het kan ook gewoon een fout op de schijf zijn. Deze komen voor.
Daarom altijd parity files naast grote bestanden. Ik heb zelfs iso bestanden die jaren niet werden aangeraakt moeten weggooien omdat ze corrupt waren. Sindsdien zijn alle grote bestanden voorzien van QuickPar files.

[jan99999]

Een back-up is pas goed als je deze ook terug kunt zetten.
Dus kopieren naar een hd is dus geen backup, want zoals je ziet, hoeft de file niet aan te komen op de externe hd, dus een verificatie is vereist, dit vind je dus ook in elke goede backup programma.
En ja de verificatie duurt zeer lang.

Fouten kan echt van alles zijn. Hardware, software.
Zelf heb ik eens gehad dat een firewall 1 op de 10 files beschadigde.
Firewall, virusscanner, spywarescanner, windows raken elke file aan, omdat deze de files kontroleren, dus kan zeer gevaarlijk zijn.

Een betere opslag tav file systeem is ZFS(BSD freenas nas4free), kijk eens of je dit kunt gebruiken.

Ook altijd je hardware testen, bijv 40 GB(inclusief par2), oversturen naar je backup en dan par2 testen.
Deze grootte omdat je dan stabiliteit kunt testen van hardware of netwerk.

Hardware/software kan elke moment defect gaan, dus verificatie is een vereiste.
Bijv na elke update kan iets gaan weigeren, door verificatie weet je tenminste dat er iets aan de hand is.

Dan heb je nog een back-up, een hd dus, hoe lang blijft deze goed?
Een expert zei doe 4 x per jaar controle op de sectors op je hd.(sectors verversen).
Zelf vind ik de hd backup-pen naar een andere lege hd goed maar expert vond een test programma beter, maar die verkoopt hij zelf.(spinrite).

[ Voor 15% gewijzigd door jan99999 op 19-06-2014 22:43 ]

[jimh307]

In ieder geval bedankt voor het meedenken, maar ik heb ook niet stil gezeten. Ik heb de externe harddisk getest door 2 grote archieven te maken en 1 ervan via USB 3.0 over te zetten en 1 via USB 2.0. Wederom een CRC fout in het USB 3.0 bestand. (test: 8 GB TAR archief).

Het is niet zo dat dit mijn enigste back-up is. Ook op mijn laptop staat de hele back-up en dan heb ik ook nog een GSM waar alle afbeeldingen opstaan en mijn vaste PC. Belangrijke data heb ik dus in drievoud opgeslagen.
Aangezien de externe HDD ook meegaat naar de uni moet ik wel kunnen bouwen op betrouwbaarheid.

Gisteren had ik het er nog over met een mede student en die had toevallig ook problemen met een Renesas USB 3.0 controller; dus meteen erkenning.

Het kan ook gewoon een fout op de schijf zijn. Deze komen voor.
Daarom altijd parity files naast grote bestanden. Ik heb zelfs iso bestanden die jaren niet werden aangeraakt moeten weggooien omdat ze corrupt waren. Sindsdien zijn alle grote bestanden voorzien van QuickPar files.

Of de harddisk nu vast in een PC zit of in een externe behuizing; je moet toch kunnen vertrouwen op je HDD?
Waaruit bestaat dan zo'n corruptie? Daarbij maak ik mijn back-up via TAR-bestanden in 7-zip. Mijn externe HDD heeft 1 partitie geformatteerd in exFAT (de externe HDD moet ook compatibel zijn met MACs).

Een betere opslag tav file systeem is ZFS(BSD freenas nas4free), kijk eens of je dit kunt gebruiken.

Waar haal ik de mogelijkheid vandaan om de externe HDD in ZFS te formatteren? Hoe zit het met de compatibiliteit met andere systemen?

Een back-up is pas goed als je deze ook terug kunt zetten.
Dus kopieren naar een hd is dus geen backup, want zoals je ziet, hoeft de file niet aan te komen op de externe hd, dus een verificatie is vereist, dit vind je dus ook in elke goede backup programma.
En ja de verificatie duurt zeer lang.

Als een externe HDD zo onbetrouwbaar zou zijn zouden ze die niet verkopen, toch? Testen op CRC fouten doet 7-zip dus ook. En ja, ik maak mijn back-up in TAR archieven zonder compressie en ik neem alle mappen met persoonlijke data mee in elk een apart archief.
Ik kwam erop omdat SSD's ook minder betrouwbaar zijn als ze achter een andere controller hangen dan de aparte S-ata 3 poorten.

[jan99999]

ZFS, leer wat ZFS is misschien kun je dit gebruiken, is op dit moment een zeer goede file systeem, zeer goed voor back-ups.

Ja alle back-up media is onbetrouwbaar, komt misschien niet vaak voor, maar als het mis gaat, ben je veel data kwijt.
Daarom altijd media testen, bijv hd testen, en dan smart controleren, doet bijna niemand.
Daarom altijd verify gebruiken, en dit doet ook bijna niemand.

[jimh307]

Dat klopt, Jan. Er zijn maar weinig mensen die naar hun back-up 'externe media' omkijken en laat staan de moeite zullen nemen om een back-up te testen.
Ik zal me eens in ZFS verdiepen, maar voor de compatibiliteit gebruik ik exFAT.

Nu ik nog verder heb gekeken kom ik erachter dat het zippen van data CRC fouten oplevert. Nu stond mijn Core i7 2600 CPU op 36*100MHz en deze heb ik teruggezet naar de originele 34*100MHz. Of het wat zal uitmaken is maar de vraag. Dat is ook een reden dat ik TAR archieven gebruik zonder compressie. Ik heb namelijk nog geen enkele fout gehad in een TAR archief, maar wel in ZIP archieven.
Ik heb dus een WD MyPassport van 1 TB. Daarvan heb ik slechts 44,8 GB in gebruik, dus compressie via ZIP acht ik niet noodzakelijk. Ruimte genoeg (nog wel).

Nee, ik check mijn back-ups wel want ik wil niet even mijn scriptie kwijtraken ..

Maar om er even een touw aan vast te knopen: ik maak back-ups in TAR formaat en als dit fout gaat ga ik met de externe harddisk terug naar de winkel. Ik kijk het nog even aan.

[Verwijderd]

Control+F, memtest, Phrase not found



Heb je überhaupt al je geheugen gecontroleerd op fouten? Dat lijkt mij de eerste stap?!

Je zegt dat je aan overclocking doet, dat maakt het controleren op stabiliteit natuurlijk extra cruciaal. Overclocken zonder daarna te testen op stabiliteit is natuurlijk complete gekkigheid.....

Zeker met legacy storage waar je corruptie geeneens kunt detecteren, ben je volkomen overgeleverd aan de stabiliteit van je computer. Er is geen enkel mechanisme wat je data zal of kan beschermen. ZFS is natuurlijk tig keer beter. En het is al zovaak voorgekomen dat ZFS checksum fouten (CRC fouten zeg maar) detecteert en de gebruiker uiteindelijk memtest draait en fouten ontdekt. Maar met NTFS en ander onbeveiligde opslag raken gewoon je bestanden corrupt. Als je gelukt hebt; als je pech hebt raakt je metadata corrupt en kan zomaar de helft van je directory trees verdwijnen of je hebt directories met allerlei rare tekens.

[ Voor 48% gewijzigd door Verwijderd op 21-06-2014 19:06 ]

[jimh307]

Verwijderd schreef op zaterdag 21 juni 2014 @ 19:03:
Control+F, memtest, Phrase not found



Heb je überhaupt al je geheugen gecontroleerd op fouten? Dat lijkt mij de eerste stap?!

Je zegt dat je aan overclocking doet, dat maakt het controleren op stabiliteit natuurlijk extra cruciaal. Overclocken zonder daarna te testen op stabiliteit is natuurlijk complete gekkigheid.....

Zeker met legacy storage waar je corruptie geeneens kunt detecteren, ben je volkomen overgeleverd aan de stabiliteit van je computer. Er is geen enkel mechanisme wat je data zal of kan beschermen.

Erg geruststellend dit, maar je hebt wel gelijk. Memtest gaf fouten aan en ik heb de CPU direct weer op de originele settings gezet. Nu heb ik dus geen fouten met USB 3.0, maar waarom merk ik het alleen daarmee? De computer liep stabiel (al die maanden) en nu ook.
ZFS klinkt als een mooie oplossing en ik keek ook even in het topic over ZFS, maar dan zou ik wel een NAS moeten hebben met een geschikt embedded OS erop. Het gaat hier over een externe harddisk.

Enfin; ik kan nu weer data overpompen met 110 MB/s en dat is plezierig snel.

[Verwijderd]

ZFS zou iets voor de lange termijn kunnen zijn, als je meer opslag hebt en dat netjes en veilig en 'goed' wilt doen. Je kunt het gewoon zien als een tegenhanger van een kant en klare Synology NAS. Daarop draait ook een OS met web-interface. Prima te bedienen voor een casual Windows-gebruiker dus. Je moet alleen zelf de NAS bouwen, en dat kan juist heel leuk zijn.

Dat is allemaal voor later. Voor nu heb je een les geleerd over data security en heb je de oorzaak van je problemen waarschijnlijk achterhaald. Je kunt overwegen om ook met de lagere settings een keer een nachtje lekker 12 uur te laten draaien dat je 10+ passes hebt behaald. Dan heb je een aardige indicatie van stabiliteit.

[jan99999]

Een kennis van mij had xp op een pc staan(nieuwe pc), toen hij windows 7 erop zetten had hij opeens fouten in het geheugen. Misschien gebruikte zijn pc toevallig een gedeelte niet waardoor alles werkte, en win 7 gebruikte dit wel.

[jimh307]

Het lijkt me zeker leuk om eens een ZFS NAS te bouwen. En ook wat @jan99999 zegt is dat een geheugenfout zich lang kan verbergen. Dat heb ik aan den lijve ondervonden.
Ik had dus mijn CPU multiplier op 36 staan ipv 34 origineel. Dus ik vanmiddag nog even de back-up gecontroleerd op fouten en geen fout gezien. Het verbaasd me wel dat het verschil tussen een multiplier van 36 vs 34 zo'n verschil in stabiliteit kan uitmaken. Het geheugen was niet overklokt, alleen de CPU.
Alhoewel het een quadcore is zou ik dus 4x een overklok doen en dat scheelt wel 800 MHz in totaal (4*200 MHz) bij volle belasting en dat gebruikte ik ook.
Nu hij weer @stock draait merk ik geen verschil in snelheid of in games; alleen het feit dat de PC bij langdurige hoge belasting wat stiller is geworden.

Dus ik back-up mijn gegevens lekker weer via de USB 3.0 poort en ik heb geleerd nooit meer te gaan overklokken. Iedereen blij

[jan99999]

ZFS wel raid gebruiken.
Voor hardware kijken of bsd erop loopt.
Geen hardware raid gebruiken.
Server geheugen is niet nodig.

Wikipedia: ZFS
Zie "ZFS data integrity"

[ Voor 39% gewijzigd door jan99999 op 24-06-2014 20:20 ]