Aanpak filteren bestandanen van gerecoverde drive

[Speeddragon]

Nadat ik mijn computer verkocht had heb ik een paar maanden mijn documenten harde schijf niet aangeraakt.
Gisteren aan de sata->usb converter gehangen, en ineens had ik geen bestandssysteem meer maar een schijf die aangaf Raw te zijn.

Met testdisk vond ik wel de oude structuur terug, maar ik heb het niet voor elkaar gekregen dit te herstellen (misschien doordat ik gewoon niet goed oplette en niet meer helder nadacht, want achteraf had ik gewoon de map 2017 en 2018 direct kunnen kopieren naar een folder).

Nu is ook de mappen structuur helemaal naar zijn grootjes en vind Testdisk niets meer.

Het recovery programma easus data recovery vind echter wel al mijn bestanden, maar zover ik nu kan zien geen structuur meer.

Nu is dit data van 2004 t/m 2018, en mijn back-up gaat tot 2-2017.

Ik zat dus te denken om naar duplicaten te zoeken tussen de back-up en de gerecoverde data, zodat ik alleen nog maar de niet duplicaten opnieuw in mappen moet zetten, wat dan dus alles van 2-2017 t/m 1-2018 zou zijn (anders is het zoeken in een hooiberg).


Nu merk ik dat het niet meer zo makkelijk is om een goede tool of aanpak te vinden als vroeger omdat er zoveel aanbod is aan semi-gratis tools, en ik zie door de bomen het bos niet meer.

Is er iemand die vaker met dit bijltje gehakt heeft en mij een goede richting op kan sturen? Hoe ik dit het efficiëntste en beste aanpak.

[hcQd]

Een USB-SATA bridge gebruikt soms een andere sectorgrootte, of reserveert soms een klein deel van de schijf voor zichzelf. Er is dus geen garantie dat je OS de schijf op dezelfde manier ziet als wanneer je deze rechtstreeks aansluit.

[Mijzelf]

Ik zat dus te denken om naar duplicaten te zoeken tussen de back-up en de gerecoverde data, zodat ik alleen nog maar de niet duplicaten opnieuw in mappen moet zetten, wat dan dus alles van 2-2017 t/m 1-2018 zou zijn (anders is het zoeken in een hooiberg).

Welk OS gebruik je? Als je toegang hebt tot shell scripting tools (onder Linux en iOS geen probleem, lijkt me, en onder Windows kun je tegenwoordig bash installeren), kun je het volgende doen:

find /path/to/files -exec md5sum {} \; >lijst

Dit geeft je een file 'lijst' met de md5sums en filenamen van files in /path/to/files/.
Dit doe je voor beide verzamelingen files. Vervolgens run je

cat lijst1 lijst2 | sort | uniq -u -w 32 >lijst3

Dit voegt beide lijsten samen, sorteert ze op md5sum, en filtert vervolgens de unieke md5sums uit, die in lijst3 worden gezet. Deze file bevat dus alle files die slechts 1 keer voorkomen, en zouden jouw gezochte files moeten zijn.

[frickY]

Recuva is een goede gratis tool.
De free-version is voldoende.

[ Voor 32% gewijzigd door frickY op 02-06-2018 12:32 ]

[Speeddragon]

Bedankt voor de tips, @Mijzelf , daar zal ik dan eens mee aan de slag gaan, ik gebruik windows 10.

find /path/to/files -exec md5sum {} \; >lijst

op de plek van path/to/files moet dus gewoon de driveletter van externe hdd 1 en voor hdd 2?

cat lijst1 lijst2 | sort | uniq -u -w 32 >lijst3

Waar slaat hij lijst 3 dan op? of kopieert hij al de bestanden dan ergens naartoe?

@hcQd , dat is een goede voor de volgende keer maar nu had ik het al te ver verprutst. Wel iets om rekening mee te houden dus.

[ Voor 37% gewijzigd door Speeddragon op 03-06-2018 11:32 ]

[Mijzelf]

Speeddragon schreef op zondag 3 juni 2018 @ 11:27:
Bedankt voor de tips, @Mijzelf , daar zal ik dan eens mee aan de slag gaan, ik gebruik windows 10.

find /path/to/files -exec md5sum {} \; >lijst

op de plek van path/to/files moet dus gewoon de driveletter van externe hdd 1 en voor hdd 2?

Dat zou je kunnen proberen. Ik ken de implementatie details van het Linux subsysteem in Windows niet. In Linux heb je geen drive letters, maar een mountpoint. Maar het kan natuurlijk dat er ergens een vertaalslag wordt uitgevoerd.
Als dat niet werkt kun je met het commando 'mount' zien waar je externe schijven zijn gemount. Ik zou verwachten dat dat /mnt/D/ en /mnt/E/ zou zijn voor de D en E 'schijf'.

cat lijst1 lijst2 | sort | uniq -u -w 32 >lijst3

Waar slaat hij lijst 3 dan op? of kopieert hij al de bestanden dan ergens naartoe?

'>lijst3' redirect de console output naar file 'lijst3'. Eigenlijk spuugt uniq zijn output gewoon naar de console, maar omdat dat onpraktisch is heb ik het naar een file geredirect. Die file wordt hier in de current directory aangemaakt. Waarschijnlijk is dat C:\Users\JouwNaam, maar met het commando 'pwd' kun je her opvragen. Je kunt trouwens ook expliciet redirecten naar een bestaan op een bepaalde plaats:

command >/path/to/desired/file

of misschien

command >C:\directory\file

Dat laatste zou je uit moeten proberen.

Hij kopieert niets. Geeft je alleen een lijst met filenamen (en de md5sum van de files). Natuurlijk is het eenvoudig om die file weer te gebruiken als input voor een geautomatiseerde kopieeractie.

cat lijst3 | cut -d ' ' -f 2- | while read line ; do cp "${line}" /path/to/bestemming/ ; done

De 'cat' stuurt de file naar stdout, wordt opgevangen door 'cut' die het eerste 'woord' van elke regel eraf knipt (dat is de md5sum), en het resultaat daarvan wordt doorgestuurd naar een scriptje die voor iedere regel een kopieer actie doet.
Maar ik zou eerst even steekproefsgewijs vaststellen of 'lijst3' inderdaad de files beschijft die je hebben wilt.

[Thralas]

Speeddragon schreef op zaterdag 2 juni 2018 @ 11:13:
Nu is ook de mappen structuur helemaal naar zijn grootjes en vind Testdisk niets meer.

Hoe komt dat? Want hcQd heeft helemaal gelijk, je sectorsize staat verkeerd. Kwestie van de partitietabel corrigeren en je kunt gewoon bij je data. Tenzij je op de knop 'initialiseren' hebt gedrukt.

hcQd in "Aanpak filteren bestandanen van gerecoverde drive"

[Speeddragon]

@Thralas

Ik heb deze tutorial gevolgd:
https://html5.litten.com/...rive-suddenly-became-raw/

tot het moment dat hij een nieuwe partitietabel ging schrijven.

Hierna zag hij wel een E: maar kon ik er nog steeds niet in.

Ik weet niet of ik nu al te ver heen ben om dit nog aan te kunnen passen, en wat ik precies moet doen om dit aan te passen (even snel zoeken op internet levert me nog niet heel bruikbare info op).

Ik heb het geheel nu aangesloten op een sharkoon drivelink (de usb 2.0 versie)


Baal er nu wel echt van dat ik het dus zelf helemaal verpest heb, wist niet dat het gebruik van een convertor dit probleem kon opleveren en wilde ook eerst zelf proberen voor zomaar een topic te openen.

Als iemand nog tips heeft om het desnoods op een computer te proberen, direct aangesloten dan wil ik het wel proberen, heb nu in ieder geval een hoop bestanden kunnen terughalen maar de file names e.d zijn ook erg raar geworden in sommige gevallen.

[ Voor 29% gewijzigd door Speeddragon op 03-06-2018 23:33 ]

[Thralas]

Speeddragon schreef op zondag 3 juni 2018 @ 23:08:
Hierna zag hij wel een E: maar kon ik er nog steeds niet in.

Waarom 'kon je er niet in'. Kreeg je een foutmelding?

Ik weet niet of ik nu al te ver heen ben om dit nog aan te kunnen passen, en wat ik precies moet doen om dit aan te passen (even snel zoeken op internet levert me nog niet heel bruikbare info op).

Als je alleen een partitietabel hebt geschreven dan valt het waarschijnlijk wel mee (zie de opmerking over 'initialiseren', maar de tutorial die je volgt waarschuwt daar ook over).

Hoe groot is de disk? Hoeveel partities verwacht je? Hoe ziet de partitietabel er nu uit (al dan niet volgens testdisk, die laat het handig in sectoren zien)?

Als iemand nog tips heeft om het desnoods op een computer te proberen, direct aangesloten dan wil ik het wel proberen, heb nu in ieder geval een hoop bestanden kunnen terughalen maar de file names e.d zijn ook erg raar geworden in sommige gevallen.

Ik vrees dat zodra je controleert wat je er nu werkelijk aan overhoudt het nog wat harder tegenvalt. Daarom is het carven van een disk (zonder werkend bestandssysteem) echt een last resort.

[Speeddragon]

@Thralas , hierna kreeg ik inderdaad de melding dat ik eerst moet formatteren (niet gedaan natuurlijk).

De disk is 1tb groot en heeft maar 1 partitie met daarin wat mappen

de tutorial zegt:

Select WRITE and press enter in order to write our new partition table to the drive.
DO NOT WRITE A NEW PARTITION TABLE IF YOU DID NOT SEE YOUR FILES/FOLDERS That means the proper partition table was not found and you will have to try a different technique to recover your data.

En in testdisk kon ik dus netjes door de mappen bladeren, vandaar dat ik het gedaan had.
Ik ben nu met EaseUS nog wat bestanden aan het recoveren en durf Testdisk nu niet zomaar te runnen.
Dit zal ik straks even doen.

Edit: zover ik weet heb ik niet op de knop initialize gedrukt.
Ik zou eventueel een computer kunnen lenen.
Of een e-sata to sata kabel kopen (een losse pcvoeding heb ik ook nog wel liggen, mijn dockingstation heeft namelijk e-sata (wel unpowered).

Als dat makkelijker is om het uitleesbaar te maken,als ik het alleen al kan uitlezen en naar mijn nieuwe externe hdd kan kopieren ben ik al blij, dat is misschien simpeler dan pielen met de sectorgrote e.d?

[ Voor 34% gewijzigd door Speeddragon op 04-06-2018 00:27 ]

[Thralas]

Speeddragon schreef op zondag 3 juni 2018 @ 23:59:
En in testdisk kon ik dus netjes door de mappen bladeren, vandaar dat ik het gedaan had.
Ik ben nu met EaseUS nog wat bestanden aan het recoveren en durf Testdisk nu niet zomaar te runnen.
Dit zal ik straks even doen.

Apart. Na die procedure (herschrijven partitietabel) zou het moeten werken, helemaal als TestDisk je inderdaad door je bestanden laat bladeren.

Of een e-sata to sata kabel kopen (een losse pcvoeding heb ik ook nog wel liggen, mijn dockingstation heeft namelijk e-sata (wel unpowered).

Als dat makkelijker is om het uitleesbaar te maken,als ik het alleen al kan uitlezen en naar mijn nieuwe externe hdd kan kopieren ben ik al blij, dat is misschien simpeler dan pielen met de sectorgrote e.d?

Dat zou inderdaad gewerkt hebben. Maar als je imiddels een nieuwe partitietabel hebt geschreven dan zit je met het omgekeerde probleem.

De partitietabel zou ook doodsimpel moeten zijn als het een 1 TB disk is met één datapartitie, vandaar dat ik naar de output van Testdisk vroeg.

Hoewel ik niet exact weet wat Windows doet, is de meest logische optie één partiie tot het ~einde van de disk, beginnend op offset 1048576 (bytes).

Dat is sector 2048 als je je disk aan een 'echte' SATA-controller hebt hangen (512b sectors), of 256 als je zo'n leugenachtige USB-dock hebt (4096b sectors).

[Speeddragon]

@Thralas Dit zijn de disks die Testdisk ziet:

>Disk /dev/sda - 500 GB / 465 GiB - HGST HTS725050A7E630
Disk /dev/sdb - 1000 GB / 931 GiB - WDC WD10 EZEX-00M2NA0
Disk \\.\PhysicalDrive1 - 1000 GB / 931 GiB - WDC WD10 EZEX-00M2NA0
Drive D: - 693 MB / 661 MiB - hp DVDRAM GU90N
Drive E: - 1000 GB / 931 GiB - WDC WD10 EZEX-00M2NA0

De dikgedrukte zijn beide de hardeschijf waar het om gaat.

als ik analyse toepas op physical drive krijg ik het volgende te zien:



Kies ik E: dan krijg ik het volgende te zien:

[ Voor 86% gewijzigd door Speeddragon op 04-06-2018 14:17 ]

[Thralas]

Als dat eerste scherm de representatie van je huidige tabel is, dan ziet die er vrij redelijk uit.

CHS 0/4/5 is om te rekenen naar LBA 256. Bij een sectorgrootte van 4096 (USB faked) is dat 256*4096=1048576, ofwel precies de 1 MB waar je zou verwachten dat de partitie begint.

De sector size lijkt ook te kloppen, 244189952*4096=1000202043392 ~= 1 TB.

Ik zou verwachten dat deze tabel nu klopt voor de SATA->USB convertor (en niet meer voor een directe SATA-link).

Bovendien suggereert 'E:' dat Windows al een driveletter heeft toegekend, en dus een werkend bestandssysteem ziet. Neem aan dat je de disk hebt gereplugged na de partitietabel voor het laats te hebben gewijzigd?

Wat gebeurt er als je nu naar E: bladert? En wat zegt Windows Disk Management?

Als Windows Disk Management een NTFS partitie ziet is chkdisk misschien wel handig.

Als dit niet werkt kun je proberen om de SATA-kabel te regelen en de partitietabel nogmaals te corrigeren. Maar ik kan me echter niet voorstellen dat NTFS afhankelijk is van de logische sectorgrootte. Het zou dus nu al moeten werken..

[ Voor 4% gewijzigd door Thralas op 04-06-2018 19:42 ]

[Speeddragon]

Thralas schreef op maandag 4 juni 2018 @ 19:38:
Als dat eerste scherm de representatie van je huidige tabel is, dan ziet die er vrij redelijk uit.

Beide schermen zijn op dit moment van dezelfde harde schijf.
Dus de bovenste en de onderste afbeelding.

Het is maar net of ik in het beginscherm van Testdisk Drive E: kies of dat ik Disk1 \\PhysicallDrive1 selecteer

In deze computer zie ik nu inderdaad mijn E: staan, maar als ik die wil openen dan dan vraagt hij dus of ik hem eerst wil formatteren. En een quicksearch met Testdisk levert me nu ook geen mappenstructuur meer op, of ik nu die E: scan of de Physicalldrive1. Dat was eerst wel.

Ik zal als ik thuis ben Windows Disk Management eens openen.

Edit: schijfbeheer ziet hem RAW (0bytes beschikbaar,0bytes gebruikt)

Ik dacht er overigens wel aan dat ik een ding heb gedaan wat ik nog niet in het topic gezet heb:
https://www.cgsecurity.org/wiki/Menu_MBRCode
Achteraf slaat dit natuurlijk helemaal nergens op, dat weet ik ook wel. Maar misschien dat het nog effect heeft op het probleem dat er nu speelt

[ Voor 48% gewijzigd door Speeddragon op 06-06-2018 17:17 ]

[Speeddragon]

@Thralas

De oplossing:

Select PhysicalDrive1, Advanced, Boot, RebuildBS, List. If you can see your files, choose Write, confirm, Quit and restart your computer.


Wat ik me nog wel afvraag, w atis in de toekomst nu de beste aanpak als ik geen sata tot mijn beschikking heb?

Bedankt voor alle hulp!

[ Voor 22% gewijzigd door Speeddragon op 19-06-2018 18:39 ]

[Thralas]

Mooi dat het gelukt is.

Zonder SATA is de beste aanpak de partiietabel herschrijven (dat had je al gedaan, dat zou moeten werken, maar blijkbaar deed het dat niet).

Alternatief voor het herschrijven is om met Linux aan de gang te gaan. Met recente kernels kun je een loop device aanmaken dat een sector size naar keus emuleert. Ook al claimt je enclosure 4096, dan kun je hem loop mounten met 512 en klopt de partitietabel gewoon.