Data intensief vergelijken (compare)

Pagina: 1
Acties:

Acties:
  • 0 Henk 'm!

  • Fairy
  • Registratie: Januari 2001
  • Niet online
Situatie:
Heb een speciale PC voor bewerking van foto's. Deze heeft een RAID1 array (Windows 8.1).
Van de disks met fotomateriaal heb ik 2 backups die ik regelmatig sync.

Gisteren bleek de machine raar te doen (trage access). Eventviewer doet het niet meer, system restore geeft een vage error als je de status wilt inzien.

Nu blijkt de raid1 mirror op resync te staan en staat de schijf telkens op volle toeren te rebuilden. Ik vertrouw de integriteit niet meer en ben dus bang als ik deze partitie blijf gebruiken dat ik er straks achter komt dat de data op diverse plekken corrupt blijkt te zijn (dit is mij eerder ooit overkomen met muziek).

Is er een tool die mijn huidige partitie alle files kan checksummen en vergelijken met de backuplocatie om zodoende te achterhalen of zich datacorruptie heeft voorgedaan?

Ik kan wel klakkeloos de backup terugzetten (die is ook actueel), maar ik wil gewoon wat meer inzage in wat er werkelijk aan de hand is en of zich al corruptie heeft voorgedaan.

De schijven zijn zover ik kan zien technisch in orde, dus de oorzaak is me een raadsel.

Daarnaast zou het misschien handig zijn om een tool te hebben die checksums kan opslaan in een bestand (database'je) zodat de integriteit regelmatig gecontroleerd kan worden.

[ Voor 7% gewijzigd door Fairy op 17-06-2014 08:52 ]


Acties:
  • 0 Henk 'm!

  • ripperke
  • Registratie: Augustus 2003
  • Laatst online: 05-12-2024

ripperke

w00t!

CRC checksums heet dat - Wikipedia: Cyclic redundancy check

één van de implementaties hiervan is "sfv". Zelf gebruik ik "QuickSFV" (Windows) & "cksfv" (Linux)

If TCP/IP handshaking was less formal, perhaps SYN/ACK would be YO/WASSUP


Acties:
  • 0 Henk 'm!

  • Fairy
  • Registratie: Januari 2001
  • Niet online
ripperke schreef op dinsdag 17 juni 2014 @ 10:46:
CRC checksums heet dat - Wikipedia: Cyclic redundancy check

één van de implementaties hiervan is "sfv". Zelf gebruik ik "QuickSFV" (Windows) & "cksfv" (Linux)
Dat snap ik ;) Ik bedoel meer of er een tool is om een grote hoeveelheid files te comparen en indien mogelijk ook een crc file aan te maken zodoende later ook integriteitscontroles te kunnen doen.

QuickSFV ga ik naar kijken, ik hoop dat er alleen nog iets is om ook te vergelijken tussen 2 locaties.

[ Voor 8% gewijzigd door Fairy op 17-06-2014 11:39 ]


Acties:
  • 0 Henk 'm!

  • ripperke
  • Registratie: Augustus 2003
  • Laatst online: 05-12-2024

ripperke

w00t!

Jep, zeker. Met QuickSFV sfv filetje aanmaken op je backup locatie, die file overzetten naar je PC en opnieuw verifieren met QuickSFV.

Moet je juist nog even zien dat je pathgewijs juist zit - vermoedelijk staat je data op de backup locatie niet opdezelfde plaats dan de echte data. QuickSFV maakt het iig aan met relatieve paden.

If TCP/IP handshaking was less formal, perhaps SYN/ACK would be YO/WASSUP


Acties:
  • 0 Henk 'm!

  • Fairy
  • Registratie: Januari 2001
  • Niet online
Oke, maar nu het volgende, ik heb nu data op 2 plekken die identiek moeten zijn, honderdduizenden bestanden. Is er een manier om beide locaties te laten scannen en verschillen uit te lichten? Ik hoef alleen maar te weten of alle bestanden gelijk zijn en welke eventueel anders zijn.

De meeste tools zijn meer voor programmeurs om verschillen in bestanden te zien, maar dat is voor mij niet geschikt.

Acties:
  • 0 Henk 'm!

  • ripperke
  • Registratie: Augustus 2003
  • Laatst online: 05-12-2024

ripperke

w00t!

Lijkt me niet dat je het effectief al hebt uitgeprobeerd?! Want QuickSFV doet écht wat jij zoekt volgens mij...

If TCP/IP handshaking was less formal, perhaps SYN/ACK would be YO/WASSUP


Acties:
  • 0 Henk 'm!

  • jan99999
  • Registratie: Augustus 2005
  • Laatst online: 30-05 13:35
Programma's die dubbele files zoeken, via checksum, (crc is net zo goed). Doublekiller bijv.

Sommige verkenners programma's kunnen dit, misschien total commander of vergelijkbare.

Acties:
  • 0 Henk 'm!

  • F_J_K
  • Registratie: Juni 2001
  • Niet online

F_J_K

Moderator CSA/PB

Front verplichte underscores

Iets als TC kan het idd prima en heel eenvoudig. Maar bij 100k files ook heel langzaam, afhankelijk vd netwerkkaarten en bandbreedte. Dan is 2x lokaal misschien sneller:
ripperke schreef op dinsdag 17 juni 2014 @ 12:19:
Jep, zeker. Met QuickSFV sfv filetje aanmaken op je backup locatie, die file overzetten naar je PC en opnieuw verifieren met QuickSFV.

Moet je juist nog even zien dat je pathgewijs juist zit - vermoedelijk staat je data op de backup locatie niet opdezelfde plaats dan de echte data. QuickSFV maakt het iig aan met relatieve paden.
Ik ken dat tool niet, maar als het doet wat hier staat dan hoef je (Fairy) enkel nog maar een script er omheen te maken.

'Multiple exclamation marks,' he went on, shaking his head, 'are a sure sign of a diseased mind' (Terry Pratchett, Eric)


Acties:
  • 0 Henk 'm!

  • jan99999
  • Registratie: Augustus 2005
  • Laatst online: 30-05 13:35
DoubleKiller, de betaal versie, kan een cataloge maken, van elke hd(map/dvd/cd) een cataloge bewaren, met nieuwe bestanden en de cataloge bestanden, kun je tav bestand grootte en crc(of checksum) de bestanden vergelijken.(of naam).
Cataloge heeft als voordeel dat je maar 1 x in hoeft te lezen.
Er zullen wel meer programma's zijn die dit kunnen.

[ Voor 3% gewijzigd door jan99999 op 17-06-2014 20:58 ]


Acties:
  • 0 Henk 'm!

  • sam.vimes
  • Registratie: Januari 2007
  • Laatst online: 08-06 08:44
Iedere willekeurige Linux-distro heeft "sha1sum" waarmee je eenvoudig cryptografisch betrouwbare checksums kunt maken en daarna verifiëren.
Gebruik een live distro op een cd, dvd of usb-stick, bijvoorbeeld SystemRescueCd.
Pagina: 1