Dubbele bestanden en diretories samenvoegen

[Righteye]

Ik heb het volgende probleem, ik heb een pleurisbak met foto's (16 GB, 100.000 files ofzo).
Hier zitten dubbelen en zelfs veel (gedeeltelijk) dezelfde sets.

Wat ik zoek is een programma wat de dubbelen weghaalt en daarna de leftovers naar 1 map kopieert.

Bijvoorbeeld:
Folder1: 1.jpg tot 10.jpg
Folder2: 5.jpg tot 15.jpg
5 tot 10.jpg zijn dubbel.

Wat er dus nu automatisch moet gebeuren is dat hij 5-10.jpg als dubbel detecteert,
de dubbelen dan weggooit en daarna de overgebleven bestanden in of Folder1 of Folder2 zet,
zodat je een zo compleet mogelijke set overhoudt (een map met 1 t/m 15.jpg)

Het kan zijn dat de 'set' uitgesmeert staat over meer als 2 mappen, 3 of 4 folders met dubbelen, waarna het 1 map wordt moet ook kunen.
De lege map mag dan weg, maar dan kan ook met de hand (heb ik al een tooltje voor).

Dit moet dan kunnen over een hele lading mappen (1800) tegelijk.

Momenteel gebruik ik Advanced Duplicate file finder en deze vindt en wist schitterend de dubbelen, maar verplaatst de restjes niet. Met de hand 1800 mappen afgaan om ze alsnog te combineren is ondoenlijk.

Ik ben al behoorlijk aan het zoeken geweest op Google, maar kan helaas geen programma vinden dat dit kan onder Windows.

Voor de duidelijkheid, de bestandsnamen en wijzigings datum etc. kunnen verschillend zijn alleen de content is hetzelfde en het moet over gigantisch veel mappen en bestanden tegelijk gedraait worden (1800+ folders).

Wie heeft er een oplossing. Het mag wat kosten en hoeft dus geen freeware ofzo te zijn.

[ Voor 12% gewijzigd door Righteye op 13-01-2009 15:49 . Reden: Toevoeging uitleg uit post 4 ]

[frickY]

Ik schrijf hier zelf altijd een PHP-scriptje voor om die op de commandprompt te runnen. Ik weet niet of je toevallig kennis van PHP hebt? Of een andere simpele taal waarmee je bij je bestandssysteem kunt?

Als je alleen alle dubbele bestanden weg wilt hebben zou je alles kunnen winzippen waarbij je aangeeft dat padnamen niet onthouden mogen worden. Dan overschrijven de bestanden met dubbele namen elkaar

[ Voor 8% gewijzigd door frickY op 13-01-2009 15:28 ]

[F_J_K]

Als het eenmalig is, kan je ook dedupliceren en daarna simpelweg zoek op *.* en verplaatsen naar 1 directory. Daar is geen scripting bij nodig (als er geen dubbele bestandsnamen zijn dan).

[Righteye]

Voor de duidelijkheid, de bestandsnamen en datum etc. kunnen verschillend zjin alleen de content is hetzelfde en het moet over gigantisch veel mappen en bestanden tegelijk gedraait worden (1800+ folders).

Volgens mij is dit niet met PHP te doen of met *.*