Dubbele bestanden fuzzy zoeken op naam? *

[MRic3]

Mede tweakers,

Ik ben al een tijdje op zoek naar een 'domme' dubbele file finder. Ik heb al minimaal 10 verschillende programma's (trials, freeware en andere soorten ) geprobeerd maar geen 1 die kan wat ik zoek. Ze zijn allemaal te slim/precies !!! Er was 1 programma wat FUZZY zocht, maar die was niet FUZZY genoeg

Ik zoek een programma die kan zien dat de onderstaande MP3 files eigenlijk hetzelfde zijn
(of mij een indicatie geeft dat ze het hetzelfde kunnen zin) :

• dance classics - volume 03 - 09 - chic - le freak.mp3 192 KB/s 4,9MB
• chique - le freak.mp3 128 KB/s 3,4MB

Dit zal toch niet zo moeilijk (te maken) zijn? Maar ik kan dus echt niks vinden...

Wie weet wat? Of kan zoiets maken?

[dawuss]

Je wil dus kijken naar een combinatie van ID3 tag en filename?

Met alle scripting speeltjes die je onder Linux tot je beschikking hebt, klop je zo een simpel script inelkaar dat dit kan. Verder heb je daar ook leuke tools als EasyTag, waarmee je de boel eerst wat op orde zou kunnen krijgen, voor je gaat zoeken.

Voor windows zullen al deze dingen vast ook wel gelden, maar dan moet je net wat harder zoeken

[Wolfboy]

De vraag is nu eigenlijk een beetje, zoek je een programma dat in de ID3 tag of in de filename zoekt?
Of beiden?

Ik denk dat zoiets zeer lastig te realiseren is aangezien het programma niet weet hoeveel er hetzelfde moet zijn en het zou bijvoorbeeld ook artiest/album informatie kunnen zijn.

[MRic3]

ID3 tag gaat al te ver...
Het gaat echt om de naam van de file (en natuurlijk de exetensie).

het programma/script :
als onderdelen uit bestandsnaam1 een beetje lijken op onderdelen uit bestandsnaam 2 dan is het vermoedelijk hetzelfde. Als het script/programma dan de details erbij vermeld (bitrate e.d.) zou het super zijn, maar zelfs dat hoeft al niet.

[Verwijderd]

Windows Scripting ( of VBS?)
ff simpel: Bouw een scriptje dat vraagt om letters (of een woord), en dat dan zoekt
Zoiets als een dir *freak*.mp3 /s

Lijkt voor een 'noob' misschien lastig, maar is verrassend simpel met alle voorbeelden op het web. Succes

[ Voor 28% gewijzigd door Verwijderd op 21-01-2005 04:11 ]

[MRic3]

Aangezien ik nog maar weinig met scripting heb gedaan heb ik het vermoeden dat mij dat niet gaat lukken.

Zoiets als een dir *freak*.mp3 /s

yep, maar als ik dat voor 50.000 mp3'tjes moet intypen.... beetje veel

Ik snap niet dat er zo'n programmatje nog niet is want ik vermoed
dat veel meer mensen die een grote mp3 collectie hebben met dit 'probleem' zitten.

[Verwijderd]

Laat maar. Doet niet wat jij wilt.

[ Voor 91% gewijzigd door Verwijderd op 22-01-2005 08:48 ]

[Croga]

MRic3 schreef op vrijdag 21 januari 2005 @ 01:56:
als onderdelen uit bestandsnaam1 een beetje lijken op onderdelen uit bestandsnaam 2 dan is het vermoedelijk hetzelfde.

Dan is het dus eigenlijk al een behoorlijk geavanceerde fuzzy die je zoekt....

Persoonlijk ben ik er veel meer voor om eerst je ID3 tags netjes te vullen (met zoiets als Tag&Rename bijvoorbeeld). Als je dat gewoon netjes altijd hetzelfde doet, hoef je vervolgens alleen maar in datzelfde Tag&Rename alle mp3s onder elkaar te zetten, sorteren op alphabet, en je kunt zo de dubbelen er tussen uit halen....

[Verwijderd]

Je zou in PHP een scriptje kunnen fixen. Met een aantal bestaande functies kun je dan verschillende filenames vergelijken. Bijvoorbeeld levenshtein() of similar_text(). Als dit niet voldoet kun je natuurlijk ook zelf nog altijd een functie maken.

[edit]
Opzetje:

PHP:

$files = scandir("c:/map/");
$sens = 15; /* Gevoeligheid - in procenten */.

foreach ($files as $file) {

  foreach ($files as $file_compare) {
    $difference = similar_text ($file, $file_compare);

    if ($difference > $sens) {
      echo "$file could match $file_compare\n";
    }
  }

}

(niet getest)

[ Voor 36% gewijzigd door Verwijderd op 22-01-2005 09:05 ]

[MRic3]

@ Croga ...Het is idd heeel erg fuzzy wat ik zoek . Van al mijn MP3's staan de ID3 tags psies zoals ik ze wil, heeel netjes (daar gebruik dus tag&rename voor), ik zal eens wat meer met Tag&rename gaan spelen en kijken of dat werkt.

@Emiel ... Zo ver ik PHP snap zou het moeten werken (ziet er wel erg simpel uit), maar ik heb dus geen ruk verstand van PHP . Ik heb wel een webserver tot mijn beschikking waar ik PHP op kan draaien dus... mss voor de gein eens testen, Wie weet ga ik mij iets meer verdiepen in PHP en er een mooie simpele online fuzzy fuzzy fuzzy duplicate file scanner maken

[Wolfboy]

Aangezien php open source is zou je dat stukje code er uit kunnen halen en er een standalone C++ progje van kunnen maken (om de snelheid wat op te voeren iig)

Btw @ MRic3, het script wat Emiel heeft geschreven werkt alleen op een PHP5 server, ik weet niet of jij php5 hebt maar anders gaat het niet werken zo

[dawuss]

Onder *nix (ja, kom ik weer aan ) is php gewoon een executable, net als perl, bash of awk. Je kunt dus gewoon een php script uitvoeren vanaf de commandline, waarna het net zo snel zou moeten zijn als een perl script of zo. Voor jouw doeleinden in ieder geval meer dan snel genoeg, en je slaat de overhead van een webserver over

[The_Scarabial]

dit programma gebruik ik daar altijd voor, maar weet nie cker of het erin zit, ik zou zeggen, wie nie waagt wie nie wint http://www.clonespy.de/english/

[Spider.007]

dawuss schreef op zaterdag 22 januari 2005 @ 18:53:
Onder *nix (ja, kom ik weer aan ) is php gewoon een executable

[...]

Onder windows heeft PHP ook een losse executable hoor

Gezocht: 'Domme' Dubbelle File Finder > Dubbele bestanden fuzzy zoeken op naam? *

[ Voor 17% gewijzigd door Spider.007 op 22-01-2005 19:10 ]

[MRic3]

Mooie topic edit, alleen vond ik de mijne leuker

@ Croga .. ik heb dus zitten spelen met Tag&Rename (damn wat wordt dat programma langzaam als je met veel MP3'tjes werkt) maar als je wilt sorteren op title dan houdt sorteert T&Rj idd op title maar T&R sorteert niet alle mappen doorelkaar maar sorteert op title binnen in elke map. Dus dat gaat ook niet werken...

The_Scarabial schreef op zaterdag 22 januari 2005 @ 18:56:
dit programma gebruik ik daar altijd voor, maar weet nie cker of het erin zit, ik zou zeggen, wie nie waagt wie nie wint http://www.clonespy.de/english/

Ik heb even de FAQ gelzen en daar staat o.a. het volgende in:

Why doesn't CloneSpy detect my "duplicate" images/songs?
Please be aware that images might look the same although the files are different. If you want to find "similar" images, you need an other program. Maybe one of these might help:

d'peg: http://www.somewareonthe.net
Doublepics: http://www.doublepics.de
The same holds for audio files. For example, two Mp3s may encode the same song, but the files can be unequal due to inaudible differences.

Wat er dus op neer komt dat clonespy het ook niet kan, weer een te slim programma. Ik heb het geinstalleerd en zover ik het zie gaat ie op checksom vergelijken. Misschien eens de maker(s) van het programma mailen of ze deze erg fuzzy functie erin willen bouwen.

Met betrekking tot het installeren van PHP op mijn (windows) systeem, dat schiet een beetje het doel voorbij denk ik. Ik weet dat het eigenlijk wel een simpel script/code moet/kan zijn maar ja, als je niks/weinig van scripten/programeren weet, dan houdt het snel op he .

[ Voor 18% gewijzigd door MRic3 op 23-01-2005 10:53 ]

[Spider.007]

Is dit niets?
[q=http://noclone.net/][...]

• Simple fuzzy match

[...]

[Croga]

MRic3 schreef op zondag 23 januari 2005 @ 10:41:
@ Croga .. ik heb dus zitten spelen met Tag&Rename (damn wat wordt dat programma langzaam als je met veel MP3'tjes werkt) maar als je wilt sorteren op title dan houdt sorteert T&Rj idd op title maar T&R sorteert niet alle mappen doorelkaar maar sorteert op title binnen in elke map. Dus dat gaat ook niet werken...

Wat je dan ook nog zou kunnen doen is een rename laten doen op alle MP3s met hetzelfde mask. Als je ID3 tags goed staan, komt T&R automatisch met "dat bestand bestaat al", en weet je dus dat je een dubbele hebt....

[MRic3]

@spider.007 .. noclone heb ik geinstalleerd gehad. Dat was die ene die fuzzy zocht, en dat was dus nog niet bijna fuzzy genoeg

@Croga.. hmmmm ik zal het eens gaan proberen. Het is natuurlijk niet optimaal maar het zou kunnen werken. Wel mooi, ik kwam er8er dat er toch nog een paar albums zijn die nog geen goede MP3 tags hadden, dus die ook maar meteen goed gezet