[PHP] proximity

[TvdW]

Beste leden van Tweakers,

Voor een indexatie script van mijn "mijn muziek" ben ik titels aan het matchen (uit een database, 900 titels) uit een map (met submappen, totaal >10k mp3 bestanden).

Dit doe ik in PHP omdat dat makkelijker werkt. Nu heb ik helaas probleempjes :

"Guns N Roses-Knockin On Heavens Door.mp3"
Echter staat in mijn database : "Guns 'n Roses" en "Knockin' on heaven's door"

stristr() geeft natuurlijk terug dat ze niet matchen, al kan ik zelf natuurlijk zien dat ze wel matchen
Probleem is dat er te veel liedjes zijn die om deze reden niet matchen.

Heeft iemand hier een goede oplossing voor? Ik heb al heel wat geprobeerd en elke keer matcht 'ie hooguit 300 van de 900 titels.

mvg,
Tom

[Frash]

similar_text() en evt. levenshtein()

[ Voor 5% gewijzigd door Frash op 03-12-2008 21:25 ]

[jeroenikke]

Een werkende, maar niet zo mooie oplossing is om 2 keer te proberen matchen:
1 keer zoals jij doet
en
1 keer waarbij je eerst "-" vervangt door " - "

Alleen zal dit niet werken bij "Titel Met-Streepje-Artiest"

EDIT: Volledig verkeerd, ik dacht dat het probleem met het - was


met http://be.php.net/manual/en/function.preg-replace.php kan je reguliere expressies toepassen, dus alle quotes verwijderen.

[ Voor 32% gewijzigd door jeroenikke op 03-12-2008 21:29 ]

[TvdW]

Die 2 functies ken ik en ik heb ermee ge-experimenteerd, al heb ik er geen goed resultaat uit kunnen krijgen. Iemand tips hiervoor?

jeroenikke schreef op woensdag 03 december 2008 @ 21:25:
Een werkende, maar niet zo mooie oplossing is om 2 keer te proberen matchen:
1 keer zoals jij doet
en
1 keer waarbij je eerst "-" vervangt door " - "

Alleen zal dit niet werken bij "Titel Met-Streepje-Artiest"

Mijn huidige script negeert de streepjes en gaat direct door met het matchen van de titels :

code:

                            if (stristr($file, $song['artist'])) {
                                if (stristr($file, $song['song'])) {
                                    $found = true;
                                    break 2;
                                }
                            }

[ Voor 69% gewijzigd door TvdW op 03-12-2008 21:27 ]

[CodeCaster]

Ik heb al heel wat geprobeerd

Wat dan? Zelf een algoritme geprobeerd uit te vinden en daarmee opnieuw het wiel, zoiets als "kijk hoeveel woorden in lower case zonder leestekens wel matchen"?

geen goed resultaat uit kunnen krijgen

Er beter gebruik van maken.

Probeer eens iets duidelijker te zijn met wat je wil, en wat je hebt geprobeerd om dat doel te bereiken.

[ Voor 31% gewijzigd door CodeCaster op 03-12-2008 21:28 ]

[Herko_ter_Horst]

jeroenikke schreef op woensdag 03 december 2008 @ 21:25:
Een werkende, maar niet zo mooie oplossing is om 2 keer te proberen matchen:
1 keer zoals jij doet
en
1 keer waarbij je eerst "-" vervangt door " - "

Alleen zal dit niet werken bij "Titel Met-Streepje-Artiest"

Dit is niet het probleem van de TS. Het probleem is dat "Guns 'n' Roses" niet matcht met "Guns N Roses".

[TvdW]

CodeCaster schreef op woensdag 03 december 2008 @ 21:26:
[...]

Wat dan? Zelf een algoritme geprobeerd uit te vinden en daarmee opnieuw het wiel, zoiets als "kijk hoeveel woorden in lower case zonder leestekens wel matchen"?

[...]

Er beter gebruik van maken.

Probeer eens iets duidelijker te zijn met wat je wil, en wat je hebt geprobeerd om dat doel te bereiken.

bijvoorbeeld similar_text die wel redelijk goed werkt, behalve :
"Live from 1992 concert: blablabla - naam.mp3"

[jeroenikke]

Ondertussen geëdit...

[CodeCaster]

TvdW schreef op woensdag 03 december 2008 @ 21:29:
[...]

bijvoorbeeld similar_text die wel redelijk goed werkt, behalve :
"Live from 1992 concert: blablabla - naam.mp3"

Ja leuk, maar als jij verder niet zegt hoe je dit uitvoert... je kunt toch iets aan je gebruiker melden als "Geen exacte match gevonden, maar wel $bijna_match"?

[TvdW]

CodeCaster schreef op woensdag 03 december 2008 @ 21:30:
[...]

Ja leuk, maar als jij verder niet zegt hoe je dit uitvoert... je kunt toch iets aan je gebruiker melden als "Geen exacte match gevonden, maar wel $bijna_match"?

er zit geen gebruiker achter: alles is geautomatiseerd om een database te "Reconnecten"

en om dan uit te gaan van "ongeveer".. is eigenlijk niet acceptabel.

Tom

[CodeCaster]

Dan zul je toch bijvoorbeeld het aantal matchende woorden moeten bijhouden, en zelf het best matchende resultaat kiezen.

[TvdW]

CodeCaster schreef op woensdag 03 december 2008 @ 21:33:
Dan zul je toch bijvoorbeeld het aantal matchende woorden moeten bijhouden, en zelf het best matchende resultaat kiezen.

Ik zal eventjes kijken of dit principe werkt (beetje "weight"-achtig dus..)

[BCC]

Je kan natuurlijk ook een fingerprint van de muziek in de MP3 maken en die met elkaar gaan matchen .
Volgens mij is dat de enige echt goede manier. Je kan immers nooit alle waanzinnige spelfouten van titels matchen.

[ Voor 36% gewijzigd door BCC op 03-12-2008 21:37 ]

[TvdW]

BCC schreef op woensdag 03 december 2008 @ 21:35:
Je kan natuurlijk ook een fingerprint van de muziek in de MP3 maken en die met elkaar gaan matchen .
Volgens mij is dat de enige echt goede manier. Je kan immers nooit alle waanzinnige spelfouten van titels matchen.

dus op het moment dat ik met een playlist aan kom (bijvoorbeeld de top 2000, ik noem maar wat) heb ik ook direct de crc hashes?

[BCC]

Nee, dat probeer ik duidelijk te maken: een lijst met slecht gespelde titels is nooit 100% te matchen met een andere lijst met slecht gespelde titels. Je kan hoogstens proberen een best guess te doen op basis van steekwoorden, crc, hashes of analyse van het geluid in de MP3 (indien mogelijk).

Wat het beste werkt ligt nogal aan de kwaliteit van de lijsten en de informatie die er beschikbaar is. En natuurlijk de regelmaat van de gemaakte fouten.

[ Voor 21% gewijzigd door BCC op 03-12-2008 21:43 ]

[Verwijderd]

Tsja, als er dan een keer foutief "Guns 'N Rozes" staat ben je alsnog het bokje.
Ik zou kijken of je met similar_text() / levenshtein() kunt kijken wat het dichtste bij komt als je geen match hebt.

[Zyppora]

TvdW schreef op woensdag 03 december 2008 @ 21:32:
[...]

er zit geen gebruiker achter: alles is geautomatiseerd om een database te "Reconnecten"

en om dan uit te gaan van "ongeveer".. is eigenlijk niet acceptabel.

Tom

Als 'ongeveer' niet acceptabel is, zul je ervoor moeten zorgen dat de namen 1-op-1 overeen gaan komen, zodat je niet met 'ongeveer' hoeft te werken. Je zegt ongeveer 900 records te hebben (en dus 900 bestanden in je folder), dus als je daar een middagje aan besteedt, denk ik dat je een heel eind zult zijn dit te synchroniseren.

Maar da's natuurlijk monnikenwerk (of stagiairewerk, zoals we dat hier noemen). Je kunt ook met levenshtein() en similar_text() werken om bijv. te calculeren hoeveel de filenames verschillen met je database records, en bij bijvoorbeeld > 90% match, een prompt omhoog laten komen 'is dit het juiste bestand?'. Als je dan je record (of je bestand) door je script laat herschrijven, heb je daar bij de volgende run ook geen problemen meer mee.