[Zoekmachine] Hoe realiseer je stemming?

[Phenomenon]

Ik heb een website waar een zoekfunctie in zit. Maak gebruik van MySQL en de full-text search. Nu gaan we binnenkort een nieuw gedeelte bij de site maken, maar dan wil ik eigenlijk wel gebruik maken van stemming (als ik tenminste een goed idee van stemming heb).

Dus dat wanneer er op bijvoorbeeld 'scholen' gezocht wordt, hij ook school vindt. (dat is stemming toch?) Ik heb werkelijk geen idee hoe je zoiets voor elkaar zou kunnen maken.

Ik kwam een volgende plug-in tegen voor MySQL wat precies doet wat ik zoek, alleen ware het niet dat ik bij een provider zit die het niet wil instaleren.

Ik werk trouwens met ASP, mocht dat ook nog enig verschil uitmaken.

[NMe]

Ik heb even zitten kijken of MySQL van zichzelf Levenshtein ondersteunt, maar zo te zien niet. In dat geval zit je ofwel aan die module vast, ofwel je zal moeten kijken naar SOUNDEX(), die eigenlijk niet bedoeld is voor dit probleem. Elke andere oplossing zal volgens mij in je scripting gaan zitten omdat het met MySQL gewoon niet kan.

[Phenomenon]

En Query Expansion dan? Gaat dat niet een beetje die richting op?

edit:
Zit even te zoeken op Levenshtein (kende ik niet) en daar kom je wel wat verder mee inderdaad

edit:
Ik denk dat ik het wel voor elkaar krijg om in de code Levensthein toe te passen, maar daar heb ik nog niet zoveel aan als MySQL het niet ondersteunt. Dus verder wezen zoeken, maar dan moet ik de mogelijkheid hebben voor UDF (User Defined Functions) in MySQL wil ik die functie kunnen toevoegen in MySql. Voor zover ik weet (ga ik even navragen) heb ik die mogelijkheid niet. Maar denk dat dat de enige oplossing is?.

[ Voor 76% gewijzigd door Phenomenon op 14-04-2006 15:08 ]

[MSalters]

Stemming is taal-specifiek, zoals je voorbeeld van "scholen/school" aangeeft. SOUNDEX is taal specifiek, maar wel Engels-specifiek.Je originele link heeft een taalkeuze mogelijkheid, en is dus beter.

[BestTested!]

Misschien ook handig.

Meneer Porter (bekend van Porter Stemming ) is zo vriendelijk geweest om zijn code openbaar te maken, en heeft momteel al een aardige fan-club opgebouwd met zijn Snowball project. Hier staan verschillende implementaties (vaak ook PHP) van verschillende Stemmings algoritmes (ook verschillende talen)

[eamelink]

Sowieso lijkt het mij dodelijk voor de performance als termen in de database tijdens het zoeken moeten worden gestemd.

Het bovengenoemde Snowball wordt overigens ook door Omega gebruikt.