[zoeken] irrelevante woorden-lijst

[Genoil]

Hallo,

We zijn bezig een full-text search te bouwen, en om een en ander wat sneller te maken, zijn we op zoek naar een lijst met woorden die toch niet relevant zijn om op te zoeken. Deze woorden willen we dan weghalen uit de tekst, zodat het zoeken dan sneller gaat. Weet iemand waar we zulke lijsten kunnen vinden, zowel voor Nederlands als Engels.

Ff een voorbeeldje, de bovenstaande tekst zou dan zoiets moeten worden:

full-text search lijst woorden relevant zoeken weghalen tekst zoeken sneller lijsten vinden Nederlands Engels

[roelio]

hmmz moeilijk te vinden, misschien kun je die van Google van ze krijgen?

"what as is and if so on it up" enzovoort

[TheMrH]

Lijkt me dat je die lijst zelf gaat opbouwen naarmate je meer gegevens in de DB hebt staan. Dan kan je nl kijken welke woorden extreem veel voorkomen, dat zijn dan de ruiswoorden.

[roelio]

dat kan heel gevaarlijk zijn als de db een relatief beperkt aantal onderwerpen bevat, immers dan wordt er waarschijnlijk ook vaak met dezelfde (vak)termen gesmeten?

[TheMrH]

Das voer je natuurlijk pas door bij een bepaalde grootte/hoeveelheid woorden....

In MySQL zit er geloof ik ook zoiets, is ooit eens een topic over geweest.

[curry684]

Ik kan de URL zo snel niet vinden maar er circuleert ergens op Internet een linguistisch onderzoek waarvoor een speech van Steve Ballmer gebruikt is. Hierbij was een lijst geleverd met alle woorden die hij in die enorme toespraak had gebruikt, inclusief het aantal gebruikte keren. An sich is de lijst niet zo interessant, maar wel dat de 30-40 meest voorkomende woorden inderdaad de voegwoorden, lidwoorden etc. zijn. Pas daarna kwam geloof ik 'Microsoft' een keer

Clue van het verhaal is: laat die DB maar groeien, en knikker er met de hand de ruis uit de top-30 van woorden uit. Niet automatisch want dan ga je inderdaad jargon en 'onderwerpsaanduidingen' weggooien, zoals respectievelijk bijv. de woorden 'handle' en 'API' in MSDN.

[dusty]

Op woensdag 16 januari 2002 00:32 schreef curry684 het volgende:
Clue van het verhaal is: laat die DB maar groeien, en knikker er met de hand de ruis uit de top-30 van woorden uit. Niet automatisch want dan ga je inderdaad jargon en 'onderwerpsaanduidingen' weggooien, zoals respectievelijk bijv. de woorden 'handle' en 'API' in MSDN.

En niet vergeten het woord toevoegen aan een andere lijst zodat je die ook niet meer gaat toevoegen met nieuwe pagina's