[MySQL] Tellen van woorden

[BKJ]

Ik heb hier een database met een groot aantal nieuwsartikelen (enkele duizenden) die allemaal itern gepubliceerd zijn in de loop der jaren. Nu wil ik er wat statistieken op los laten. Eén daarvan is het tellen van onderwerpen. Oftewel een soort top 20 samenstellen van populairste onderwerpen waarover geschreven is. Je kunt dan natuurlijk beginnen bij het 1e artikel alle woorden te bekijken, uitgezonderd de, het, een etc etc, en die woorden gaan tellen in de rest van de artikelen. Woorden onthouden die je gehad hebt en dan naar het volgende artikel. maar volgens mij is dit een nogal omslachtige methode...

Heeft MySQL hier niet een mooie funtie voor? Of heeft iemand hier ervaring mee?

[Verwijderd]

Heeft de programmeertaal van waaruit je MySQL gebruikt ook een functie waarbij je karakters in een tekst kunt vervangen ? dan kun je een truukje doen: Vervang alle spaties met niets, en kijk dan hoeveel karakters je tekst kleiner is geworden. Tel daar 1 bij op, en je hebt het aantal woorden. ( misschien dat het niet helemaal correct is, bijvoorbeeld als mensen geen spaties achter een punt hebben gezet, maar het geeft een goede indicatie, lijkt me)

[BKJ]

Verwijderd schreef op 16 mei 2004 @ 12:33:
Heeft de programmeertaal van waaruit je MySQL gebruikt ook een functie waarbij je karakters in een tekst kunt vervangen ? dan kun je een truukje doen: Vervang alle spaties met niets, en kijk dan hoeveel karakters je tekst kleiner is geworden. Tel daar 1 bij op, en je hebt het aantal woorden. ( misschien dat het niet helemaal correct is, bijvoorbeeld als mensen geen spaties achter een punt hebben gezet, maar het geeft een goede indicatie, lijkt me)

Ik gebruik Perl en die heeft dat. Alleen bereken ik met jou methode de gemiddelde lengte van een nieuwsitem (cq kop). Ik wil bv weten hoe populair een bepaald onderwerp is van zeg het afgelopen jaar. Zoiets als dit:

1. Irak 2300 artikelen
2. Google 2000 artikelen
3. KPN 1245 artikelen
4. Balkenende 1187 artikelen

Om nou allemaal woorden te gaan verzinnen en daarop te gaan zoeken is nogal tijdrovend.

[NMe]

Ik denk dat je daarvoor je koppen moet gaan indexeren in een aparte tabel met zoekwoorden. De tabel moet een veld hebben voor het betreffende woord en een veld voor een link naar het id van het artikel, beiden samen zijn primary key.
Op het moment dat je een artikel plaatst werk je ook die tabel bij waarmee je alle woorden van de kop bekijkt (in PHP zou je de trim functie gebruiken, en daarna elk woord doorlopen met foreach, zoiets kan in Perl vast ook wel). De tabel ziet er in jouw geval zo uit:

code:

woord            artikel

Irak                1
Google              1
Irak                2
Irak                3

Enz.

Straks hoef je alleen maar een SELECT COUNT(*) FROM tabel WHERE woord = 'watjeookzoekt'.

[ Voor 6% gewijzigd door NMe op 16-05-2004 13:00 ]

[BKJ]

NMe84 schreef op 16 mei 2004 @ 12:59:
Ik denk dat je daarvoor je koppen moet gaan indexeren in een aparte tabel met zoekwoorden. De tabel moet een veld hebben voor het betreffende woord en een veld voor een link naar het id van het artikel, beiden samen zijn primary key.
Op het moment dat je een artikel plaatst werk je ook die tabel bij waarmee je alle woorden van de kop bekijkt (in PHP zou je de trim functie gebruiken, en daarna elk woord doorlopen met foreach, zoiets kan in Perl vast ook wel). De tabel ziet er in jouw geval zo uit:

code:

woord            artikel

Irak                1
Google              1
Irak                2
Irak                3

Enz.

Straks hoef je alleen maar een SELECT COUNT(*) FROM tabel WHERE woord = 'watjeookzoekt'.

Dat betekent dus dat je zelf zoekwoorden moet gaan verzinnen. Kun je niet alle woorden meenemen? Ik had op zich al een aanvalsplan bedacht in mijn openingpost, maar ik vroeg me alleen af of dat niet sneller kan. Ik meende iets een x gelezen te hebben over occurence. Weet iemand een methode?

[P_de_B]

zitten er niet bepaalde FULL TEXT INDEXING functies in MySQL die dit kunnen?

[BKJ]

P_de_B schreef op 16 mei 2004 @ 15:30:
zitten er niet bepaalde FULL TEXT INDEXING functies in MySQL die dit kunnen?

Daar ben ik dus ook denk ik benieuwd naar....

[P_de_B]

hitchhacker schreef op 16 mei 2004 @ 15:44:
[...]


Daar ben ik dus ook denk ik benieuwd naar....

Ik durf het niet te zeggen, maar misschien zou je met de zoekterm full text indexing wat kunnen zoeken?

[BKJ]

P_de_B schreef op 16 mei 2004 @ 15:55:
[...]

Ik durf het niet te zeggen, maar misschien zou je met de zoekterm full text indexing wat kunnen zoeken?

Ik weet wat full text indexing doet: zoeken in text. Maar ik wil graag frequenties van woorden tellen over de hele db. Nu kan dat prima per woord mbv full text indexing, alleen, zoals ik al zei, wil ik alle frequenties van ALLE woorden weten.

Heeft iemand hier een zinnig idee over?

[Eelke Spaak]

hitchhacker schreef op 16 mei 2004 @ 16:11:
[...]


Ik weet wat full text indexing doet: zoeken in text. Maar ik wil graag frequenties van woorden tellen over de hele db. Nu kan dat prima per woord mbv full text indexing, alleen, zoals ik al zei, wil ik alle frequenties van ALLE woorden weten.

Heeft iemand hier een zinnig idee over?

Je moet, zoals NMe84 al schreef, de artikelen doorlopen en steeds als een woord voorkomt gewoon een insert doen in een tabel met kolommen (woord, artikelId).

Als je dit hebt gedaan kan je met:

SQL:

SELECT COUNT(*) AS frequentie, woord FROM frequentietabel GROUP BY woord

een lijstje opvragen van alle woorden met hun frequentie.

[BKJ]

Vladimir G. schreef op 16 mei 2004 @ 17:39:
[...]


Je moet, zoals NMe84 al schreef, de artikelen doorlopen en steeds als een woord voorkomt gewoon een insert doen in een tabel met kolommen (woord, artikelId).

Als je dit hebt gedaan kan je met:

SQL:

SELECT COUNT(*) AS frequentie, woord FROM frequentietabel GROUP BY woord

een lijstje opvragen van alle woorden met hun frequentie.

Beste mensen, ik waardeer dat jullie replyen maar ik denk dat jullie het nog niet helemaal doorhebben....ik kan namelijk NIET voorspellen welke woorden er voor komen in de koppen. Als ik idd wist dat ik zocht naar het woord IRAK dan kon ik jullie methode prima toepassen. Niks mis mee. Alleen als het gaat om 11624 artikelen is dat nogal lastig. Is er niet een andere oplossing?

[Eelke Spaak]

Je hoeft ook helemaal niet te weten welke woorden er in de teksten voorkomen .

Als je gewoon een willekeurig woord tegenkomt in de tekst, doe je een insert (voor elke tekenreeks gescheiden door leestekens en/of witruimte dus). Simpel. Daarvoor hoef je niet van tevoren te weten welke woorden je tegenkomt.