[mysql/php] meest voorkomende woord combinaties

[Verwijderd]

Ik wil uit een table met titels, een lijstje displayen met meest voorkomende woord combinaties.

bijv als ik een table heb met dit:

• ervaren werkvoorbereider wegenbouw
• senior werkvoorbereider wegenbouw
• ervaren werkvoorbereider
• werkvoorbereider wegenbouw

dan zou de top 2 van meest voorkomende woordcombinaties zou dan dus moeten zijn:

1. werkvoorbereider wegenbouw
2. ervaren werkvoorbereider

iemand ideeën hoe je zoiets als dit kunt fixen?

het gaat trouwens niet alleen om combinaties van 2 woorden, maar zou dus ook van combinaties van 3 woorden kunnen zijn

[Creepy]

En wat heb je zelf al geprobeerd? Wat lukte daar dan niet mee? Alleen een vraag stellen zonder verder enige info is hier niet de bedoeling. Zie ook PRG Beleid. Dus wat heb je zelf al geprobeerd?

[ Voor 55% gewijzigd door Creepy op 10-11-2009 15:44 ]

[Verwijderd]

Creepy schreef op dinsdag 10 november 2009 @ 15:43:
En wat heb je zelf al geprobeerd? Wat lukte daar dan niet mee? Alleen een vraag stellen zonder verder enige info is hier niet de bedoeling. Zie ook PRG Beleid. Dus wat heb je zelf al geprobeerd?

nou ik weet dus niet hoe ik moet beginnen,

ik heb wel alle woorden los in een table staan, en kan zo dus heel makkelijk zien wat de meeste voorkomende woorden zijn, maar weet niet hoe ik het dus voor elkaar krijg om te laten zien welke combinaties van die woorden het meeste voorkomen.

[Cartman!]

Gewoon per row alle combinaties van woorden opslaan en dan in bijv. een array knallen en checken welke t meest voorrkomt.

[Brakkie]

Cartman! schreef op woensdag 11 november 2009 @ 14:26:
Gewoon per row alle combinaties van woorden opslaan en dan in bijv. een array knallen en checken welke t meest voorrkomt.

Dit lijkt me wel een klusje wat je het liefst door je database op wilt laten lossen.

[Verwijderd]

Brakkie schreef op woensdag 11 november 2009 @ 14:33:
[...]

Dit lijkt me wel een klusje wat je het liefst door je database op wilt laten lossen.

ja via mysql lijkt me de beste optie, maar de vraag is hoe? zit er standaard een functionaliteit in mysql waarmee je dit kan zien?

[CodeCaster]

Verwijderd schreef op woensdag 11 november 2009 @ 15:12:
[...]

ja via mysql lijkt me de beste optie, maar de vraag is hoe? zit er standaard een functionaliteit in mysql waarmee je dit kan zien?

In de nieuwste versie van MySQL wel: de functie die je zoekt heet getMostCommonWordCombinations(FromTable);.

---

Ik zou niet weten hoe dit in MySQL zou kunnen, maar ik werk er dan ook niet bepaald dagelijks mee. De oplossing van Cartman! lijkt mij de meest bruikbare.

[XiniX88]

CodeCaster schreef op woensdag 11 november 2009 @ 15:15:
[...]

In de nieuwste versie van MySQL wel: de functie die je zoekt heet getMostCommonWordCombinations(FromTable);.

---

Ik zou niet weten hoe dit in MySQL zou kunnen, maar ik werk er dan ook niet bepaald dagelijks mee. De oplossing van Cartman! lijkt mij de meest bruikbare.

Is pas vanaf versie 10.0, helaas is die nu nog niet stabiel. Een andere leuke functie is SELECT MAX(column) FROM table.

Maar de leukste functie vind ik

SELECT ik, ben, te, lui, dingen, uit, te FROM zoeken WHERE jammer = hoor

Btw, het mooiste is dit met Oracle, en dan een procedure maken, aangezien hier niet een echte functie voor is. Zie ook: http://www.techonthenet.com/oracle/procedures.php en dit kan ook in het goedkopere (gratis) postgre, MySQL heb ik geen idee

Of via een programeertaal:

http://en.wikibooks.org/w.../Longest_common_substring (tnx to B0rf)

PHP:

function strlcs($str1, $str2){
    $m = strlen($str1);
    $n = strlen($str2);
    $L = array();
    $z = 0;
    $ret = array();
 
    for($i=0; $i<$m; $i++){
        $L[$i] = array();
        for($j=0; $j<$n; $j++){
            $L[$i][$j] = 0;
        }
    }
 
    for($i=0; $i<$m; $i++){
        for($j=0; $j<$n; $j++){
            if( $str1[$i] == $str2[$j] ){
                $L[$i][$j] = $L[$i-1][$j-1] + 1;
                if( $L[$i][$j] > $z ){
                    $z = $L[$i][$j];
                    $ret = array();
                }
                if( $L[$i][$j] == $z )
                    $ret[] = substr($str1, $i-$z+1, $z);
            }
        }
    }
    return $ret;
}

[ Voor 44% gewijzigd door XiniX88 op 11-11-2009 15:28 ]

[Woy]

Ik wel benieuwd wat precies je definitie van woord combinaties is, en hoe dit precies in een tabel staat. Dat heeft natuurlijk nogal invloed op een eventuele oplossing.

[ Voor 70% gewijzigd door Woy op 11-11-2009 15:24 ]

[B0rf]

Klinkt een beetje als Longest Common Substring probleem. Volgens mij heeft mysql hier niet echt een mooie oplossing voor, en zul je dit in code moeten doen, en door alle rijen heenlopen

[Verwijderd]

nou, ik heb een oplossing gevonden, tis vast niet de mooiste, maar t doet wel wat ik wil

Ik explode een titel, en insert alle aparte combinaties dan in een table, waar ik dus later de populairste woord combinaties uit kan halen.

PHP:

$words = explode(" ",$titel);
    for($l=1;$l<=count($words);$l++){
        $functienaam = implode(" ",array_slice($words, 0, $l)); 
        //MYSQL INSERT INTO bla bla bla
    
    }
    for($s=1;$s<count($words);$s++){
        $functienaam = implode(" ",array_slice($words, $s, $l)); 
        //MYSQL INSERT INTO bla bla bla
    
    }

voorbeeld:

"dit is een test titel met meerdere woorden"

zou zo in de db komen te staan


dit
dit is
dit is een
dit is een test
dit is een test titel
dit is een test titel met
dit is een test titel met meerdere
dit is een test titel met meerdere woorden
is een test titel met meerdere woorden
een test titel met meerdere woorden
test titel met meerdere woorden
titel met meerdere woorden
met meerdere woorden
meerdere woorden
woorden

[gorgi_19]

Mis je dan niet combinaties als "test titel" ?

[JefSnare]

Ik heb een tijd terug zo'n oplossing moeten fixen voor tags op een website en ik heb op het laatst gewoon maar zelf een script geschreven dat de rows doorliep en alles explode. Dus niet zoals ^^ ludohelder. Dan mis je inderdaad de laatste woorden of de woorden die midden in de zin staan;

Verwijderd schreef op donderdag 03 december 2009 @ 07:59:
[...]

voorbeeld:

"dit is een test titel met meerdere woorden"

zou zo in de db komen te staan

Klik hier voor een voorbeeld wat ik laatst heb gedaan

Edit: met jouw oplossing kun je dan heel ver komen

[ Voor 4% gewijzigd door JefSnare op 03-12-2009 08:59 ]

[Verwijderd]

inderdaad was mijn oplossing nog niet volledig.

dus dan wordt het nu zo:

PHP:

$words = explode(" ","dit is een test titel met meerdere woorden"); 
$word_cnt = count($words);
    for($l=1;$l<=$word_cnt;$l++){ 
        $functienaam = implode(" ",array_slice($words, 0, $l)); 
    echo $functienaam."<br />";
        //MYSQL INSERT INTO bla bla bla 
     
    } 
    
    for($s=1;$s<$word_cnt;$s++){ 
        for($l=1;$l<=($word_cnt-$s);$l++){ 
            $functienaam = implode(" ",array_slice($words, $s, $l)); 
        echo $functienaam."<br />";
            //MYSQL INSERT INTO bla bla bla 
        }
    }

dit geeft de juiste output

[kwaakvaak_v2]

ingewikkelde oplossing volgens mij,

Kun je niet beter een tabel met woorden maken, en 1 koppel tabel waar je de combinatie tussen woord en item in opslaat? Kun je volgens mij veel makkelijker een query op doen.

[Twan V]

Mysql ondersteunt tegenwoordig views. Ik zou een view maken met daarin alle losse woorrden en het aantal keer dat het woord voorkomt:

word	occurance
werkvoorbereider	4
de	392
...	...

[lier]

Twan V schreef op donderdag 03 december 2009 @ 16:59:
Mysql ondersteunt tegenwoordig views. Ik zou een view maken met daarin alle losse woorrden en het aantal keer dat het woord voorkomt:

word	occurance
werkvoorbereider	4
de	392
...	...

Prachtig...en dan !?

@TS:
Definieer eerst eens goed weer je naar op zoek bent (gaat het bvaltijd om twee aaneengesloten woorden ?), schrijf hiervoor een oplossing die het doet (en die heb je al) en ga daarna nog eens kijken of je algoritme (/gekozen oplossing) optimaal is.

Kijk ook eens naar de opmerking van kwaakvaak_v2, deze ziet er al veel netter en vooral ontzettend veel sneller uit.

Tot slot nog een vraagje: hoe groot is je tabel (als in hoeveel data bevat de tabel) ?