[PHP] Nested for each probleem

[BierPul]

Met de volgende code probleem ik meerer HTML files te indexeren naar de volgende db layout

tbl_files
file_id
file_path
file_kenmerk

tbl_keywords
keyword_id
keyword

tbl_files_keywords
file_id
keyword_id
match_count

In losse woorden heb ik een array met losse woorden die uit de text worden gesplitst met een spatie.

Tot dusver gaat alles ok

Nu loop ik met een foreach alle woorden langs en kijk of ze in de db staan etc etc.

Als ik de matches wil gaan uitvoeren lijkt er niets aan de hand te zijn maar ik krijg onwerkelijk hoge match_counts 381 bijv en dat constant naar mate we verder in de Files komen dese te lager de match count

Ik snap niet waardoor dat komt , iemand

PHP:

                $losse_woorden = explode(" ",$inhoud);
                    foreach($losse_woorden as $woord) {
                                            if(strlen($woord) >= 4) {
                                                $woord = chop(addslashes($woord));
                                                #checken of het woord al in de db voorkomt
                                                $check_keyword = mysql_query("SELECT keyword_id FROM tbl_keywords WHERE keyword = '$woord'") or die (mysql_error());
                                                $count_keyword = mysql_num_rows($check_keyword);
                                                
                                                    
                                                    if($count_keyword < 1) {
                                                        /*Het woord staat er nog niet niet in dus posten*/
                                                        mysql_query("INSERT into tbl_keywords (keyword) values ('$woord')") or die (mysql_error());
                                                        $keyword_id = mysql_insert_id();
                                                    } else {
                                                        $array_keyword = mysql_fetch_row($check_keyword);
                                                        $keyword_id = $array_keyword[0];
                                                    }
                                                    
                                                    #keyword_id is gezet nu kijken of deze al vaker voorkomt
                                                            $file_keyword_match_qry = mysql_query("SELECT file_id FROM tbl_files_keywords WHERE keyword_id = '$keyword_id'") or die (mysql_error());
                                                            $count_file_keyw = mysql_num_rows($file_keyword_match_qry);
                                        
                                                            if($count_file_keyw > 0) {
                                                                $update_me = mysql_fetch_row($file_keyword_match_qry);
                                                                mysql_query("UPDATE tbl_files_keywords SET match_count = match_count+1 WHERE file_id = '{$update_me[0]}'");
                                                            } else {
                                                                mysql_query("INSERT into tbl_files_keywords (file_id, keyword_id, match_count) values ('$file_id', '$keyword_id',1)");
                                                            }
                                                }
                        }

* BierPul verontschuldigd zich voor zijn tabelverneukend gedrag

[thomaske]

is dit geen ouderwets debug werkje?

dus na iedere regel even echo'en wat je precies aan het doen bent..?

[BierPul]

briljante update query was de schuld

[thomaske]

LOST_GUNT schreef op 29 oktober 2002 @ 14:17:

dat bedoel ik

[LuCarD]

Je hebt ook een query teveel....

Als keyword nog niet bestaat dan bestaat er ook geen koppeling met tbl_files_keywords dus daar hoef je dan ook niet op te testen.

[BierPul]

Toch gaat het niet helemaal lekker

Ik plaats maar even de gehele code

PHP:

set_time_limit(0);

mysql_query("DELETE FROM `tbl_files");
mysql_query("DELETE FROM `tbl_keywords");
mysql_query("DELETE FROM `tbl_files_keywords");

echo("leeg we gaan ervoor");

error_reporting(E_ALL);

require("INCLUDES/DBCONN.PHP");
require("FUNCTIONS/STRING_FUNCTIONS.PHP");

$root = "$DOCUMENT_ROOT/REMBRANDT/HTML_CONTENT";

function leesdir($root) {

    if ($map = @opendir($root)) {
        while (($bestand = readdir($map)) !== false) {
            if($bestand !== "." and $bestand !== "..") {
                $pad = $root . '/' . $bestand;  
                    if(is_dir( $pad )) { 
                        leesdir($pad);
                    } else {
                        #het is een bestand dus eerst checken op waardes en Classificeren
                        $extensie = substr($bestand, -4);
                            if($extensie == "HTML" or $extensie == ".HTM") {    
                            #tis een valide bestand dus openen...
                                if(preg_match("/_en./", $bestand)) { 
                                    $taal = "en"; 
                                } else { 
                                    $taal = "nl"; 
                                }
                                    $categorie = substr($bestand,0,1);
                                    mysql_query("INSERT into tbl_files (file_path, file_category, file_lang) values ('$pad', '$categorie', '$taal')");
                                    $file_id = mysql_insert_id();
                                    #gevens van het bestand staan in de db in tbl_files, nu bestand inlezen
                                    $text = file($pad);
                                    $ruw = $text[0];
                                    $inhoud = cleanupHTML($ruw);
                                    #HTML en rare dingen zijn verwijderd
                                    $losse_woorden = explode(" ",$inhoud);
                                
                                        foreach($losse_woorden as $woord) {
                                            if(strlen($woord) >= 4) {
                                                $woord = str_replace(",","",$woord);
                                                $woord = str_replace(" ","",$woord);
                                                $woord = str_replace(".","",$woord);
                                                $woord = str_replace(";","",$woord);
                                                $woord = str_replace(":","",$woord);
                                                $woord = str_replace("\"","",$woord);
                                                $woord = str_replace("'","",$woord);
                                                $woord = str_replace("?","",$woord);
                                                $woord = str_replace("!","",$woord);
                                                $woord = chop(addslashes($woord));
                                                #checken of het woord al in de db voorkomt
                                                $check_keyword = mysql_query("SELECT keyword_id FROM tbl_keywords WHERE keyword = '$woord'") or die (mysql_error());
                                                $count_keyword = mysql_num_rows($check_keyword);
                                                
                                                    
                                                    if($count_keyword < 1) {
                                                        /*Het woord staat er nog niet niet in dus posten*/
                                                        mysql_query("INSERT into tbl_keywords (keyword) values ('$woord')") or die (mysql_error());
                                                        $keyword_id = mysql_insert_id();
                                                    } else {
                                                        $array_keyword = mysql_fetch_row($check_keyword);
                                                        $keyword_id = $array_keyword[0];
                                                    }
                                                    
                                                    #keyword_id is gezet nu kijken of deze al vaker voorkomt
                                                            $file_keyword_match_qry = mysql_query("SELECT file_id FROM tbl_files_keywords WHERE keyword_id = '$keyword_id'") or die (mysql_error());
                                                            $count_file_keyw = mysql_num_rows($file_keyword_match_qry);
                                        
                                                            if($count_file_keyw > 0) {
                                                                $update_me = mysql_fetch_row($file_keyword_match_qry);
                                                                mysql_query("UPDATE tbl_files_keywords SET match_count = match_count+1 WHERE file_id = '$update_me[0]' AND keyword_id = '$keyword_id'") or die(mysql_error());
                                                                echo("gotcha");
                                                            } else {
                                                                mysql_query("INSERT into tbl_files_keywords (file_id, keyword_id, match_count) values ('$file_id', '$keyword_id',1)");
                                                            }
                                                }
                                        }                        
                            }
                    }   
            }
        }
    }
} 

leesdir($root);

_{Opmerking van Lucard nog niet verwerkt maar leek me voor deze vraag niet relevant}

Hij geeft bij sommige woorden gewoon een match count van 20 aan tewrijl als ik ga kijken hij echt maar 2 keer voorkomt in dat bestand.

Ik ben aan het echoen geweest maar kan de fout niet xichtbaar repoproduceren

[LuCarD]

mysql_query("DELETE FROM `tbl_files");
mysql_query("DELETE FROM `tbl_keywords");
mysql_query("DELETE FROM `tbl_files_keywords");

ik mis een `

Opmerking van Lucard nog niet verwerkt maar leek me voor deze vraag niet relevant

Dacht dat het opgelost was... en het viel me toevallig op...

[BierPul]

Toch is het raar dat hij soms meer match_counts geeft dan hoort

Hier snap ik niets van

[LuCarD]

twee dingen...

• Misschien worden de tabellen niet gewist waardoor er telkens bij de vorige waarde woord op geteld. Dat kan hele rare waardes geven.

• Misschien moet je het tellen niet door de database laten doen maar lekker zelf doen.
Je kan een associative array aanmaken, en elke keer als je het woord tegen komt met 1 ophogen....

in halve php

PHP:

foreach($lossewoord as $woord) {
  $woord_teller[$woord]++;
}

// daarna alle woorden in db.

foreach($woord_teller as $k => $v) {

// INSERT OF DOE NIKS in tbl_keywords

// INSERT in tbl_file_keywords

}

• Je controleert of je woorden minimaal 4 chars heeft een daarna filter je nog wat extra ongewenste chars eruit... Misschien moet je eerst filteren en daarna controleren (Dit heeft niks met jouw huidige probleem te maken)

[BierPul]

Ik heb het al gevonden

Ik ging zoeken in alle files of het keyword al een keer voorkwam terwijl ik een file specifiek behandel.

Dus hij ging voor alle files bij die ene file tellen