[MYSQL] FULLTEXT zin zoeken

[Griffin]

geachte mede tweakers,

ik ben momenteel bezig met een FULLTEXT zoekfunctie die goed werkt alleen zijn er 2 dingen waar ik niet uit kom zelfs niet na lang zoeken op het www.
dit zijn
• op hele zinnen laten zoeken.
• highlighten van de zoekwoorden

zin zoeken
MySQL versie is 4.0.23. en updaten naar andere versie is niet mogelijk.

De code voor zover ik die nu heb.

PHP:

$zoeken = $_POST['zoeken'];

$query = 'SELECT C.page_id, C.page_title, C.content, C.domain_id, E.domain_id, E.domain
FROM tbl_pages AS C, tbl_domains AS E
WHERE E.domain_id=C.domain_id AND MATCH (C.content) AGAINST ("'.$zoeken.'")';

$result = mysql_query($query)or die (mysql_error());
$num = mysql_num_rows($result);

$row = mysql_fetch_object($result)

de uitkomst van het zoeken laat ik weergeven in een tabel en dit werkt dus goed.
Ik had wat gelezen over "--" (quotjes) te gebruiken maar dit werkt niet.
ik heb het geprobeerd met een zin die maar 1 keer in de database voor komt maar toch blijft de FULLTEXT search ook op woorden zoeken.

---

highlighten
Ook heb ik mijn zoek functie gehighlight en dit werkt wel maar het is case sensitive.
dus zoek ik op 'Hallo' dan highlight alleen 'Hallo' en 'hallo' niet (en andere kant ook op). het zoeken is niet case sensitive en dit werkt gewoon, het highlighten is dus case sensitive. PHP 5 kent str_ireplace(), maar hoe kan dit eenvoudig in PHP 4?

[Bosmonster]

http://dev.mysql.com/doc/mysql/en/fulltext-boolean.html

[Janoz]

@ zin zoeken:
De fulltext search kan per definitie niet op zinnen zoeken. Dat komt door de manier waarop fulltext search is geimplementeerd. Wat je zou kunnen doen is LIKE gebruiken. Dit is echter een stuk trager. Een optimalisatie zou kunnen zijn dat je eerst een selectie doet met full text search om vervolgens binnen deze resultaten met like te zoeken. Je gebruikt MySQL >4.0 dus subqueries zijn mogelijk (toch?)

@ ireplace:
We zijn wel erg lui he? Je linkt zelfs zelf naar de oplossing!

@hieronder:
Ja, bovenaan staat idd voor php 5.0, maar lees voor de grap ook de eerste reactie eens

[ Voor 16% gewijzigd door Janoz op 25-08-2005 16:58 ]

[cowgirl]

Janoz schreef op donderdag 25 augustus 2005 @ 16:46:
@ ireplace:
We zijn wel erg lui he? Je linkt zelfs zelf naar de oplossing!

Maar als ik het goed begrijp werkt ireplace vanaf PHP5 en werkt TS nog met PHP4.

Griffin schreef op donderdag 25 augustus 2005 @ 16:23:
PHP 5 kent str_ireplace(), maar hoe kan dit eenvoudig in PHP 4?

@edit hierboven: got it.

[ Voor 34% gewijzigd door cowgirl op 25-08-2005 17:25 ]

[Griffin]

Janoz schreef op donderdag 25 augustus 2005 @ 16:46:
@ zin zoeken:
De fulltext search kan per definitie niet op zinnen zoeken. Dat komt door de manier waarop fulltext search is geimplementeerd. Wat je zou kunnen doen is LIKE gebruiken. Dit is echter een stuk trager. Een optimalisatie zou kunnen zijn dat je eerst een selectie doet met full text search om vervolgens binnen deze resultaten met like te zoeken. Je gebruikt MySQL >4.0 dus subqueries zijn mogelijk (toch?)
Ok hier kan ik even naar kijken. laat ik morgen (hoop ik) weten

@ ireplace:
We zijn wel erg lui he? Je linkt zelfs zelf naar de oplossing!
ik snapte niet echt wat ze daar zeiden, maar ik zie nu dat je daar een function mee doet,
dus hiervoor srry,
edit:
dit is wel erg traag, en gaat niet helemaal goed, MAAR hier ga ik morgen mee verder.
nu naar huis

[ Voor 10% gewijzigd door Griffin op 25-08-2005 17:00 ]

[Genoil]

Er zal wel weer iemand beginnen mauwen over hoe vreselijk traag het is om de PCRE engine "helemaal" op te starten, maar die str_ireplace op php.net is mij gewoon te lang

PHP:

class BaseSearch {
..
    function setQuery($query) {
        $this->query = $query;
        $words = explode(" ", $query);
        foreach($words as $word) {
            $this->pregWords[] = "/".$word."/i";
        }
    }
..
    function highlight($text, $tag = "strong") {
        return preg_replace($this->pregWords, "<".$tag.">$0</".$tag.">", $text);
    }
..
}

[ Voor 15% gewijzigd door Genoil op 25-08-2005 17:01 ]

[Bosmonster]

Bosmonster schreef op donderdag 25 augustus 2005 @ 16:43:
http://dev.mysql.com/doc/mysql/en/fulltext-boolean.html

Om mezelf maar even toe te lichten. In BOOLEAN MODE kun je wel de quotjes gebruiken die TS aangaf. Hele zinnen kan uiteraard niet omdat in FULLTEXT kleine woorden weggelaten worden. Je kunt natuurlijk wel MySQL zo instellen dat ie geen woorden weglaat en de minimum woordgrootte op 1 zetten.. maar weet niet of dat zo effient is

[Genoil]

Bosmonster schreef op donderdag 25 augustus 2005 @ 17:06:
[...]


Om mezelf maar even toe te lichten. In BOOLEAN MODE kun je wel de quotjes gebruiken die TS aangaf. Hele zinnen kan uiteraard niet omdat in FULLTEXT kleine woorden weggelaten worden. Je kunt natuurlijk wel MySQL zo instellen dat ie geen woorden weglaat en de minimum woordgrootte op 1 zetten.. maar weet niet of dat zo effient is

De fulltext search kan per definitie niet op zinnen zoeken. Dat komt door de manier waarop fulltext search is geimplementeerd.

Of je jast je zoekstring door de default mysql stopwords list heen:

code:

a's, able, about, above, according, accordingly, across, actually, after, afterwards, again, against, ain't, all, allow, allows, almost, alone, along, already, also, although, always, am, among, amongst, an, and, another, any, anybody, anyhow, anyone, anything, anyway, anyways, anywhere, apart, appear, appreciate, appropriate, are, aren't, around, as, aside, ask, asking, associated, at, available, away, awfully, be, became, because, become, becomes, becoming, been, before, beforehand, behind, being, believe, below, beside, besides, best, better, between, beyond, both, brief, but, by, c'mon, c's, came, can, can't, cannot, cant, cause, causes, certain, certainly, changes, clearly, co, com, come, comes, concerning, consequently, consider, considering, contain, containing, contains, corresponding, could, couldn't, course, currently, definitely, described, despite, did, didn't, different, do, does, doesn't, doing, don't, done, down, downwards, during, each, edu, eg, eight, either, else, elsewhere, enough, entirely, especially, et, etc, even, ever, every, everybody, everyone, everything, everywhere, ex, exactly, example, except, far, few, fifth, first, five, followed, following, follows, for, former, formerly, forth, four, from, further, furthermore, get, gets, getting, given, gives, go, goes, going, gone, got, gotten, greetings, had, hadn't, happens, hardly, has, hasn't, have, haven't, having, he, he's, hello, help, hence, her, here, here's, hereafter, hereby, herein, hereupon, hers, herself, hi, him, himself, his, hither, hopefully, how, howbeit, however, i'd, i'll, i'm, i've, ie, if, ignored, immediate, in, inasmuch, inc, indeed, indicate, indicated, indicates, inner, insofar, instead, into, inward, is, isn't, it, it'd, it'll, it's, its, itself, just, keep, keeps, kept, know, knows, known, last, lately, later, latter, latterly, least, less, lest, let, let's, like, liked, likely, little, look, looking, looks, ltd, mainly, many, may, maybe, me, mean, meanwhile, merely, might, more, moreover, most, mostly, much, must, my, myself, name, namely, nd, near, nearly, necessary, need, needs, neither, never, nevertheless, new, next, nine, no, nobody, non, none, noone, nor, normally, not, nothing, novel, now, nowhere, obviously, of, off, often, oh, ok, okay, old, on, once, one, ones, only, onto, or, other, others, otherwise, ought, our, ours, ourselves, out, outside, over, overall, own, particular, particularly, per, perhaps, placed, please, plus, possible, presumably, probably, provides, que, quite, qv, rather, rd, re, really, reasonably, regarding, regardless, regards, relatively, respectively, right, said, same, saw, say, saying, says, second, secondly, see, seeing, seem, seemed, seeming, seems, seen, self, selves, sensible, sent, serious, seriously, seven, several, shall, she, should, shouldn't, since, six, so, some, somebody, somehow, someone, something, sometime, sometimes, somewhat, somewhere, soon, sorry, specified, specify, specifying, still, sub, such, sup, sure, t's, take, taken, tell, tends, th, than, thank, thanks, thanx, that, that's, thats, the, their, theirs, them, themselves, then, thence, there, there's, thereafter, thereby, therefore, therein, theres, thereupon, these, they, they'd, they'll, they're, they've, think, third, this, thorough, thoroughly, those, though, three, through, throughout, thru, thus, to, together, too, took, toward, towards, tried, tries, truly, try, trying, twice, two, un, under, unfortunately, unless, unlikely, until, unto, up, upon, us, use, used, useful, uses, using, usually, value, various, very, via, viz, vs, want, wants, was, wasn't, way, we, we'd, we'll, we're, we've, welcome, well, went, were, weren't, what, what's, whatever, when, whence, whenever, where, where's, whereafter, whereas, whereby, wherein, whereupon, wherever, whether, which, while, whither, who, who's, whoever, whole, whom, whose, why, will, willing, wish, with, within, without, won't, wonder, would, would, wouldn't, yes, yet, you, you'd, you'll, you're, you've, your, yours, yourself, yourselves, zero

Dan krijg je bij bijvoorbeeld een zoektocht op "So now send me an expert worker in gold and silver" de volgende query:

code:

SELECT MATCH (
ft
)
AGAINST (
'send expert worker gold silver'
) AS relevance, verse . *
FROM verse
WHERE MATCH (
ft
)
AGAINST (
'"send expert worker gold silver"'
IN BOOLEAN
MODE
)
ORDER BY relevance DESC

(Wat hier een beetje gammel is, is dat de relevantie-berekening niet lekker werkt in BOOLEAN MODE. Deze staat daarom niet IN BOOLEAN MODE en zal dus relevantie berekenen op basis van OR)

Deze query werkt prima en levert exact het ene record op in m'n database waar deze in voorkomt...

Het verdient overigens wel de aanbeveling om deze lijst eenmalig te 'compileren' naar een php array met regexes ipv die elke keer te genereren. ook kun je niet zomaar gaan str_(i)replacen met deze lijst, omdat een zoekopsracht op 'scandal' een zoekopdracht op 'scal' wordt...

Deze is uit m'n ouwe nog niet compilerende zoekengine:

PHP:

    function setStopwords($file) {
        
        global $stopwords;
        
        $contents   = file_get_contents($file);
        $regexes    = "/(\s|^)(".str_replace(",","(\s|$))+/,/(\s|^)(", $contents).")(\s|$)/";
        $stopwords  = explode("," , $regexes);
        
    }

Ik gebruik deze stopwords niet alleen voor het letterlijk zoeken met FULLTEXT, maar ook om m'n eigen fulltext kolommen te maken en daar met LIKE in te zoeken.

Mocht je de mogelijkheid hebben je mysql stopwords list aan te passen naar bv nederlands, dan kun je hier een aaridg lijstje vinden (waar gek genoeg een aantal lidwoorden op ontbreken, maar sois)

http://www.lc.leidenuniv....a96518/astopsup.htm#37481

[ Voor 47% gewijzigd door Genoil op 25-08-2005 18:23 ]

[Griffin]

@ Genoil:
Bedankt en toch nog een vraag

PHP:

$query = 
'SELECT MATCH (tbl_pages.content)
AGAINST ("'.$zoeken.'") AS relevance, tbl_pages . *
FROM tbl_pages
WHERE MATCH (tbl_pages.content)
AGAINST ("'.$zoeken.'" IN BOOLEAN MODE)
ORDER BY relevance DESC';

Dit werkt nu, maar maar uit 1 tabel.
als ik een 2e tabel wil laten uitlezen en iets in deze tabel JOINEN aan tbl_pages dan gaat het helemaal fout, ik krijg dit niet werkend. hij blijft errors geven.

wat doe ik fout?

[Janoz]

Daar hebben we hier natuurlijk weinig aan. Zou je ook kunnen zeggen welke foutmeldingen je krijgt?

[Griffin]

Janoz schreef op vrijdag 26 augustus 2005 @ 10:36:
Daar hebben we hier natuurlijk weinig aan. Zou je ook kunnen zeggen welke foutmeldingen je krijgt?

Srry, laat ik het zo zeggen, ik bedoel ik weet niet precies hoe ik er de 2e tabel en de join in moet zetten.
ik heb wel een idee, maar dan geeft ie de fouten aan.

PHP:

$query = 
'SELECT MATCH (tbl_pages.content)
AGAINST ("'.$zoeken.'") AS relevance, tbl_pages . *,tbl_domains . *
FROM tbl_pages, tbl_domains
WHERE tbl_domains.domain_id=tbl_pages.domain_id, MATCH (tbl_pages.content)
AGAINST ("'.$zoeken.'" IN BOOLEAN MODE)
ORDER BY relevance DESC';

zo dacht ik het, maar helaas komt deze error eruit.

You have an error in your SQL syntax. Check the manual that corresponds to your MySQL server version for the right syntax to use near ' MATCH (tbl_pages.content) AGAINST ("\"VA Hosting is de


en de echo van de query

SELECT MATCH (tbl_pages.content) AGAINST ("\"VA Hosting is de afdeling voor hosting bij VelzArt.\"") AS relevance, tbl_pages . *,tbl_domains . * FROM tbl_pages, tbl_domains WHERE tbl_domains.domain_id=tbl_pages.domain_id, MATCH (tbl_pages.content) AGAINST ("\"VA Hosting is de afdeling voor hosting bij VelzArt.\"" IN BOOLEAN MODE) ORDER BY relevance DESC


ik hoop dat het zo iets beter is

[cowgirl]

Griffin schreef op vrijdag 26 augustus 2005 @ 10:50:

PHP:

$query = 
'SELECT MATCH (tbl_pages.content)
AGAINST ("'.$zoeken.'") AS relevance, tbl_pages . *,tbl_domains . *
FROM tbl_pages, tbl_domains
WHERE tbl_domains.domain_id=tbl_pages.domain_id, MATCH (tbl_pages.content)
AGAINST ("'.$zoeken.'" IN BOOLEAN MODE)
ORDER BY relevance DESC';

SQL:

WHERE tbl_domains.domain_id=tbl_pages.domain_id AND MATCH (tbl_pages.content)
AGAINST ("'.$zoeken.'" IN BOOLEAN MODE)

[Griffin]

cowgirl schreef op vrijdag 26 augustus 2005 @ 11:01:
[...]

SQL:

WHERE tbl_domains.domain_id=tbl_pages.domain_id AND MATCH (tbl_pages.content)
AGAINST ("'.$zoeken.'" IN BOOLEAN MODE)

dank je,
valt wel mee wat ik fout had, had verwacht dat het veel meer was.
Mijn grote dank aan iedereen.

[Griffin]

het draaid nou goed alleen ik wil meer.
nu denk ik dat het niet echt kan maar ik vraag het voor de zekerheid.

Kan ik met FULLTEXT search in 2 tabellen zoeken?
ik heb het geprobeerd maar kreeg de volgende error:

code:

Wrong arguments to MATCH

ik gebruik de volgende code:

PHP:

$query = 
'SELECT MATCH (tbl_faq.faq_antw, tbl_manual.manual_omschrijving)
AGAINST ("'.$zoeken.'") AS relevance, tbl_faq . *,tbl_domains . *,tbl_manual . *
FROM tbl_faq, tbl_domains, tbl_manual
WHERE tbl_domains.domain_id=tbl_faq.afdeling_id=tbl_manual.afdeling_id AND MATCH (tbl_faq.faq_antw, tbl_manual.manual_omcshrijving) 
AGAINST ("'.$zoeken.'" IN BOOLEAN MODE)
ORDER BY relevance DESC';

zit er ergens een fout in de code, of kan het gewoon niet,
en wat is dan de andere mogelijkheid om 2 tabellen te zoeken naar het zelfde zoek woord, en deze in HTML tabellen weer te laten geven?

dit is werkende code voor het zoeken in 1 tabel:

PHP:

$query = 
'SELECT MATCH (tbl_faq.faq_antw)
AGAINST ("'.$zoeken.'") AS relevance, tbl_faq . *,tbl_domains . *
FROM tbl_faq, tbl_domains
WHERE tbl_domains.domain_id=tbl_faq.afdeling_id AND MATCH (tbl_faq.faq_antw) 
AGAINST ("'.$zoeken.'" IN BOOLEAN MODE)
ORDER BY relevance DESC';

[ Voor 20% gewijzigd door Griffin op 29-08-2005 16:16 ]

[AtleX]

En meerdere MATCH..AGAINST gedeeltes?

PHP:

<?
$query = 
'<snip>
WHERE tbl_domains.domain_id=tbl_faq.afdeling_id=tbl_manual.afdeling_id AND (MATCH (tbl_faq.faq_antw) 
AGAINST ("'.$zoeken.'" IN BOOLEAN MODE)
OR
MATCH ( tbl_manual.manual_omcshrijving) 
AGAINST ("'.$zoeken.'" IN BOOLEAN MODE))
ORDER BY relevance DESC';
?>

Niet getest trouwens .

[ Voor 41% gewijzigd door AtleX op 29-08-2005 16:32 ]

[Griffin]

@ atlex:
bedankt voor je ingeving,
maar met deze query krijg ik de zelfde fout, en persoonlijk denk ik dat de query al in de 1e MATCH fout gaat, maar dit weet ik niet zeker

EDIT:
ik ben wel even verder gegaan met die meerdere MATCH acties.
EN
ik ben nu van die fout melding af door de 1e regel te vervangen door

PHP:

$query = 
'SELECT MATCH (tbl_faq.faq_antw) MATCH (tbl_manual.manual_omschrijving)
AGAINST ("'.$zoeken.'") AS relevance ....<snip>

nu krijg ik de volgende foutmeldingen en ik wordt momenteel gek ervan.

code:

You have an error in your SQL syntax. Check the manual that corresponds to your MySQL server version for the right syntax to use near 'MATCH (tbl_manual.manual_omschrijving) AGAINST ("test") A

[ Voor 63% gewijzigd door Griffin op 29-08-2005 16:38 ]

[AtleX]

Griffin schreef op maandag 29 augustus 2005 @ 16:33:
EDIT:
ik ben wel even verder gegaan met die meerdere MATCH acties.
EN
ik ben nu van die fout melding af door de 1e regel te vervangen door

PHP:

$query = 
'SELECT MATCH (tbl_faq.faq_antw) MATCH (tbl_manual.manual_omschrijving)
AGAINST ("'.$zoeken.'") AS relevance ....<snip>

MATCH..AGAINST vormen een paar, een MATCH..MATCH..AGAINST triootje snappen ze niet.

PHP:

$query = 
'SELECT MATCH (tbl_faq.faq_antw) AGAINST ("'.$zoeken.'"), MATCH (tbl_manual.manual_omschrijving)
AGAINST ("'.$zoeken.'") 
<snip>

Ook deze is weer untested .

[ Voor 21% gewijzigd door AtleX op 29-08-2005 16:41 ]

[Griffin]

@ atlex en de rest:
bedankt atlex.
momenteel heb ik de volgende code die geen error weergeeft, maar ook geen zoek resultaten meer weer geeft.

PHP:

$query = 
'SELECT MATCH (tbl_faq.faq_antw) AGAINST ("'.$zoeken.'"),
MATCH (tbl_manual.manual_omschrijving)
AGAINST ("'.$zoeken.'") AS relevance, tbl_faq . *,tbl_domains . *,tbl_manual . *
FROM tbl_faq, tbl_domains, tbl_manual
WHERE tbl_domains.domain_id=tbl_faq.afdeling_id=tbl_manual.afdeling_id AND (MATCH (tbl_faq.faq_antw) 
AGAINST ("'.$zoeken.'" IN BOOLEAN MODE)
OR
MATCH ( tbl_manual.manual_omschrijving) 
AGAINST ("'.$zoeken.'" IN BOOLEAN MODE))
ORDER BY relevance DESC';

momenteel wordt het me even allemaal te veel en wordt er gek van.
Morgen weer verder.

[Griffin]

Ik ben weer verder gegaan en heb nu het volgende:

PHP:

'SELECT MATCH (tbl_faq.faq_antw) AGAINST ("test"),
MATCH (tbl_manual.manual_omschrijving)
AGAINST ("test") AS relevance, tbl_faq . *,tbl_domains . *,tbl_manual . *
FROM tbl_faq, tbl_domains, tbl_manual
WHERE tbl_domains.domain_id=tbl_faq.afdeling_id 
AND tbl_domains.domain_id=tbl_manual.afdeling_id 
AND (MATCH (tbl_faq.faq_antw) 
AGAINST ("test" IN BOOLEAN MODE)
OR
MATCH ( tbl_manual.manual_omschrijving) 
AGAINST ("test" IN BOOLEAN MODE))
ORDER BY relevance DESC'

hij leest het nu uit alleen 4 keer.
Het FAQ gedeelte 4x de 1e id achterelkaar, en dan de 4x de 2e id achterelkaar.
EN
MANUAL gedeelte eerst id 1,2,3,4 en dan weer 1,2,3,4
ik heb geprobeerd de 'OR' in 'AND' te wijzigen maar dan wordt het bovenstaande anders om. Dus wat FAQ nu doet met de output doet MANUAL en andersom.

dit zit echt in de SQL query omdat ik de query hard in phpmyadmin heb ingevoerd.
hij geeft dus geen foutmelding en ik weet niet waar ik het kan zoeken.

[ Voor 21% gewijzigd door Griffin op 30-08-2005 10:11 ]