[MySQL] zoeken met FULLTEXT index werkt niet

[Pelle]

Voor kleine tabelletjes met weinig data gebruikte ik als zoek-query vaak iets als dit:

code:

SELECT  id,
        naam
FROM      teksten
WHERE    omschrijving LIKE '%blaat%';

Maar nu heb ik een hele zooi grote lappen tekst die doorzocht moeten kunnen worden. Heb de MySQL docs erop nageslagen en heb een tabel met een FULLTEXT index gemaakt op drie velden (titel, tekst en steekwoorden). Die steekwoorden zitten erbij om nog extra woorden op te kunnen geven waar het betreffende record op gevonden kan worden.

Met onderstaand commando heb ik m'n table gedefineerd:

code:

CREATE TABLE paginas (
     id      INT AUTO_INCREMENT NOT NULL,
     titel      VARCHAR(200),
     tekst      TEXT,
     steekwoorden   TINYTEXT,
     menu        INT,
     categorie  INT,
     locatie      VARCHAR(200),
     PRIMARY KEY    (id),
     FULLTEXT    (titel, tekst, steekwoorden)
);

Hierna heb ik er even 2 testrecords in gegooid (sorry voor de layout verneuking):

code:

SELECT * FROM paginas;
+----+---------------------------------+-------------------------------------------------------------------+-----------------------+------+-----------+--------------------------------+
| id | titel                   | tekst                                       | steekwoorden     | menu | categorie | locatie                |
+----+---------------------------------+-------------------------------------------------------------------+-----------------------+------+-----------+--------------------------------+
|  1 | Dit is een titel         | En hier hebben we de tekst. Die bevat wat woorden.            | steekwoord woordsteek |    1 |       1 | direcotry/filename.extensie    |
|  2 | Woei, nog een titel. Echt gaaf. | Zeker wel. Dit is tekst, dat je het even weet. Lorem ipsum. Enzo. | lerp melp       |    1 |      1 | directory2/filename2.extensie2 |
+----+---------------------------------+-------------------------------------------------------------------+-----------------------+------+-----------+--------------------------------+

De MySQL documentatie zegt:

Full-text searching is performed with the MATCH() function.

code:

mysql> SELECT * FROM articles
    ->      WHERE MATCH (title,body) AGAINST ('database');

Okee, dat ga ik dus toepassen op mijn tabelletje:

code:

SELECT  id,
        titel,
        MATCH(titel,tekst,steekwoorden) AGAINST('woorden')
FROM      paginas
WHERE    MATCH(titel,tekst,steekwoorden) AGAINST('woorden');

Maar die levert een empty set
Na het weghalen van de WHERE-clause, krijg ik dit resultaat:

code:

+----+---------------------------------+----------------------------------------------------+
| id | titel                   | MATCH(titel,tekst,steekwoorden) AGAINST('woorden') |
+----+---------------------------------+----------------------------------------------------+
|  1 | Dit is een titel         |                                 0 |
|  2 | Woei, nog een titel. Echt gaaf. |                                  0 |
+----+---------------------------------+----------------------------------------------------+

Oftewel, hij matched niet, terwijl het eerste record toch echt het woord 'woorden' bevat. Ik doe vast iets heel doms, maar ik zie niet wat

Oh ja:

code:

mysql  Ver 11.16 Distrib 3.23.49, for redhat-linux-gnu (i386)

Weet niet of dat nog uitmaakt, lijkt me in ieder geval niet.

[drm]

Is het niet zo dat je de velden die je matcht ook _moet_ selecten?

_edit:
maw

code:

SELECT  id,
        titel,
        tekst,         # deze 2
        steekwoorden,     # dus
        MATCH(titel,tekst,steekwoorden) AGAINST('woorden')
FROM      paginas
WHERE    MATCH(titel,tekst,steekwoorden) AGAINST('woorden');

[Pelle]

Lijkt me stug.

Testje:

code:

mysql> SELECT   id,
    ->       titel,
    ->       tekst,        # deze 2
    ->       steekwoorden,    # dus
    ->       MATCH(titel,tekst,steekwoorden) AGAINST('woorden')
    -> FROM   paginas
    -> WHERE     MATCH(titel,tekst,steekwoorden) AGAINST('woorden');
Empty set (0.00 sec)

Zelfde resultaat

[Pelle]

Ok, klap op de vuurpijl:
Ik heb het voorbeeldje uit de MySQL docs even geimplementeerd, en die doet het WEL

Ik kan hier echt geen zinnige verklaring voor vinden..

code:

mysql> CREATE TABLE articles (
    ->    id INT UNSIGNED AUTO_INCREMENT NOT NULL PRIMARY KEY,
    ->    title VARCHAR(200),
    ->    body TEXT,
    ->    FULLTEXT (title,body));
Query OK, 0 rows affected (0.01 sec)

mysql> INSERT INTO articles VALUES
    ->  (0,'MySQL Tutorial', 'DBMS stands for DataBase ...'),
    ->  (0,'How To Use MySQL Efficiently', 'After you went through a ...'),
    ->  (0,'Optimising MySQL','In this tutorial we will show ...'),
    ->  (0,'1001 MySQL Trick','1. Never run mysqld as root. 2. ...'),
    ->  (0,'MySQL vs. YourSQL', 'In the following database comparison ...'),
    ->  (0,'MySQL Security', 'When configured properly, MySQL ...');
Query OK, 6 rows affected (0.00 sec)
Records: 6  Duplicates: 0  Warnings: 0

mysql> select * from articles;
+----+------------------------------+------------------------------------------+
| id | title                | body                       |
+----+------------------------------+------------------------------------------+
|  1 | MySQL Tutorial          | DBMS stands for DataBase ...        |
|  2 | How To Use MySQL Efficiently | After you went through a ...       |
|  3 | Optimising MySQL      | In this tutorial we will show ...      |
|  4 | 1001 MySQL Trick      | 1. Never run mysqld as root. 2. ...  |
|  5 | MySQL vs. YourSQL        | In the following database comparison ... |
|  6 | MySQL Security          | When configured properly, MySQL ...    |
+----+------------------------------+------------------------------------------+
6 rows in set (0.00 sec)

mysql> SELECT * FROM articles
    ->     WHERE MATCH (title,body) AGAINST ('database');
+----+-------------------+------------------------------------------+
| id | title         | body                      |
+----+-------------------+------------------------------------------+
|  5 | MySQL vs. YourSQL | In the following database comparison ... |
|  1 | MySQL Tutorial    | DBMS stands for DataBase ...      |
+----+-------------------+------------------------------------------+
2 rows in set (0.00 sec)

mysql>

[Banpei]

Lees dan de docs ook goed door:

Such a technique works best with large collections (in fact, it was carefully tuned this way). For very small tables, word distribution does not reflect adequately their semantic value, and this model may sometimes produce bizarre results.

mysql> SELECT * FROM articles WHERE MATCH (title,body) AGAINST ('MySQL');
Empty set (0.00 sec)

The search for the word MySQL produces no results in the above example, because that word is present in more than half the rows. As such, it is effectively treated as a stopword (that is, a word with zero semantic value). This is the most desirable behaviour -- a natural language query should not return every second row from a 1GB table.

Meer data toevoegen dus...

Overigens wel een zeeeer interessant onderwerp... Brengt een nieuw licht op mijn ideeen voor zoekfuncties...

[drm]

Banpei:
Meer data toevoegen dus...

code:

INSERT INTO articles VALUES
    ->  (0,'MySQL Tutorial', 'DBMS stands for DataBase ...'),
    ->  (0,'How To Use MySQL Efficiently', 'After you went through a ...'),
    ->  (0,'Optimising MySQL','In this tutorial we will show ...'),
    ->  (0,'1001 MySQL Trick','1. Never run mysqld as root. 2. ...'),
    ->  (0,'MySQL vs. YourSQL', 'In the following database comparison ...'),
    ->  (0,'MySQL Security', 'When configured properly, MySQL ...');

[pietje63]

dus mysql zelf kan ook al nadenken dat scheelt, alleen maakt dat het (net zoals al die extra ms word functies) soms niet makkelijker, als je niet in de gaten hebt wat er precies gebeurt

[Banpei]

Op dinsdag 09 juli 2002 15:04 schreef drm het volgende:

[..]


[..]

Ik heb het dus over zijn eerste zoekfunctie... Het tweede werkte dus wel. De eerste dus niet waar ook maar twee records in stonden...

[Pelle]

* Pelle heeft even gekeken, en inderdaad, bizarre resultaten:

code:

mysql> select * from paginas;
+----+-------------------------------------------+-------------------------------------------------------------------+
| id | titel                         | tekst                                         |
+----+-------------------------------------------+-------------------------------------------------------------------+
|  1 | Dit is een titel               | En hier hebben we de tekst. Die bevat wat woorden.          |
|  2 | Woei, nog een titel. Echt gaaf.       | Zeker wel. Dit is tekst, dat je het even weet. Lorem ipsum. Enzo. |
|  3 | waarom doet niet? ik weet nie hoor.. blab | blaas ;lkj sdkd  dka  dsfasd fasdf melp lerp zaag slurp       |
|  4 | sjaak de bever is gekomen             | om vrede te sluiten met de grote mens                     |
|  5 | zwaaiend met hun witte vlaggetjes       | maken zij een feestelijke indruk                       |
+----+-------------------------------------------+-------------------------------------------------------------------+
5 rows in set (0.00 sec)

mysql> SELECT * FROM paginas
    ->     WHERE MATCH (titel,tekst) AGAINST ('tekst');
+----+---------------------------------+-------------------------------------------------------------------+
| id | titel                   | tekst                                       |
+----+---------------------------------+-------------------------------------------------------------------+
|  1 | Dit is een titel         | En hier hebben we de tekst. Die bevat wat woorden.            |
|  2 | Woei, nog een titel. Echt gaaf. | Zeker wel. Dit is tekst, dat je het even weet. Lorem ipsum. Enzo. |
+----+---------------------------------+-------------------------------------------------------------------+
2 rows in set (0.00 sec)

He, cool, hij werkt
Meer data erin gooien werkt dus.. beetje jammer is dat, ik ga er pas data ingooien als ik weet dat het werkt.. beetje een vieze cirkel

Maare, bedankt voor de tip, ik kan weer vooruit

[drm]

Banpei:
Ik heb het dus over zijn eerste zoekfunctie... Het tweede werkte dus wel. De eerste dus niet waar ook maar twee records in stonden...

Dat was dus exact het verwarrende eraan, he Je zegt "meer data toevoegen" maar bedoelt "meer records toevoegen".

zijn duidelijk niet dezelfde dingen.