Eigen zoekfunctie maken: dictionaries

[Verwijderd]

Ik heb momenteel een eigen search engine gemaakt voor mijn site. Momenteel werk ik met single keywords, waar ik dus alle teksten doorscan op keywords en dan links naar die items leg bij die keywords.

De grote kracht van die engine is voornamelijk het maken van 'ignored words', woorden zoals 'de het een heel grote' etc... die dus redelijk zinloos zijn om in de keywords op te nemen.

Momenteel heb ik al door testen en kijken welke woorden er geindexed worden een hele hoop keywords gevonden (zo een 235), maar ik ben eigenlijk op zoek naar meer. Heeft er dus iemand zo een lijst van keywords die altijd genegeerd worden door search engines ?

[Tim Schuhmacher]

Je bedoelt woorden als 'to' en 'as' enzo?

Of wil je nederlands?

Je kan zelf een stukje code maken dat van een aantal site woorden telt en dan kun je handmatig jouw worden er uit pakken. (mits het niet overdreven veel wordt)

Maar ik weet niet of er een standaard lijst voor bestaat

[Onno]

Dit zijn de woorden die Oracle interMedia Text negeert bij het indexeren van tekst:

aan
betreffende
eer
had
juist
na
overeind
van
weer
aangaande
bij
eerdat
hadden
jullie
naar
overigens
vandaan
weg
aangezien
binnen
eerder
hare
kan
nadat
pas
vanuit
wegens
achter
binnenin
eerlang
heb
klaar
net
precies
vanwege
wel
achterna
boven
eerst
hebben
kon
niet
reeds
veeleer
weldra
afgelopen
bovenal
elk
hebt
konden
noch
rond
verder
welk
al
bovendien
elke
heeft
krachtens
nog
rondom
vervolgens
welke
aldaar
bovengenoemd
en
hem
kunnen
nogal
sedert
vol
wie
aldus
bovenstaand
enig
hen
kunt
nu
sinds
volgens
wiens
alhoewel
bovenvermeld
enigszins
het
later
of
sindsdien
voor
wier
alias
buiten
enkel
hierbeneden
liever
ofschoon
slechts
vooraf
wij
alle
daar
er
hierboven
maar
om
sommige
vooral
wijzelf
allebei
daarheen
erdoor
hij
mag
omdat
spoedig
vooralsnog
zal
alleen
daarin
even
hoe
meer
omhoog
steeds
voorbij
ze
alsnog
daarna
eveneens
hoewel
met
omlaag
tamelijk
voordat
zelfs
altijd
daarnet
evenwel
hun
mezelf
omstreeks
tenzij
voordezen
zichzelf
altoos
daarom
gauw
hunne
mij
omtrent
terwijl
voordien
zij
ander
daarop
gedurende
ik
mijn
omver
thans
voorheen
zijn
andere
daarvanlangs
geen
ikzelf
mijnent
onder
tijdens
voorop
zijne
anders
dan
gehad
in
mijner
ondertussen
toch
vooruit
zo
anderszins
dat
gekund
inmiddels
mijzelf
ongeveer
toen
vrij
zodra
behalve
de
geleden
inzake
misschien
ons
toenmaals
vroeg
zonder
behoudens
die
gelijk
is
mocht
onszelf
toenmalig
waar
zou
beide
dikwijls
gemoeten
jezelf
mochten
onze
tot
waarom
zouden
beiden
dit
gemogen
jij
moest
ook
totdat
wanneer
zowat
ben
door
geweest
jijzelf
moesten
op
tussen
want
zulke
beneden
doorgaand
gewoon
jou
moet
opnieuw
uit
waren
zullen
bent
dus
gewoonweg
jouw
moeten
opzij
uitgezonderd
was
zult
bepaald
echter
haar
jouwe
mogen
over
vaak
wat

[bartvb]

En zoek anders eens op stopword list.

Als je dan toch bezig bent is het ook erg handig een synoniemen lijst te zoeken.. Iets als:

abcense absence
abridgement abridgment
accomodate accommodate
acknowledgment acknowledgement
airplane aeroplane
allright alright
andy andrew
anemia anaemia
anemic anaemic
anesthesia anaesthesia
anesthesiologist anaesthesiologist
anesthesiololy anaesthesiology
anesthetic anaesthetic


(dat is dus een engelse)

En als je um gevonden hebt stuur je mij even een ICQ msg of mailtje Ik moet er namelijk ook nog 1 hebben voor een fulltext search die ik aan het bouwen ben.

Overigens gooien we ook woorden die in meer dan 40% van de documenten staan zonder pardon weg Scheelt ook weer wat, zeker als alles over 1 onderwerp gaat (zoeken op PHP in een database met artikelen over PHP is meestal niet zo nuttig ).

[Onno]

Op maandag 26 november 2001 19:54 schreef bartvb het volgende:
(zoeken op PHP in een database met artikelen over PHP is meestal niet zo nuttig ).

Zoeken naar "+blabla -PHP" daarentegen weer wél. En dat kan zo ook niet meer.

[Verwijderd]

Kun je toch genereren. Hoe vaker een woord voorkomt, hoe minder zinvol het is...

[Verwijderd]

Over wat je moet negeren en wat juist wel moet opslaan is dus heel veel discussie mogelijk Maar ik zoek dus een lijstje van veel gebruikte voegwoorden en irrelevante zoeken woorden (in't engels). Een lijst zoals iemand hier postte is veel te ingewikkeld, die woorden worden nooit op de site gebruikt. Ik zal dus zelf nog maar wat tijd besteden aan het filteren aan verbeteren, een "add word as ignore-word and delete it as keyword" is iets wat ik eerst ga maken

Maar iets anders nu. Ik zag net op GoT een topic over de FULLTEXT search van MySQL:

code:

SELECT *,SUBSTRING_INDEX(Content, ' ', 20), 
MATCH Content AGAINST ('quake') as x FROM ArticlePages 
ORDER BY x DESC LIMIT 0, 30

Dit lijkt me ook wel leuk, want het werkt met een score systeem en je kunt substrings teruggeven van de tekst waarop gematcht is. Maar is dit veel beter dan het zelf doen met keywords ?

Ik poll dus even naar ervaring van andere gebruikers...

[Onno]

Op dinsdag 27 november 2001 14:21 schreef c9melvin het volgende:
(in't engels).

Had dat eerder gezegd.

Wederom met dank aan Oracle interMedia Text:

a
be
had
it
only
she
was
about
because
has
its
of
some
we
after
been
have
last
on
such
were
all
but
he
more
one
than
when
also
by
her
most
or
that
which
an
can
his
mr
other
the
who
any
co
if
mrs
out
their
will
and
corp
in
ms
over
there
with
are
could
inc
mz
s
they
would
as
for
into
no
so
this
up
at
from
is
not
says
to

[Verwijderd]

Op dinsdag 27 november 2001 14:25 schreef Onno het volgende:

[..]

Had dat eerder gezegd.

Wederom met dank aan Oracle interMedia Text:

tnx !

code:

Query OK, 21 rows affected (0.16 sec)
Records: 77  Deleted: 0  Skipped: 56  Warnings: 0

Had ik er toch al een hoop zelf gevonden

[bartvb]

De buildin fulltext search van MySQL is redelijk brak IMO. ZIe ook:

[topic=277291/1/25]

BTW er zijn al leuke kan en klare fulltext search engines gebaseerd op SQL voor PHP.. Kijk eens naar:

http://www.mnogosearch.org/

Is schijnbaar wel populair.