[ALG] goede search engine opzetten*

[Verwijderd]

Ik wil een geheel nieuwe site wil opzetten die een search heeft waarbij ik alle sites wil doorzoeken, hoe kan ik dit dan het beste opzetten.

Het is de bedoeling dat ik met HTML tags in de source zet die dan later in een ODBC of MySQL database terecht komen en met PHP te vinden zijn en je eventueel ook nog kan selecteren of je in de tekst of header zoekt. Een beetje zoals bij tweakers, al ben ik van mening dat hier de forum een grote Database is.

Cheers.
(Ben momenteel bekend met PHP, Javascript, HTML, MySQL en een beetje Perl maar als iemand bijv ASP beter vind sta ik open voor suggesties)

[Orphix]

Tja je kan met PHP de bestanden scannen en dan via reguliere expressies de sleutel woorden eruit halen.

Ik heb er niet veel ervaring mee, maar je kan twee manieren gebruiken om dit op te slaan in de database (MySQL).
- Je stopt de gehele zin in een varchar veld, dan kan je via een LIKE clause zoeken in de database.
- Je deelt de zin op in woorden en slaat elk woord apart (met een referentie naar een pagina) op.

[[ti]]

http://www.mysql.com/doc/F/u/Fulltext_Search.html

[Verwijderd]

Ik zou voor dit soort zaken kiezen voor een echte programmeertaal ipv een scriptingtaal. Indexeren en filteren van bestanden kunnen uiteraard ook met PHP, maar een zeg maar C taal kan dit veel krachtiger en sneller.

[Verwijderd]

Lucene bijvoorbeeld: http://jakarta.apache.org/lucene/docs/index.html

[Verwijderd]

Op zondag 10 februari 2002 20:18 schreef Gordijnstok het volgende:
Ik zou voor dit soort zaken kiezen voor een echte programmeertaal ipv een scriptingtaal. Indexeren en filteren van bestanden kunnen uiteraard ook met PHP, maar een zeg maar C taal kan dit veel krachtiger en sneller.

Even ter info:
Google gebruikt ook Python voor een hoop dingen, en dan met name voor de spiders en textprocessing dingen. Zeg dus niet direct dat een script taal ongeschikt is voor een search engine.

[Verwijderd]

Op zondag 10 februari 2002 20:46 schreef luite het volgende:

[..]

Even ter info:
Google gebruikt ook Python voor een hoop dingen, en dan met name voor de spiders en textprocessing dingen. Zeg dus niet direct dat een script taal ongeschikt is voor een search engine.

Een scripting taal is leuk voor de de frontend, maar indexeren e.d. kan toch beter gedaan worden met een c/c++/java achtige taal. Dat is wat Gordijnstok bedoelt.

[Verwijderd]

Op zondag 10 februari 2002 20:50 schreef Zef het volgende:
[..]
Een scripting taal is leuk voor de de frontend, maar indexeren e.d. kan toch beter gedaan worden met een c/c++/java achtige taal. Dat is wat Gordijnstok bedoelt.

Dat maak jij ervan. Hij heeft het echter expliciet over het filteren van de tekst, en dat is precies waar Google python voor gebruikt.

[TheOneLLama]

Op zondag 10 februari 2002 20:50 schreef Zef het volgende:

[..]

Een scripting taal is leuk voor de de frontend, maar indexeren e.d. kan toch beter gedaan worden met een c/c++/java achtige taal. Dat is wat Gordijnstok bedoelt.

Als jij denk dat je met jou c/c++/JAVA kennis betere filter algologaritmes kan schrijven dan bv de mensen die Perl in elkaar gedraaid hebben wens ik je veel succes. Perl mag dan zelf misschien wat overhead geven de code die erachter zit is wel *zwaar* geoptimaliseert c of c++. Bv archive.org (ook wel bekent als de wayback machine) waar vele hondereden terabytes aan data liggen opgeslagen gebruikt ook Perl voor bijna alles om binnen een paar seconde aan jou request te voldoen..

[Verwijderd]

Is het misschien mogelijk om door te linken naar copernic of wil je het helemaal zelf schrijven? Wel het best natuurlijk!

[Verwijderd]

Gsus, wat ben ik wakker vandaag
Post vandaag ff nix meer, tuurlijk zelf schrijven...anders stond het wel in een ander forum

[tomato]

Gordijnstok: Ik zou voor dit soort zaken kiezen voor een echte programmeertaal ipv een scriptingtaal.

Ben je er van bewust dat veel mensen dit als offensive zullen beschouwen

Indexeren en filteren van bestanden kunnen uiteraard ook met PHP, maar een zeg maar C taal kan dit veel krachtiger en sneller.

Ik ben het hier niet mee eens.

Op de eerste plaats:
Het indexeren en filteren van bestanden gebeurt (hoop ik) niet realtime tijdens een search. Dus is de snelheid hier van al minder van belang.

Op de tweede plaats:
Met iets als een searchengine zal de architectuur van je syteem vele malen belangrijker zijn dan de gekozen 'taal'. Gebruik liever een slimme opzet, goede indeces en een snelle DBMS, dan een zwaar geoptimaliseerd stukje C code met inline assembly dat gebruik maakt van 20000 ranzige HTML files.
Daar naast zullen je C scripts vrijwel geen snelheidswinst laten zien boven een mod_perl script. In veel gevallen zal het zelfs zo zijn dat je om even snelle code te krijgen je in C aan enorme lappen optimalisatie zult moeten doen.


Maar voor de topicstarter, wat is precies je vraag? Waarom kies je voor platte HTML files wanneer je nu waarschijnlijk al door hebt dat je met dingen als searchengines in 'moeilijkheden' komt (het indexeren wordt wat minder triviaal, daar komt nog bij dat dit natuurlijk gesynchroniseerd moet blijven)?

[raptorix]

Ik heb tijdje terug nog een spider gemaakt in ASP, hoewel ie behoorlijk brak was lukt het aardig om zaken als urls en keywords te filteren, ding spiderde per uur zo een 7000 pagina's, was op zich een relatief simpel ding van een regel of 40 met een DB met 2 a 3 tables.

[Verwijderd]

Op woensdag 13 februari 2002 23:41 schreef tomato het volgende:

Maar voor de topicstarter, wat is precies je vraag? Waarom kies je voor platte HTML files wanneer je nu waarschijnlijk al door hebt dat je met dingen als searchengines in 'moeilijkheden' komt (het indexeren wordt wat minder triviaal, daar komt nog bij dat dit natuurlijk gesynchroniseerd moet blijven)?

Dit is het gebied waar op dit moment mijn kennis ligt, vandaar dat ik deze topic ook start. Als er mensen zijn die aanraden om op een andere manier de opzet te beginnen kan ik me gaan orienteren op iets nieuws ipv later mijn hele site herbouwen. Weet bijv niet echt veel van ASP, en dit draait toch alleen op een Windows server en niet op bijv een linux server??

thanx voor alle replies, als wat het niet de bedoeling dat dit een strijdveld zou worden tussen mensen die c/c++/JAVA prefenderen en mensen die Perl/PHP gebruiken