[PHP/SQL] Forum met searchfunctionaliteit

Hoi

Ik ben bezig een forum-module aan het schrijven. Een beetje forum heeft natuurlijk een leuke search-functie, maar zodra je forum groeit wordt het doorzoeken van de 'live data' geen optie meer. Ik zoek naar een oplossing die zowel goede zoekresultaten oplevert als efficiënt is.

Mogelijke oplossingen:

• Indexes maken in (My)SQL en indexes erop loslaten
• Querycache optimaliseren en veel geheugen aan MySQL toekennen, zodat je wel een grote dataset kunt 'scannen' maar de meeste dingen via de cache worden opgevangen.
• Zelf een index maken van elk woord dat in alle postings voorkomt. Als een user dan zoekt op "wolf kroket" dan kijk je in de search tabel naar deze twee woorden waar een serie posts uitkomen die deze woorden bevatten.

Zelf lijkt me de laatste optie het meest verstandig. Deze zal het snelste zijn met zoeken, en enkel bij het posten wat meer load op de server leggen. De oplossing zal ook heel schaalbaar zijn, waarmee ik bedoel dat de snelheid op pijl blijft zodra het forum groeit naar > 4GB.
Het nadeel van deze optie is echter dat je alleen op hele woorden kunt zoeken. Dus stel je zoekt op "kroke" dan krijg je geen hits voor posts die "kroket" bevatten. Dat vind ik een serieus nadeel!

Mijn vraag aan jullie is welke andere mogelijkheden jullie kennen, en hoe andere (grote) forums als React dit afhandelen. In de huidige fase van ontwikkeling kan ik nog makkelijk fundamentele veranderingen aanbrengen aan het design. Alvast bedankt voor jullie input!

frickY schreef op maandag 02 oktober 2006 @ 08:46:
phpBB, vBulletin en MyReact gebruken meen ik allen indexen en zoekt de zoekfunctie oook gewoon door de live data.

Door live data zoeken? You have *GoT* to be kidding! Dat betekent een search doen op bijvoorbeeld 2GB aan tekst?
Als je nou zoekt in een topic ofzo kan ik me dat voorstellen, maar een generieke search? Ik denk dat mijn server met een grote dataset wel een paar minuutjes nodig heeft minimaal, om over het aantal zoekopdrachten per seconde maar niet te spreken. Of mis ik nu iets?

MTWZZ schreef op maandag 02 oktober 2006 @ 08:50:
Misschien kun je htdig gebruiken. Die kun je ook direct in PHP aanspreken.

Mja dat gaat dan eigenlijk extern om. Zou kunnen, maar echt sexy vind ik dat niet.

Michali schreef op maandag 02 oktober 2006 @ 09:19:
Kijk eens naar de Full-Text Search in mysql. Daarmee kun je goed zoeken in je live data. En volgens mij gaat dat nog best rap.

Dat zou qua implementatie wel een stuk makkelijker zijn. Maar waarom gebruiken andere forums dit dan niet?

Hij kan ook apple* doen waarbij hij zoekt op apples. Ik ben wel benieuwd naar de snelheid hiervan. Eigenlijk zou ik een paar benchmarks moeten doen. Maarja ik ga er vanuit dat deze functionaliteit in toekomstige versies van MySQL nog verder uitgebreid en verbeterd zal worden, dus een slechte designkeuze zal het wellicht niet zijn.