Na de introductie van nieuwe zoektechnologie voor artikelen, userreviews en V&A-advertenties - met Tweakers 7 - zijn we doorgegaan om ook de zoekmachine achter het forum met vergelijkbare techniek te vernieuwen.
Er is daarmee een compleet nieuwe zoekmachine voor het forum ontwikkeld. Daar zitten een aantal belangrijke vernieuwingen in.
Het zoeken gebeurt nu op reactie-basis, voorheen was dat op topic-basis. Dat is vooral voor de hele lange topics zinvol, vroeger zorgde dit er namelijk voor dat ze bij erg veel zoekopdrachten naar voren kwamen omdat de termen verspreid over de losse reacties samen gezien werden. Daarnaast zorgt het er voor dat het aantal reacties op een topic niet meer uit maakt voor de zogenaamde "term frequency", een van de elementen die gebruikt wordt om de score van een resultaat te bepalen.
De zoekmachine wordt "near realtime" bijgewerkt. Oftewel, zodra een topic wordt aangepast wordt geprobeerd dat direct bij te werken. Er zal altijd wel een zekere vertraging in zitten, maar het zou geen twee uur meer moeten duren voor je een nieuw topic of nieuwe reactie ziet terugkomen.
De relevantie bestaat uit meerdere elementen nu, naast de normale tekstuele relevantie wordt het geboost door:
Het zoekformulier is wat vereenvoudigd. Door de krachtigere relevantie zijn het onhandige jaar-filter en de mogelijkheid om de "snel gesloten topics" uit te sluiten verwijderd. Je kan uiteraard nog steeds op type en leeftijd filteren.
Bij de zoekresultaten zie je een paar van de best aansluitende reacties met een contextuele snippet. Oftewel, je krijgt niet een stukje van de topicstart te zien, maar de reacties die de beste match opleverden en daarvan dan weer de beste snippet.
De zoekresultaten zijn vereenvoudigd. Voorheen stond er per resultaat een hele waslijst aan linkjes die je kon gebruiken om allerlei varianten op het zoeken te krijgen. Nu zijn dat er minder: de topiclink, de directe link naar de losse reacties en een link om binnen dat topic de zoekopdracht te herhalen topic.
Het zoeken in de topics is ook gelijk vervangen. Je kan er dus dezelfde query-taal gebruiken als in de normale zoekmachine. Voorheen werd dat gedaan met een simpele LIKE-query in SQL.
Er zijn nog diverse zaken niet helemaal perfect en door alle uiteenlopende wensen zal het ook nooit lukken om het helemaal perfect te maken
Maar we gaan natuurlijk wel een poging wagen. We zijn zelf onder andere nog niet helemaal tevreden met de weergave van de zoekresultaten en er moet ook vast nog wel wat gesleuteld worden aan de manier van sorteren, relevantie, etc.
Je kan e.e.a. hier testen. Let er op dat je met live data test. Dat zorgt er voor dat je resultaten goed kan vergelijken met de huidige zoekmachine, maar zorgt er ook voor je niet zomaar een willekeurige testreactie moet gaan plaatsen. Er gelden tenslotte de normale forumregels op
We willen graag feedback op:
Overigens is de verwachting dat het nog wel een paar iteraties duurt voor we dit helemaal in productie opzetten. Sowieso zijn er veel vakanties de komende tijd en we moeten het design van de resultaten nog beter uitwerken
Er is daarmee een compleet nieuwe zoekmachine voor het forum ontwikkeld. Daar zitten een aantal belangrijke vernieuwingen in.
Het zoeken gebeurt nu op reactie-basis, voorheen was dat op topic-basis. Dat is vooral voor de hele lange topics zinvol, vroeger zorgde dit er namelijk voor dat ze bij erg veel zoekopdrachten naar voren kwamen omdat de termen verspreid over de losse reacties samen gezien werden. Daarnaast zorgt het er voor dat het aantal reacties op een topic niet meer uit maakt voor de zogenaamde "term frequency", een van de elementen die gebruikt wordt om de score van een resultaat te bepalen.
De zoekmachine wordt "near realtime" bijgewerkt. Oftewel, zodra een topic wordt aangepast wordt geprobeerd dat direct bij te werken. Er zal altijd wel een zekere vertraging in zitten, maar het zou geen twee uur meer moeten duren voor je een nieuw topic of nieuwe reactie ziet terugkomen.
De relevantie bestaat uit meerdere elementen nu, naast de normale tekstuele relevantie wordt het geboost door:
- de leeftijd van de reacties, ouder is minder relevant. FAQ, Sticky en Stucky zijn uitgesloten van deze tijdsgewogen degradatie van de score. Gesloten topics die heel snel gesloten waren dalen daarentegen veel harder.
- de populariteit van het topic als geheel, meer populair weegt een beetje extra
- het type topic: FAQ, Sticky en Stucky worden ietsje geboost t.o.v. een normaal open topic en een gesloten topic ietsje lager.
Het zoekformulier is wat vereenvoudigd. Door de krachtigere relevantie zijn het onhandige jaar-filter en de mogelijkheid om de "snel gesloten topics" uit te sluiten verwijderd. Je kan uiteraard nog steeds op type en leeftijd filteren.
Bij de zoekresultaten zie je een paar van de best aansluitende reacties met een contextuele snippet. Oftewel, je krijgt niet een stukje van de topicstart te zien, maar de reacties die de beste match opleverden en daarvan dan weer de beste snippet.
De zoekresultaten zijn vereenvoudigd. Voorheen stond er per resultaat een hele waslijst aan linkjes die je kon gebruiken om allerlei varianten op het zoeken te krijgen. Nu zijn dat er minder: de topiclink, de directe link naar de losse reacties en een link om binnen dat topic de zoekopdracht te herhalen topic.
Het zoeken in de topics is ook gelijk vervangen. Je kan er dus dezelfde query-taal gebruiken als in de normale zoekmachine. Voorheen werd dat gedaan met een simpele LIKE-query in SQL.
Er zijn nog diverse zaken niet helemaal perfect en door alle uiteenlopende wensen zal het ook nooit lukken om het helemaal perfect te maken
Maar we gaan natuurlijk wel een poging wagen. We zijn zelf onder andere nog niet helemaal tevreden met de weergave van de zoekresultaten en er moet ook vast nog wel wat gesleuteld worden aan de manier van sorteren, relevantie, etc.
Je kan e.e.a. hier testen. Let er op dat je met live data test. Dat zorgt er voor dat je resultaten goed kan vergelijken met de huidige zoekmachine, maar zorgt er ook voor je niet zomaar een willekeurige testreactie moet gaan plaatsen. Er gelden tenslotte de normale forumregels op
We willen graag feedback op:
- De werking van de zoekmachine in algemene zin
- De relevantie van de zoekresultaten ten op zichte van je zoekopdracht
- De kwaliteit van de snippets t.o.v. je zoekopdracht
- De werking van de zoekmachine binnen topics
Overigens is de verwachting dat het nog wel een paar iteraties duurt voor we dit helemaal in productie opzetten. Sowieso zijn er veel vakanties de komende tijd en we moeten het design van de resultaten nog beter uitwerken