[feat/bug] Betere search op GoT

[Phyxion]

Ik kan de laatste tijd echt niks meer vinden met de search, ik zit constant Google te gebruiken hiervoor. Dit moet toch wel beter kunnen?
Een voorbeeld: Ik zoek naar ervaringen batterijen omdat ik weet dat hier een topic van is. Nou maakt het niet uit waar je op sorteert of wat je invoert, ik krijg het topic op geen enkele manier naar boven. Zeker als je zoekt op relevantie. Als ik gewoon zoek letterlijk op [Ervaringen] Oplaadbare Batterijen dan komt het topic nog niet naar voren.
Zou hier niet eens aan gesleuteld kunnen worden?

[crisp]

Dit komt omdat de search standaard zoekt in topics die gestart zijn vanaf 2007, en [Ervaringen] Oplaadbare Batterijen is gestart in 2006.

Gebruik makend van de tags had je 'm wellicht sneller kunnen vinden: http://gathering.tweakers...taggedtopics/tag/batterij

Dit is overigens al een bekend 'probleem', zie o.a. Werking 'Zoek in tijdsperiode' in search

[tc982]

crisp schreef op vrijdag 02 juli 2010 @ 09:24:
Dit komt omdat de search standaard zoekt in topics die gestart zijn vanaf 2007, en [Ervaringen] Oplaadbare Batterijen is gestart in 2006.

Gebruik makend van de tags had je 'm wellicht sneller kunnen vinden: http://gathering.tweakers...taggedtopics/tag/batterij

Dit is overigens al een bekend 'probleem', zie o.a. Werking 'Zoek in tijdsperiode' in search

Ik wou dat het waar was, maar het zoeken is echt wel slecht bij GoT

Om een idee te geven, als je bij één van de zoekopdrachten gewoon Het grote grappige plaatjes topic deel 53, dan kom je alles tegen behalve DAT topic! Is voor mij onbegrijpbaar... Tussen quotes vind hij gewoon niets.

Een topic terugvinden is gewoon niet te doen...

[Anoniem: 149800]

Dit is altijd al zo geweest.

Jammer omdat er zoveel te vinden zou zijn hier op tweakers maar het komt gewoon niet naar voren.
Hier zijn al erg veel topics over geweest maar ze hebben het nog niet goed kunnen oplossen.

[TommyGun]

Google werkt inderdaad veel beter.

[pven]

tc982 schreef op vrijdag 02 juli 2010 @ 10:11:
[...]

Om een idee te geven, als je bij één van de zoekopdrachten gewoon Het grote grappige plaatjes topic deel 53, dan kom je alles tegen behalve DAT topic! Is voor mij onbegrijpbaar... Tussen quotes vind hij gewoon niets.

Een topic terugvinden is gewoon niet te doen...

Uit nieuwsgierigheid: waarom zou je juist naar dat ene specifieke topic willen zoeken? Pak een ander deel en gebruik de reeks-optie, dan ben je er zo.

[RedHat]

pven schreef op vrijdag 02 juli 2010 @ 10:33:
[...]

Uit nieuwsgierigheid: waarom zou je juist naar dat ene specifieke topic willen zoeken? Pak een ander deel en gebruik de reeks-optie, dan ben je er zo.

Ik denk dat je er te specifiek op ingaat. Het gaat om de werking niet om het alternatief. Anders kun je iedereen ook naar google doorverwijzen. Als je zulke duidelijke keywords geeft zal hij dat topic feilloos bovenaan moeten zetten; dat doet de search niet wat betekend dat er ruimte is voor verbetering. Het is IMHO beter om glitches in de search aan te duiden dan naar alternatieven zoeken, want door het aangeven van glitches zal overall de kwaliteit beter worden.

[ Voor 28% gewijzigd door RedHat op 02-07-2010 10:37 ]

[pven]

RedHat schreef op vrijdag 02 juli 2010 @ 10:35:
[...]


Ik denk dat je er te specifiek op ingaat. Het gaat om de werking niet om het alternatief. Anders kun je iedereen ook naar google doorverwijzen.

Vandaar de opmerking 'dat ene specifieke topic'. Je zoekt letterlijk naar een topictitel en verwacht dan 1 topic bovenaan je lijst te krijgen, als je al weet welk topic je zoekt waarom dan toch de search gebruiken?

Uiteraard begrijp ik dat dit een testje was, maar volgens mij moet je de search gebruiken om content terug te vinden en niet om specifieke topics te vinden. Daarnaast kan ik zelf met tags erg veel terug vinden.

[Amras]

Ik gebruik de search hier ook niet of nauwelijks omdat het eigenlijk nooit de verwachte resultaten oplevert, wat natuurlijk jammer is. Ook als ik een specifiek topic zoek waarvan ik weet dat het bestaat, dan is dat vaak niet terug te vinden.

De GoT-search vind ik dan ook het enige minpuntje aan een verder geweldig forum.

[Anoniem: 26235]

Search lijk idd meer rekening te houden met de inhoud dan ook met de topic titels. Ik erger mij er ook vaak genoeg aan.

Bij zoekmachines als google houdt men wel meer rekening met titels waardoor het sneller bovenaan staat (en het lijkt mij dat deze mensen toch iets meer ervaring hebben om te bepalen wat nuttig is welk resultaat als eerste te tonen). Misschien toch iets om naar te kijken op GoT.

edit: je zou zelfs kunnen stellen, waarom nog een goede topic titel verzinnen dat "nuttig" is voor de search als het toch geen nut heeft?

[ Voor 15% gewijzigd door Anoniem: 26235 op 02-07-2010 10:55 ]

[tc982]

pven schreef op vrijdag 02 juli 2010 @ 10:37:
[...]

Vandaar de opmerking 'dat ene specifieke topic'. Je zoekt letterlijk naar een topictitel en verwacht dan 1 topic bovenaan je lijst te krijgen, als je al weet welk topic je zoekt waarom dan toch de search gebruiken?

Uiteraard begrijp ik dat dit een testje was, maar volgens mij moet je de search gebruiken om content terug te vinden en niet om specifieke topics te vinden. Daarnaast kan ik zelf met tags erg veel terug vinden.

Wel, waarom niet? Heb je een andere manier om dit topic te vinden, en trouwens een ouder topic vast nemen en zo verder gaan? Je hebt dit nog niet goed bekeken zekers? Als ik in Topic 21 uitkom, dan mag ik 32 klikken voordat ik het juiste topic tegenkom.

Waar dient een search anders voor? Of heb jij een beter idee? En neen ik ga niet alles bookmarken en dan opkuisen etc... Dat is teveel werk voor een topic ik af en toe eens doorlees...

[pven]

Doe aub eens niet zo negatief met 'Je hebt dit nog niet goed bekeken zekers?', ik probeer om je te helpen ...

Mbt reeksen: klik op het rondje en vind een overzicht van alle topics in die reeks Met een paar muisklikken ben je bij het meest recente topic.

[crisp]

tc982 schreef op vrijdag 02 juli 2010 @ 10:11:
[...]


Ik wou dat het waar was, maar het zoeken is echt wel slecht bij GoT

Om een idee te geven, als je bij één van de zoekopdrachten gewoon Het grote grappige plaatjes topic deel 53, dan kom je alles tegen behalve DAT topic! Is voor mij onbegrijpbaar... Tussen quotes vind hij gewoon niets.

Een topic terugvinden is gewoon niet te doen...

Dat heeft meer hiermee te maken denk ik:

De search is voor het laatst bijgewerkt op woensdag 23 juni 2010 06:48.

Een search op title:"grappige plaatjes" en gesorteerd op topicstart (nieuwste eerst) geeft me wel vanaf deel 51 aflopend (en aangezien het een reeks is kom je dan ook snel genoeg bij het laatste deel via een ouder deel).

Het is waar dat onze search wat spartaanser is dan bijvoorbeeld Google, maar is daarmee in potentie ook krachtiger voor heel specifieke searches. Zoals ik hierboven al illustreer: als je al weet dat een bepaalde term in de titel zit, gebruik dan ook de title: optie.

Wel missen wij zelf ook wat mogelijkheden om bepaalde resultaten te 'boosten' en we zitten ook al met een schuin oog naar Solr te kijken als vervangen voor Omega, maar zoals met alles: dat kost (kostbare) tijd...


edit: de search is inmiddels weer up-to-date

[Phyxion]

crisp schreef op vrijdag 02 juli 2010 @ 09:24:
Dit komt omdat de search standaard zoekt in topics die gestart zijn vanaf 2007, en [Ervaringen] Oplaadbare Batterijen is gestart in 2006.

Gebruik makend van de tags had je 'm wellicht sneller kunnen vinden: http://gathering.tweakers...taggedtopics/tag/batterij

Dit is overigens al een bekend 'probleem', zie o.a. Werking 'Zoek in tijdsperiode' in search

Maar ik maak, en wil overigens, geen gebruik maken van tags. Dat het topic gestart is in 2006 maakt voor mij totaal niets uit, als ik notabene op de letterlijke titel zoek en het topic is gewoon op geen een pagina te vinden dan is de search gewoon slecht.

[crisp]

Phyxion schreef op zondag 04 juli 2010 @ 19:48:
[...]

Maar ik maak, en wil overigens, geen gebruik maken van tags.

Tsja, dat is je eigen keuze; tags kan je overigens ook in de search gebruiken: http://gathering.tweakers...]=tag%3Abatterij#hitstart

Dat het topic gestart is in 2006 maakt voor mij totaal niets uit

Dan moet je de vinkjes niet laten staan bij specifieke jaartallen

, als ik notabene op de letterlijke titel zoek en het topic is gewoon op geen een pagina te vinden dan is de search gewoon slecht.

Dat komt dan nog steeds omdat dat topic buiten de (standaard) geselecteerde datumreeks valt...

Zoals gezegd: het is een beetje een workaround omdat we nog niet voldoende mogelijkheden hebben om recentere topics meer te 'boosten' dan oudere topics, maar om het 'gewoon slecht' te noemen terwijl je jezelf niet een klein beetje verdiept in de werking van onze search (wat we natuurlijk wel verwachten van echte tweakers ) vind ik wel wat ver gaan...

[aex351]

Mee eens. De zoekresultaten lijken wel willekeurig. Ook threads die bestaan uit meerdere delen of verzamel threads worden vaak niet of ergens onderin de lijst getoond en het is dan nog vaak zoeken naar de nieuwste deel. Een externe zoekmachine werkt dan inderdaad beter. En zoeken op tags, nee.

[ Voor 4% gewijzigd door aex351 op 05-07-2010 00:43 ]

[crisp]

aex351 schreef op maandag 05 juli 2010 @ 00:42:
Mee eens. De zoekresultaten lijken wel willekeurig. Ook threads die bestaan uit meerdere delen of verzamel threads worden vaak niet of ergens onderin de lijst getoond en het is dan nog vaak zoeken naar de nieuwste deel. Een externe zoekmachine werkt dan inderdaad beter. En zoeken op tags, nee.

vanuit een 'oud' deel is het tegenwoordig toch niet zo lastig om naar het nieuwste deel te gaan?

[Aloys]

Is het niet een idee om bij het zoeken naar een topic slim om te gaan met resultaten? Voeg alle delen van een reeks samen en leidt de user automatisch naar het nieuwste deel of een serie-overzicht. Voorkomt direct dat je allemaal topics uit een reeks in één pagina krijgt.

[ACM]

Aloys schreef op maandag 05 juli 2010 @ 00:57:
Is het niet een idee om bij het zoeken naar een topic slim om te gaan met resultaten? Voeg alle delen van een reeks samen en leidt de user automatisch naar het nieuwste deel of een serie-overzicht. Voorkomt direct dat je allemaal topics uit een reeks in één pagina krijgt.

Dat is zeker een idee, maar het is ook weer niet standaard-functionaliteit van zoekbibliotheken en zoekmachines. En het ironische is, dat is nou net weer iets dat waarschijnlijk iets eenvoudiger in de nu gebruikte Xapian kan dan in Solr waarmee we de boel binnenkort willen gaan doen.
Maarja, Xapian heeft weer geen notie van leeftijd van topics en is lastig uit te breiden met functionaliteit om nieuwere topics automatisch iets belangrijker te maken dan oudere.

[Q]

Als ik zoek op 'ziggo' dan zou ik verwachten dat ik op zijn minst populaire topics over ziggo bovenaan zie komten te staan, zoals "[Ziggo] Ervaringen Topic - Deel 7".

Maar met de search krijg ik dit hele topic niet eens naar boven. Zoek ik op [ziggo] wel. Dat zie ik op zich als een bug, maar dan nog zou ik verwachten dat een populair en actief topic hoog in mijn zoekresultaten terug komt.

Edit: ik test het nog eens en nu werkt het beter, ik zie de topics. Ik zweer dat ik die [ziggo] topics gister of eergister niet zag, maar dat zal mijn fout wel zijn.

Wat mij dan nu weer verbaast is dat een 2010 topic lager staat dan een 2009 topic, dus moet je weer al die 'deel x' topics af gaan lopen.

[ Voor 28% gewijzigd door Q op 05-07-2010 10:17 ]

[crisp]

Q schreef op maandag 05 juli 2010 @ 10:15:
Als ik zoek op 'ziggo' dan zou ik verwachten dat ik op zijn minst populaire topics over ziggo bovenaan zie komten te staan, zoals "[Ziggo] Ervaringen Topic - Deel 7".

Maar met de search krijg ik dit hele topic niet eens naar boven. Zoek ik op [ziggo] wel. Dat zie ik op zich als een bug, maar dan nog zou ik verwachten dat een populair en actief topic hoog in mijn zoekresultaten terug komt.

Ja, zie de post van ACM boven je

Wat mij dan nu weer verbaast is dat een 2010 topic lager staat dan een 2009 topic, dus moet je weer al die 'deel x' topics af gaan lopen.

Daarvoor is het handige knopje achter de titel van een topic dat deel uitmaakt van een reeks

[Jejking]

Idee: je eigen zoekmethode selecteren.

De GoT-wijze, dus specifiek in het topic, waar het wel enigszins handig voor is.
De Google-methode, voor topictitels.

Hoeft alleen de laatste nog in elkaar gezet te worden, het eerste deel kan je gewoon aanhouden.

En/en, en/of, of/of.

[ Voor 4% gewijzigd door Jejking op 05-07-2010 11:14 ]

[Q]

crisp schreef op maandag 05 juli 2010 @ 11:07:
[...]

Ja, zie de post van ACM boven je

[...]

Daarvoor is het handige [afbeelding] knopje achter de titel van een topic dat deel uitmaakt van een reeks

Reactie van een maand later, maar dat 'knopje' is geen fix voor een kapotte search. Ik kom hier omdat ik toevallig weer dat Ziggo topic zoek en tegen precies het zelfde probleem aan loop.

Waarom het zo moeilijk is om topics op relevantie en leeftijd te sorteren is mij een raadsel. Het is mij sowieso een raadsel waarom een search op 'ziggo ervaringen' per definitie niet de topics bovenaan toont die deze twee woorden in de titel hebben.

[ACM]

Q schreef op donderdag 05 augustus 2010 @ 13:30:
Waarom het zo moeilijk is om topics op relevantie en leeftijd te sorteren is mij een raadsel.

Omdat een sortering op relevantie automatisch een sortering op leeftijd uitsluit en vice versa... Er is geen eenvoudige relatie tussen die twee, en ook geen boost-mogelijkheid voor nieuwere topics in de huidige opzet van de zoekmachine.
De relevantie van gevonden documenten hangt samen met welke woorden in welke frequentie in een topic voorkwamen tov in alle andere topics. In dat algoritme is het niet echt triviaal om de leeftijd ook als een component van relevantie te gebruiken en met de huidige (versie van de) software uberhaupt niet mogelijk. Je wil tenslotte niet dat eoa topic waar ziggo zijdelings even aangehaald wordt enkel hoger scoort omdat dat topic nieuwer is.
Zelfs binnen een topic-reeks (die ook wederom niet in de huidige aanpak samengevoegd worden tot 'een topic en pak dan nummer X') is de nieuwste versie niet automatisch de meest relevante voor elke zoekopdracht waar meerdere resultaten uit een reeks worden gegeven.

Het is mij sowieso een raadsel waarom een search op 'ziggo ervaringen' per definitie niet de topics bovenaan toont die deze twee woorden in de titel hebben.

Omdat voor de zoekmachine de relevantie van de tijd tov die specifieke zoekopdracht precies hetzelfde wordt behandeld als 'ziggo modem stuk' of welke andere zoekopdracht je maar kan verzinnen. Voor sommige opdrachten is de actualiteit heel belangrijk, voor anderen niet zo... En helaas is het niet bepaald triviaal dat puur aan de tekst te onderscheiden.

Zoals al gezegd gaan we e.e.a. wel veranderen en dan zal de leeftijd gebruikt worden om de relevantie een boost te geven.

[ Voor 4% gewijzigd door ACM op 05-08-2010 14:52 ]

[Q]

Ik vind dat mijn voorbeelden worden afgedaan met technische smoesjes.

Als ik zoek op een paar woorden en die komen in de titel voor dan is dat topic zeer relevant, ongeacht de leeftijd. Daarna sorteren op leeftijd en klaar.

Maargoed, de search is al heel lang stuk en google werkt eigenlijk beter. Google op ziggo ervaringen tweakers en ik vind wel wat ik moet vinden.

En als google het kan, kan het in de search hier ook. Hoe vind google die topics? Op de titel. Lekker makkelijk.

Persoonlijk boeien mij al die technische smoesjes niet zo, want iedere techneut weet dat het gewoon goed kan. Maar het wordt gewoon niet gefixed. Die redenen zijn mogelijk niet technisch van aard en die boeien mij niet.

Het enige wat mij interesseert en de rest van de community is dat die search gewoon een keer goed werkt.

Als de search van google beter werkt dan je eigen forum search, dan maak je je als ontwikkelaar (in zijn algemeenheid) toch een keer kwaad om het te fixen? Waar is je gevoel van trots?

Ik hoop in al mijn naïviteit dat deze tekst extra olie op het vuur gooit zodat die search een keer gefixed wordt.

[tc982]

Ik vind het gewoon raar dat er niet continue geïndexeerd kan worden, dan is het probleem toch ook weg? Zelfs mijn Windows desktop search indexeert mijn 20.000 mail berichten.

[AW_Bos]

Maar 20.000 berichten zijn wat anders dan 30 mln. berichten.

[crisp]

Q schreef op vrijdag 20 augustus 2010 @ 16:27:
Ik vind dat mijn voorbeelden worden afgedaan met technische smoesjes.

ACM legt uit waarom het met de huidige opzet van onze searchengine niet mogelijk is; dat is geen smoesje maar gewoon een gegeven. De enige oplossing is dan de opzet geheel aanpassen (een andere searchengine gebruiken die wel meer mogelijkheden biedt is daarin een optie die we aan het onderzoeken zijn) zodat wel op basis van bepaalde variabelen de relevantie geboost kan worden. Voor dat laatste moet dan nog een goede balans gevonden worden.

Als ik zoek op een paar woorden en die komen in de titel voor dan is dat topic zeer relevant, ongeacht de leeftijd. Daarna sorteren op leeftijd en klaar.

Zo simpel is het niet; een titel dekt niet altijd even goed de lading. Als steekwoorden voorkomen in de titel is dat wel een aanwijzing dat dat topic zeer relevant kan zijn, maar het is geen absoluut gegeven. Het is de totale mix van titel, steekwoord-dichtheid binnen de berichten in een topic en leeftijd die iets zeggen over (waarschijnlijke) relevantie.

De zoekmethode die jij omschrijft kan je nu al gebruiken door title:keyword te gebruiken en te sorteren op datum; worden daar de resultaten beter van voor jou?

Maargoed, de search is al heel lang stuk en google werkt eigenlijk beter. Google op ziggo ervaringen tweakers en ik vind wel wat ik moet vinden.

En als google het kan, kan het in de search hier ook. Hoe vind google die topics? Op de titel. Lekker makkelijk.

Zoekfunctionaliteit is Google's core business, en hun algoritme is ook echt niet zo simpel als je hier stelt. Als wij dat net zo goed zouden kunnen als Google dan zitten we denk ik in de verkeerde business

Persoonlijk boeien mij al die technische smoesjes niet zo, want iedere techneut weet dat het gewoon goed kan. Maar het wordt gewoon niet gefixed. Die redenen zijn mogelijk niet technisch van aard en die boeien mij niet.

Het enige wat mij interesseert en de rest van de community is dat die search gewoon een keer goed werkt.

Search is niet onze core business; het is wel een belangrijk onderdeel van de site, en ja: het kan een stuk beter (ook voor de frontpage overigens), maar het is niet zo dat we met een compleet waardeloze search zitten.

Als de search van google beter werkt dan je eigen forum search, dan maak je je als ontwikkelaar (in zijn algemeenheid) toch een keer kwaad om het te fixen? Waar is je gevoel van trots?

Ons gevoel van trots ligt waarschijnlijk naast die berg tijd die we elke dag tekort komen Zoals gezegd: het omzetten van de searchengine is geen triviaal iets; dat kost gewoon (veel) tijd.

Ik hoop in al mijn naïviteit dat deze tekst extra olie op het vuur gooit zodat die search een keer gefixed wordt.

Ik heb er geen problemen mee hoor Echter moet je het niet voorstellen als iets dat makkelijk eventjes tussendoor gedaan kan worden. Daarbij zijn jouw prioriteiten niet altijd de onze. Het enige dat ik er verder over kan zeggen is dat we je mening dat het beter kan delen en dat er ook wel plannen zijn om het te verbeteren. Wat ik echter niet kan zeggen is op wat voor termijn je die verbeteringen kan verwachten...

[Q]

crisp schreef op vrijdag 20 augustus 2010 @ 22:23:
Zo simpel is het niet; een titel dekt niet altijd even goed de lading. Als steekwoorden voorkomen in de titel is dat wel een aanwijzing dat dat topic zeer relevant kan zijn, maar het is geen absoluut gegeven. Het is de totale mix van titel, steekwoord-dichtheid binnen de berichten in een topic en leeftijd die iets zeggen over (waarschijnlijke) relevantie.

Zo simpel is het wel. Als steekwoorden in de titel voorkomen dan wil ik die resultaten bovenaan zien. Binnen die groep van resultaten kun je dan weer sorteren op inhoudelijke relevantie en datum.

De zoekmethode die jij omschrijft kan je nu al gebruiken door title:keyword te gebruiken en te sorteren op datum; worden daar de resultaten beter van voor jou?

Zoek zelf eens op 'title: ziggo ervaringen'. De ironie wil dat notabene dit topic bij mij bovenaan komt te staan.

Als het niet zo jammer was had ik er om gelachen. Maar toen kwam ik er pas achter dat ik om mijzelf moet gaan lachen omdat ik niet eens door heb hoe de search werkt. Zal wel aan mij liggen. Vraag me af hoe al die andere mensen dan met de search werken die nog minder van computers weten.

Met title:(ziggo ervaringen) krijg ik al topics te zien die ik zocht, maar ergens onderaan. Eerst krijg ik een aantal topics met crap.

Mensen zoeken niet met keywords als 'title' en dat zou ook niet hoeven om in de meeste gevallen tot goede resultaten te komen. Zeker niet met die onhandige syntax.

Zoekfunctionaliteit is Google's core business, en hun algoritme is ook echt niet zo simpel als je hier stelt. Als wij dat net zo goed zouden kunnen als Google dan zitten we denk ik in de verkeerde business

Ik verwacht niet dat Tweakers eventjes Google search na bouwt. Ik verwacht wel dat basis functionaliteit van de search, zoals met simpele zoekopdrachten zinnige resultaten retourneren, werkt.

Search is niet onze core business; het is wel een belangrijk onderdeel van de site, en ja: het kan een stuk beter (ook voor de frontpage overigens), maar het is niet zo dat we met een compleet waardeloze search zitten.

Compleet waardeloos, mwah, hou het op enigszins waardeloos. Ik weet dat het niet leuk is dat niet-betalende bezoekers over de search zitten te klagen maar het is echt ruk en dat blijft niet onopgemerkt.

Ons gevoel van trots ligt waarschijnlijk naast die berg tijd die we elke dag tekort komen Zoals gezegd: het omzetten van de searchengine is geen triviaal iets; dat kost gewoon (veel) tijd.

Ik heb er geen problemen mee hoor Echter moet je het niet voorstellen als iets dat makkelijk eventjes tussendoor gedaan kan worden. Daarbij zijn jouw prioriteiten niet altijd de onze. Het enige dat ik er verder over kan zeggen is dat we je mening dat het beter kan delen en dat er ook wel plannen zijn om het te verbeteren. Wat ik echter niet kan zeggen is op wat voor termijn je die verbeteringen kan verwachten...

Wat betreft over het 'omzetten' van de searchengine, daaruit maak ik op dat er 'fundamentele' problemen zijn met de SE en dat deze in zijn geheel vervangen moet worden. Daarvan kan ik mij voorstellen dat dit een flinke klus zal zijn.

Over die prioriteiten en die planning kan ik nu allemaal ongefundeerde cynische uitspraken doen, maar wat heeft het voor zin want de search is volgens mij al minstens een paar jaar kapot en er is nog steeds niets aan gedaan.

Het spijt mij zeer maar je kunt wel schrijven dat de GoT search een belangrijk onderdeel is van de site, maar het verleden en de huidige situatie laat zien hoe belangrijk die search wordt gevonden.

Het is gewoon jammer.

Maar hoe ernstig is het nou want als ik zoek op title:(in-ear) en sorteer op laatste reactie dan 'voelen' de search resultaten al een stuk beter. Het klopt qua titel met de 'ziggo ervaringen' search nog niet helemaal, maar het is al beter.

[Anoniem: 93986]

Kan alleen maar zeggen dat ik het volledig met je eens ben. Ook zoeken op de frontpage levert nooit het gewenste resultaat.

[crisp]

Q schreef op zaterdag 21 augustus 2010 @ 00:19:
[...]


Zo simpel is het wel. Als steekwoorden in de titel voorkomen dan wil ik die resultaten bovenaan zien. Binnen die groep van resultaten kun je dan weer sorteren op inhoudelijke relevantie en datum.

Ja, je wil topic 'boosten' als er een match in de titel is; helaas kan onze huidige searchengine dat niet...

[...]

Zoek zelf eens op 'title: ziggo ervaringen'. De ironie wil dat notabene dit topic bij mij bovenaan komt te staan. 8)7/

Ik denk dat gezien de inhoud van dit topic dat niet eens zo'n rare match is

Als het niet zo jammer was had ik er om gelachen. Maar toen kwam ik er pas achter dat ik om mijzelf moet gaan lachen omdat ik niet eens door heb hoe de search werkt. Zal wel aan mij liggen. Vraag me af hoe al die andere mensen dan met de search werken die nog minder van computers weten.

Ik had geloof ik al gezegd dat het inderdaad wel beter zou kunnen

Met title:(ziggo ervaringen) krijg ik al topics te zien die ik zocht, maar ergens onderaan. Eerst krijg ik een aantal topics met crap.

Dus de searchengine zou ook crap van non-crap moeten kunnen onderscheiden? Hoe dan precies?

Mensen zoeken niet met keywords als 'title' en dat zou ook niet hoeven om in de meeste gevallen tot goede resultaten te komen. Zeker niet met die onhandige syntax.

Ja, wij weten zelf ook wel dat de meeste 'non-tweakers' (lees: leden na 2005 ofzo) verwent zijn en dus een andere ervaring verwachten. Wij willen daar graag in mee gaan, maar vooralsnog is het gewoon nog niet zover...

[...]
Het is gewoon jammer.

En om het even af te kappen: ja, dat vinden wij ook, maar er zitten maar 24 uur in een dag en er zijn maar een aantal developpers en soms hebben die ook slaap nodig, en daarnaast hebben ze meestal al genoeg te doen....

[Q]

Nou geen smoesjes ophangen over developers die te druk zijn. Dat is helemaal niet het issue en dat weet je best.

Die developers hebben genoeg te doen, maar blijkbaar doen ze dan dingen die veel belangrijker zijn dan een kapotte search engine fixen van een forumpje.

Daar gaat het om. Het forum heeft gewoon geen prioriteit. Helder. Maar ik vind het niet kies om je te verschuilen achter 'te druk'. Bij mij kom je daar niet mee weg. Maar gelukkig hoef je aan mij en de rest van de community geen enkele verantwoording af te leggen voor de bedrijfsstrategie.

[ Voor 69% gewijzigd door Q op 21-08-2010 13:42 ]

[NMe]

Ehm, wat is jouw definitie van "te druk" als het blijkbaar niet is dat ze bezig zijn met andere dingen die een hogere prioriteit hebben? "Bij mij kom je daar niet mee weg." Met wat niet? Andere dingen te doen hebben die wél prioriteit hebben? De search fix je niet "even". Daar gaat een hele boel tijd in zitten. Als de search nou momenteel helemaal stuk zou zijn kreeg het vast wel prioriteit, maar we hebben gewoon een functionerende search. Dus tenzij jij graag in je vrije tijd voor je baas spul in elkaar zou knutselen denk ik dat je eens even rustig mag gaan dimmen.

[Jejking]

Q schreef op zaterdag 21 augustus 2010 @ 13:30:
Die developers hebben genoeg te doen, maar blijkbaar doen ze dan dingen die veel belangrijker zijn dan een kapotte search engine fixen van een forumpje.

Zoals?

[GENETX]

Mwoah, het oplossen van alle problemen rondom de site takeovers waar ook genoeg over gerant werd deze week? Ik heb liever een site die in ieder geval werkt en de site niet laat crashen, maar dat zal wel aan mij liggen...

En zo zijn er iig nog wel een aantal zaken waar veel leden op zitten/zaten te wachten. Wat dacht je van de mobiele site en het verbeteren van het forum voor oa tags, topicreeksen en sponsored topics. Crisp en zijn collega's zitten absoluut niet stil. Alleen is de tijd beperkt inzetbaar.

[ Voor 53% gewijzigd door GENETX op 21-08-2010 14:12 ]

[NMe]

Jejking schreef op zaterdag 21 augustus 2010 @ 13:55:
[...]

Zoals?

Oh ja, je hebt gelijk, de devvers zitten de hele dag alleen koffie te drinken en te pokeren.

[Anoniem: 149800]

Zeggen we niet MAAR de vraag van de onbruikbare search functie is ook niet van de laatste tijd.
Als hij goed had gewerkt had je kunnen zien dat dit al jaren speelt.

Nu zeg dan gewoon, daar hebben we geen zin in geen tijd voor of geen geld voor dan is het duidelijk.

Maar nu krijgen we steeds maar weer de redenen te horen dat wij de functie niet goed zouden gebruiken!

[pedorus]

Q schreef op zaterdag 21 augustus 2010 @ 00:19:
Zo simpel is het wel. Als steekwoorden in de titel voorkomen dan wil ik die resultaten bovenaan zien. Binnen die groep van resultaten kun je dan weer sorteren op inhoudelijke relevantie en datum.

Q schreef op zaterdag 21 augustus 2010 @ 13:30:
Nou geen smoesjes ophangen over developers die te druk zijn. Dat is helemaal niet het issue en dat weet je best.

offtopic:
[q=http://thedailywtf.com/Articles/Microsoft-Vissa,-Hey-Thats-Ours,--More-Support-Stories.aspx]
Thanks for assessing a very complicated situation, and
immediately coming up with a complete solution.

In fact, we have so little idea of what's going on
over here, perhaps you can come on over and single-
handedly solve it for us.

We'll get right on your commands, just as soon as we
finish our donuts.

Oh, and after our week off, too.
[/q]

Op zich mag wat mij betreft de search ook beter trouwens, bijvoorbeeld bij het zoeken op recente posts. Aangezien alleen naar datums van de thread wordt gekeken is dat best lastig met sommige grote topics. En ook een snelle preview van matchende recente posts zou handig zijn.

[Erkens]

Anoniem: 149800 schreef op zaterdag 21 augustus 2010 @ 14:49:
Zeggen we niet MAAR de vraag van de onbruikbare search functie is ook niet van de laatste tijd.
Als hij goed had gewerkt had je kunnen zien dat dit al jaren speelt.

Nu zeg dan gewoon, daar hebben we geen zin in geen tijd voor of geen geld voor dan is het duidelijk.

Maar nu krijgen we steeds maar weer de redenen te horen dat wij de functie niet goed zouden gebruiken!

Sorry hoor, maar ik lees in dit topic diverse keren dat de devvers aangeven dat tijd een probleem is en dat ze al geruime tijd bezig zijn met het zoeken naar een oplossing welke waarschijnlijk ligt in het gebruiken van een andere search engine. Zoiets uitzoeken, testen, implementeren, testen op real-data en uitvoeren kost gewoon enorm veel tijd. En er komen altijd dingen tussen door die meer prioriteit hebben, iets wat gewoon logisch is.

[NMe]

Erkens schreef op zaterdag 21 augustus 2010 @ 15:39:
[...]

Sorry hoor, maar ik lees in dit topic diverse keren dat de devvers aangeven dat tijd een probleem is en dat ze al geruime tijd bezig zijn met het zoeken naar een oplossing welke waarschijnlijk ligt in het gebruiken van een andere search engine. Zoiets uitzoeken, testen, implementeren, testen op real-data en uitvoeren kost gewoon enorm veel tijd. En er komen altijd dingen tussen door die meer prioriteit hebben, iets wat gewoon logisch is.

...en wat compleet anders zou zijn als de search nu niet zou functioneren. Maar laten we wel wezen: hij functioneert wel. Niet zo goed als hij zou kunnen en zeker niet zo goed als jullie zouden willen. Maar hij is niet "onbruikbaar", zelfs al lijkt dat het stopwoordje in dit topic te zijn.

[crisp]

Q schreef op zaterdag 21 augustus 2010 @ 13:30:
[...] Maar gelukkig hoef je aan mij en de rest van de community geen enkele verantwoording af te leggen voor de bedrijfsstrategie.

Gelukkig maar want eerlijk gezegd vind ik de manier waarop je hier discusseert weinig constructief. Ik laat het hier dan ook bij.

[ACM]

Q schreef op vrijdag 20 augustus 2010 @ 16:27:
Ik vind dat mijn voorbeelden worden afgedaan met technische smoesjes.

Ik neem aan dat jij een expert op het gebied van zoektechnologie bent? Zo niet, dan zou ik het op prijs stellen als je een poging doet te erkennen dat wij wellicht beter weten waar we het over hebben dan jij.

Als ik zoek op een paar woorden en die komen in de titel voor dan is dat topic zeer relevant, ongeacht de leeftijd. Daarna sorteren op leeftijd en klaar.

De topictitel (itt wat tino zegt) krijgt al een flinke boost tov de inhoud van de topics. Desalniettemin is simplistisch op de datum sorteren alleen relevant voor een beperkt deel van de zoekopdrachten, namelijk als je eigenlijk al weet wat je wilt hebben (zoals de nieuwste editie van die ziggo-ervaringen topics). Als je niet weet wat je wilt hebben, niet weet hoe nieuw het is, enkel welke termen je er in verwacht... dan is sorteren op datum meestal niet zo bruikbaar (die ervaringen-topics komen dan allemaal vooraan, ongeacht of ze relevant zijn of niet).

Maargoed, de search is al heel lang stuk en google werkt eigenlijk beter. Google op ziggo ervaringen tweakers en ik vind wel wat ik moet vinden.

De search is niet stuk. Hij voldoet blijkbaar niet aan jouw eisen, maar om dat nou gelijk stuk te noemen gaat wel erg ver.

En als google het kan, kan het in de search hier ook. Hoe vind google die topics? Op de titel. Lekker makkelijk.

Sure... Het zou wat zijn als Google, die er duizenden mensen voor in dienst heeft, het slechter deed dan wij. Maar probeer nou eens te zoeken naar gesloten topics gestart in een bepaalde periode bij Google? Kortom, lang niet voor elke zoekopdracht voldoet Google beter dan de onze.

Persoonlijk boeien mij al die technische smoesjes niet zo, want iedere techneut weet dat het gewoon goed kan. Maar het wordt gewoon niet gefixed. Die redenen zijn mogelijk niet technisch van aard en die boeien mij niet.

Zoektechniek is complex. Dat jij net doet of het triviale techniek is, maakt het niet ineens simpel. Komt nog bij dat we domweg niet met een groot ontwikkelteam uit onze neuzen zitten te eten, maar gewoon werken aan van alles en nog wat...

Als de search van google beter werkt dan je eigen forum search, dan maak je je als ontwikkelaar (in zijn algemeenheid) toch een keer kwaad om het te fixen? Waar is je gevoel van trots?

Onzin. Het zou mooi zijn om het beter te kunnen dan Google, maar in werkelijkheid is concurreren met een expert op een bepaald gebied domweg bijzonder lastig. Het enige voordeel dat wij hebben is dat we beter weten wat de relevante teksten zijn en preciezer de losse entiteiten. Maar op pure tekst-relevantie sorteren is de kans dat we van Google kunnen 'winnen' vrij klein. Dat heeft niks met trots te maken, enkel met relaliteitszin.

Ik hoop in al mijn naïviteit dat deze tekst extra olie op het vuur gooit zodat die search een keer gefixed wordt.

Het stond al lang op de planning om 'binnenkort' de boel te verbouwen, maar helaas zorgen allerlei projecten voor vertragingen en verschuivingen in de planning. Jouw naive gezeur helpt niets om die planning aan te passen. Wellicht dat constructieve verbeteringsideeen wel zouden helpen (hoewel die doorgaans in uitvoering ook niet bepaald triviaal zijn)

crisp schreef op zaterdag 21 augustus 2010 @ 01:36:
Ja, je wil topic 'boosten' als er een match in de titel is; helaas kan onze huidige searchengine dat niet...

Dat kan ie juist wel en doet ie ook (nieuwheid als boost gebruiken is iets wat ie niet kan). Dat is zelfs een deel van het probleem. Want oude topics kunnen prima de gevraagde termen (relatief) vaker bevatten en daardoor als meer relevant gezien worden.

Q schreef op zaterdag 21 augustus 2010 @ 13:30:
Nou geen smoesjes ophangen over developers die te druk zijn.

Ik vind het wel knap dat jij van buitenaf voor ons kan bepalen dat het enerzijds triviaal is om de searchtechniek te veranderen en anderzijds dat we ruim voldoende tijd hebben om die triviale techniek even tussendoor toe te passen. En als wij het tegendeel beweren, dan zijn dat smoesjes... want jij weet het beter dan wij.

maar blijkbaar doen ze dan dingen die veel belangrijker zijn dan een kapotte search engine fixen van een forumpje.

Als de search engine daadwerkelijk kapot was geweest, dan was ie allang gefixed... Maar we hebben het hier over het beter maken van de techniek. Dat is veel lastiger, want de definitie van beter maken varieert voor iedereen. Jij zoekt bijvoorbeeld alleen maar naar het nieuwste deel van het 'ziggo ervaringen'-topic. Andere gebruikers willen wellicht een antwoord op een specifiek probleem weten of informatie over een bepaald product.

Maar gelukkig hoef je aan mij en de rest van de community geen enkele verantwoording af te leggen voor de bedrijfsstrategie.

Gelukkig niet nee. Want verantwoording moeten afleggen aan iemand met zo'n gebrek aan respect voor de kennis en inschattingen van de genen met een stuk meer kennis van zaken zou een heel vervelende werksfeer creeeren.

[aex351]

Waarom wordt er zoveel gespeculeerd en op de persoon gespeeld, ook de door de moderators? dat is toch nergens voor nodig. Wees gewoon concreet. Zoek functionaliteit niet naar wens (zie eerdere beschrijving): wat is een mogelijke oplossing en hoe snel zou het geïmplementeerd kunnen worden?

[ACM]

aex351 schreef op zondag 22 augustus 2010 @ 01:31:
Zoek functionaliteit niet naar wens (zie eerdere beschrijving): wat is een mogelijke oplossing en hoe snel zou het geïmplementeerd kunnen worden?

Er zijn diverse punten die elkaar bijten, dus je vereenvoudige 'niet naar wens' zou sowieso al concreter moeten worden om de vraag erna te beantwoorden

De topicstart had te maken met het feit dat je standaard zoekt op topics van 4 jaar of nieuwer. Dat is uiteraard vrij triviaal te veranderen in een ander jaartal, maar waarschijnlijk is elk jaartal uiteindelijk te beperkt of heeft het filteren op die manier uberhaupt geen zin meer.
De reden om dat filter toe te passen brengt ons bij het eerste echte probleem: Nieuwe topics worden niet als meer relevant gezien dan oude topics.

Met de huidige zoektechnologie is daar niet echt iets aan te doen, aangezien ik domweg sorteren op datum sowieso onacceptabel vind. Dus dat vereist andere technologie die we al aan het bekijken zijn, maar nog geen concrete invulling en/of implementatiedatum voor hebben.

Een ander probleem is dat men niet het nieuwste deel van een ervaringen-topic-reeks krijgt als men op die ervaringen topics zoekt. Dit hangt een beetje samen met het vorige probleem, maar bijt met de notie van tekstuele relevantie. Je wil tenslotte alleen het nieuwste deel als je op de reeks zelf zoekt, niet als je andere termen gebruikt die toevallig in enkele delen voorkwamen. Sterker nog, in dat geval wil je waarschijnlijk zelfs de losse delen kunnen zien waar de gezochte termen in gemeld werden. Ook als je probeert te vinden welk deel een bepaalde zin bevatte zal je de losse delen willen krijgen.
Kortom, een oplossing voor het eerste probleem moet niet het tweede deel benadelen. Dus we zullen zelfs als we het nieuwste deel eerst tonen, ook de andere gevonden delen moeten blijven geven.

Aanvullend op bovenstaande, men vindt het tegelijk ook lastig om in die enorme topics terecht te komen die vrijwel alle verschillende woorden wel bevatten - daardoor al gauw een false positive zijn - en dan een hoop tekst af te moeten om uit te vogelen waar de gezochte informatie dan staat. Hiervoor kunnen we waarschijnlijk het beste de losse reacties doorzoekbaar maken. Nadeel daarvan is dat het weer een keuze is die 'men' moet maken, en waar dan uiteraard weer overheen gekeken wordt. Ik maak liever het zoeken op reacties niet de standaard. Het is vooral bij de korte topics wel prettig dat de in andere reacties genoemde alternatieve termen ervoor zorgen dat je meer kans hebt om het specifieke topic te vinden.

Er staan hier ook suggesties dat de titel niet belangrijker zou zijn dan de inhoud. Dat is wel degelijk het geval. Woorden in de titel zijn 3x zo belangrijk als in de reakties. Echter zorgt efficient zoeken ervoor dat alle termen met een specifiek 'gewicht' op een grote hoop gegooid worden. Het is (iig met onze huidige zoektechniek) niet zo dat er zoiets bestaat als een "match op de titel".
Het probleem hierbij is natuurlijk dat hoe langer het topic, hoe minder het uitmaakt wat er nou eigenlijk in de titel stond. Het relatieve gewicht van die paar woordjes neemt steeds harder af naarmate de rest van het topic langer wordt.
Ik weet niet zeker of solr dit anders doet dan xapian, er staat me bij van wel. Maar of dat voor de zoekresultaten dan nog veel uitmaakt kan ik nu nog niet voorspellen.

Verder staat er nog iets over continu indexeren. Dat staat helemaal los van de bovenstaande problemen (atm gebeurt het elke 2 uur en dat gaat waarschijnlijk nog wel vaker gebeuren met solr).

Mis ik nog punten die nu niet goed zijn aan de search?

[NMe]

aex351 schreef op zondag 22 augustus 2010 @ 01:31:
Waarom wordt er zoveel gespeculeerd en op de persoon gespeeld, ook de door de moderators? dat is toch nergens voor nodig. Wees gewoon concreet. Zoek functionaliteit niet naar wens (zie eerdere beschrijving): wat is een mogelijke oplossing en hoe snel zou het geïmplementeerd kunnen worden?

Er is niemand die zegt dat er niet naar de functionaliteit gekeken wordt. De devvers zijn echter realistisch en geven aan dat er momenteel geen tijd is om de search de grote overhaul te geven die hij nodig heeft om de issues in dit topic op te kunnen pakken. Wanneer er wel tijd is weten ze ook niet. En dat stoot blijkbaar mensen die de search stuk noemen tegen de borst. Ik zie niet helemaal hoe de devvers concreter kunnen zijn dan het bericht dat ze op de hoogte zijn van het feit dat de search beter moet, dat ze al naar andere technieken aan het kijken zijn en dat er helaas voorlopig nog geen tijd op de agenda is om het om te gooien?

[aex351]

Wellicht dat er een mogelijkheid geboden kan worden om threads automatisch op datum te sorteren, zonder het handmatig te moeten instellen. Hierdoor staan threads met de laatste informatie hoger in de lijst van zoekresultaten en kan de gebruiker ook sneller zien welke threads actief zijn.

[ Voor 10% gewijzigd door aex351 op 22-08-2010 14:51 ]

[pedorus]

Ehh, je kan toch al zoeken op "datum laatste reactie (nieuwste eerst)"? Het probleem is enkel soms dat sommige langere draadjes dan terugkomen terwijl het gezochte enkel op het begin van het langere draadje voorkomt.

[NMe]

aex351 schreef op zondag 22 augustus 2010 @ 14:43:
Wellicht dat er een mogelijkheid geboden kan worden om threads automatisch op datum te sorteren, zonder het handmatig te moeten instellen. Hierdoor staan threads met de laatste informatie hoger in de lijst van zoekresultaten en kan de gebruiker ook sneller zien welke threads actief zijn.

De optie om op datum te sorteren is er zoals pedorus zegt al, en ACM heeft hierboven al gezegd dat hij niet standaard die optie wil gebruiken omdat het veel meer zin heeft om default op relevantie te sorteren dan op datum. Ik begrijp dus niet helemaal waar je heen wil?

[aex351]

Wat begrijp je niet aan mijn vorige reply? Ik moet er aan toevoegen dat ik in eerste instantie niet wist dat er al een mogelijkheid bestond om threads op datum te sorteren. Het lijkt mij ten iedere geval een goede oplossing en makkelijk te implementeren.

[Q]

Ik denk dat de meeste gebruikers liever een goede search hebben dan sponsored topics, of forum tags. Wat denken jullie zelf?

Of beter:

Poll op de frontpage?

Ik zie het probleem ook helemaal niet bij de developers, jullie zijn de werkers die de boel voor elkaar maken. Maar over de planning en strategie etc gaan de managers / VNU, jullie hebben daar weinig/geen invloed op. Daarom zou ik jullie ook niet moeten lastig vallen (sorry daarvoor) in een topic als dit, maar meer jullie management. Want die bepalen de prioriteit van alle activiteiten. Ik denk niet dat die mensen zich erg druk maken om de GoT search. Anders was er in de afgelopen 3/4 jaar wel wat aan gedaan.

Maar, conform mijn afsluitende opmerking in het al even onder de developers populaire "Tweakers Wiki" topic: ik vind het wel best allemaal.

[ Voor 10% gewijzigd door Q op 22-08-2010 23:46 ]

[GlowMouse]

NMe schreef op zaterdag 21 augustus 2010 @ 14:42:
[...]

Oh ja, je hebt gelijk, de devvers zitten de hele dag alleen koffie te drinken en te pokeren.

Hoe valt dat te rijmen met een slechtwerkende zoekfunctie? Een groot forum hoort gewoon een goede search te hebben.

Lucene(/Solr) kijkt naar de relatieve frequentie van een keyword. Een match in de titel telt daardoor zwaarder mee, omdat de frequentie van dat woordt dan al gauw 10-20% is. In een lang topic telt een enkele match in de tekst veel minder zwaar mee.

[Q]

GlowMouse schreef op zondag 22 augustus 2010 @ 20:43:
[...]

Hoe valt dat te rijmen met een slechtwerkende zoekfunctie? Een groot forum hoort gewoon een goede search te hebben.

Komop, het sarcasme lag er toch dik genoeg bovenop? En terecht, ik geloof ook wel dat de devvers het razend druk hebben.

[tc982]

Persoonlijk kan ik begrijpen dat de Search Engine niet zo maar op de schop kan, maar wat mij wel stoort is de ouderdom van de indexes. Kan dat al niet sneller?

[Erkens]

tc982 schreef op zondag 22 augustus 2010 @ 22:53:
Persoonlijk kan ik begrijpen dat de Search Engine niet zo maar op de schop kan, maar wat mij wel stoort is de ouderdom van de indexes. Kan dat al niet sneller?

ehm?

De search is voor het laatst bijgewerkt op zondag 22 augustus 2010 22:49.

Valt wel mee lijkt me (sterker nog, toen jij die reactie plaatste was de index slechts 4 minuten oud )

[AW_Bos]

Vroeger was de indexering elke dag. Maar tegenwoordig elke twee uur.

[ Voor 24% gewijzigd door AW_Bos op 22-08-2010 23:33 ]

[NMe]

Q schreef op zondag 22 augustus 2010 @ 20:25:
Ik denk dat de meeste gebruikers liever een goede search hebben dan sponsored topics, of forum tags. Wat denken jullie zelf?

Forum tags moeten voor een deel de search overbodig maken, mits goed gebruikt, dus dat weet ik nog niet zo zeker; de tags hebben gewoon nog wat werk nodig om écht bruikbaar te worden. En die sponsored topics zijn qua omvang natuurlijk niet te vergelijken met het vervangen van een complete search engine inclusief diens database.

Wat betreft het management-argument is de devtijd verdelen vast een groot issue. Continu zal men de afweging moeten maken tot iets wat geld in het laatje brengt (en dus op den duur extra devtijd in de vorm van meer devvers zou kunnen opleveren) of iets wat de gebruikers in een meer directe zin blij kan maken. En zelfs als je mensen in een meer directe zin blij kan maken krijgen nieuwe features en dingen die echt stuk zijn vaak om logische redenen voorrang op features die wel werken, maar niet optimaal.

[tc982]

Erkens schreef op zondag 22 augustus 2010 @ 23:11:
[...]

ehm?


[...]


Valt wel mee lijkt me (sterker nog, toen jij die reactie plaatste was de index slechts 4 minuten oud )

Als je het topic had gelezen , had je gezien dat ik bij de vorige pst een gat had van bijna een week tussen de indexering en de opdracht...

[Wolfboy]

ACM schreef op zondag 22 augustus 2010 @ 11:21:
De topicstart had te maken met het feit dat je standaard zoekt op topics van 4 jaar of nieuwer. Dat is uiteraard vrij triviaal te veranderen in een ander jaartal, maar waarschijnlijk is elk jaartal uiteindelijk te beperkt of heeft het filteren op die manier uberhaupt geen zin meer.
De reden om dat filter toe te passen brengt ons bij het eerste echte probleem: Nieuwe topics worden niet als meer relevant gezien dan oude topics.

Het is waarschijnlijk ook zinniger wat gewicht aan de leeftijd te geven in plaats van erop te filteren.

Zolang je nieuwer is beter meeneemt zou je in principe nog steeds oude relevante resultaten moeten krijgen maar nieuwe relevante resultaten krijgen voorrang. Het gewicht is alleen veel tweak werk.

Het probleem hierbij is natuurlijk dat hoe langer het topic, hoe minder het uitmaakt wat er nou eigenlijk in de titel stond. Het relatieve gewicht van die paar woordjes neemt steeds harder af naarmate de rest van het topic langer wordt.
Ik weet niet zeker of solr dit anders doet dan xapian, er staat me bij van wel. Maar of dat voor de zoekresultaten dan nog veel uitmaakt kan ik nu nog niet voorspellen.

Dat is volledig configureerbaar. Sowieso kan je gewoon gewichten toekennen aan bepaalde delen (titel belangrijker maken bijvoorbeeld) of bepaalde woorden een boost geven. Alles is in principe wel mogelijk als je er voldoende tijd in steekt, maar het is veel werk en gaat veel tijd kosten

Verder staat er nog iets over continu indexeren. Dat staat helemaal los van de bovenstaande problemen (atm gebeurt het elke 2 uur en dat gaat waarschijnlijk nog wel vaker gebeuren met solr).

Ook Solr wordt niet heel bij van continu indexeren. Al kan je dat vrij makkelijk oplossen door Solr multicore te maken waarbij 1 core aan het indexeren is en zodra die klaar is op actief gezet wordt.

In ieder geval nog een tip voor als jullie het straks gaan implementeren. Doe geen moeite met het posten van XML documenten via HTTP. Het is veel eenvoudiger om het Solr direct uit de database te laten trekken met de dataimport API. Daar importeer ik in 3-4 minuten de hele zoekdatabase van youtellme.nl mee. Als je dan ook nog een timestamp bijhoud van wanneer een tabel voor het laatste gewijzigd is kan je in de tussentijd zeer regelmatig delta imports laten doen zonder dat je er last van hebt.

Als je nog vragen hebt stuur dan gerust even een berichtje

[crisp]

tc982 schreef op maandag 23 augustus 2010 @ 00:54:
[...]


Als je het topic had gelezen , had je gezien dat ik bij de vorige pst een gat had van bijna een week tussen de indexering en de opdracht...

En dat had te maken met een bugje in de indexer welke ik dezelfde dag nog had gefixed...

[GlowMouse]

Q schreef op zondag 22 augustus 2010 @ 22:32:
[...]


Komop, het sarcasme lag er toch dik genoeg bovenop? En terecht, ik geloof ook wel dat de devvers het razend druk hebben.

Je kent mijn achtergrond niet, anders zou je mijn opmerking in de juiste context gezien hebben.

Wolfboy schreef op maandag 23 augustus 2010 @ 01:18:
[...]

In ieder geval nog een tip voor als jullie het straks gaan implementeren. Doe geen moeite met het posten van XML documenten via HTTP. Het is veel eenvoudiger om het Solr direct uit de database te laten trekken met de dataimport API. Daar importeer ik in 3-4 minuten de hele zoekdatabase van youtellme.nl mee. Als je dan ook nog een timestamp bijhoud van wanneer een tabel voor het laatste gewijzigd is kan je in de tussentijd zeer regelmatig delta imports laten doen zonder dat je er last van hebt.

Als ik het goed begrepen heb, wil T.net de data eerst bewerken voordat het in de zoekdatabase verdwijnt. Ik ken de details niet, maar ik kan me voorstellen dat ze quotes eruit filteren. Dit soort extra's is ook een verklaring voor een langere ontwikkeltijd.

[crisp]

Q schreef op zondag 22 augustus 2010 @ 22:32:
[...]

Komop, het sarcasme lag er toch dik genoeg bovenop?

Dat kon ik niet direct uit je posts afleiden; wellicht zou je meer gebruik kunnen maken van smilies om je intentie duidelijk te maken

En terecht, ik geloof ook wel dat de devvers het razend druk hebben.

qft

[crisp]

GlowMouse schreef op maandag 23 augustus 2010 @ 01:37:
[...]

Als ik het goed begrepen heb, wil T.net de data eerst bewerken voordat het in de zoekdatabase verdwijnt. Ik ken de details niet, maar ik kan me voorstellen dat ze quotes eruit filteren. Dit soort extra's is ook een verklaring voor een langere ontwikkeltijd.

Wij voeren inderdaad nog een aantal bewerkingen uit op de raw postdata voor de indexering.

[NMe]

crisp schreef op maandag 23 augustus 2010 @ 01:37:
[...]

Dat kon ik niet direct uit je posts afleiden; wellicht zou je meer gebruik kunnen maken van smilies om je intentie duidelijk te maken

Ik denk dat hij het sarcasme in mijn post bedoelde.

[Q]

GlowMouse schreef op maandag 23 augustus 2010 @ 01:37:
[...]

Je kent mijn achtergrond niet, anders zou je mijn opmerking in de juiste context gezien hebben.

Nee sorry, misschien heb ik je niet goed begrepen, ik dacht dat je letterlijk inging op de sarcastische opmerking van een van de devvers dat ze niets te doen hadden en de hele dag koffie drinken.

[crisp]

Q schreef op maandag 23 augustus 2010 @ 01:42:
[...]


Nee sorry, misschien heb ik je niet goed begrepen, ik dacht dat je letterlijk inging op de sarcastische opmerking van een van de devvers dat ze niets te doen hadden en de hele dag koffie drinken.

Die opmerking kwam niet van een devver af...

[NMe]

Q schreef op maandag 23 augustus 2010 @ 01:42:
...een van de devvers...

offtopic:
Ho, moment. Common mistake. Ik ben geen devver voor T.net, ik ben enkel verantwoordelijk voor het development-onderdeel van het forum. De reden dat ik in LD alsnog vrij fel meediscussiëer in sommige topics is dat het natuurlijk wel mijn vakgebied is en ik dus denk van sommige dingen ook wat verstand te hebben.

edit:
Hoi crisp.

[ Voor 3% gewijzigd door NMe op 23-08-2010 01:55 ]

[Wolfboy]

crisp schreef op maandag 23 augustus 2010 @ 01:39:
[...]

Wij voeren inderdaad nog een aantal bewerkingen uit op de raw postdata voor de indexering.

Dat kan je ook in de indexer stoppen. Aangezien er voldoende in-house java kennis aanwezig is bij t.net moet dat zeker geen probleem zijn. Het is bij Solr uitermate eenvoudig een eigen indexer/filter te maken die al je data eerst verwerkt. Sowieso kan je het natuurlijk ook nog in de query laten doen door de database als het niet te ingewikkeld is

[crisp]

Wolfboy schreef op maandag 23 augustus 2010 @ 01:56:
[...]
Dat kan je ook in de indexer stoppen. Aangezien er voldoende in-house java kennis aanwezig is bij t.net moet dat zeker geen probleem zijn. Het is bij Solr uitermate eenvoudig een eigen indexer/filter te maken die al je data eerst verwerkt. Sowieso kan je het natuurlijk ook nog in de query laten doen door de database als het niet te ingewikkeld is

yes, en dat weten we ook, maar thanks anyway

[Wolfboy]

crisp schreef op maandag 23 augustus 2010 @ 02:04:
[...]

yes, en dat weten we ook, maar thanks anyway

Mooi zo Ik ben heel benieuwd naar de resultaten. Misschien nog een ideetje om direct faceted search over de categorieen/datum toe te voegen?

[ACM]

Wolfboy schreef op maandag 23 augustus 2010 @ 02:41:
Mooi zo Ik ben heel benieuwd naar de resultaten. Misschien nog een ideetje om direct faceted search over de categorieen/datum toe te voegen?

Dat staat ook op de todo daarvoor ja.

Wolfboy schreef op maandag 23 augustus 2010 @ 01:18:
Ook Solr wordt niet heel bij van continu indexeren. Al kan je dat vrij makkelijk oplossen door Solr multicore te maken waarbij 1 core aan het indexeren is en zodra die klaar is op actief gezet wordt.

't Nadeel van onze cores is dan dat we richting de 20GB data zullen gaan... en dat je om-en-om die cores dan moet bijwerken naar de laatste status. Maar die swap-functionaliteit is inderdaad wel interessant om te bekijken.

In ieder geval nog een tip voor als jullie het straks gaan implementeren. Doe geen moeite met het posten van XML documenten via HTTP. Het is veel eenvoudiger om het Solr direct uit de database te laten trekken met de dataimport API. Daar importeer ik in 3-4 minuten de hele zoekdatabase van youtellme.nl mee. Als je dan ook nog een timestamp bijhoud van wanneer een tabel voor het laatste gewijzigd is kan je in de tussentijd zeer regelmatig delta imports laten doen zonder dat je er last van hebt.

Hoewel de DIH er interessant uitzag kreeg ik niet helemaal het idee dat ie goed aansluit bij hoe we e.e.a. nu doen en ook niet bij hoe ik het van plan ben te gaan doen. Maar wellicht is daar inderdaad een mouw aan te passen.

[Wolfboy]

ACM schreef op maandag 23 augustus 2010 @ 11:14:
't Nadeel van onze cores is dan dat we richting de 20GB data zullen gaan... en dat je om-en-om die cores dan moet bijwerken naar de laatste status. Maar die swap-functionaliteit is inderdaad wel interessant om te bekijken.

Dat hoeft natuurlijk niet perse live te gebeuren natuurlijk. Je kan prima een aparte machine laten indexeren om daarna de data voor een nieuwe core weg te schrijven. Zodra die klaar is wissel je van core en ben je klaar. Die 20GB aan data zal wel weggeschreven moeten worden maar het hoeft niet via het geheugen oid.

Hoewel de DIH er interessant uitzag kreeg ik niet helemaal het idee dat ie goed aansluit bij hoe we e.e.a. nu doen en ook niet bij hoe ik het van plan ben te gaan doen. Maar wellicht is daar inderdaad een mouw aan te passen.

Het is uiteraard geen verplichting, maar wel een heel stuk efficienter dan alles eerst vanuit de database omzetten naar XML en daarna weer om te zetten naar Solr. Een directe import via JDBC gaat sowieso sneller dan een import van XML. En dat is zelfs zonder de database naar XML conversie.

[RaZ]

.... Aanloop.... KICK!

Ik wilde net binnen een topic zoeken op de term: je moeder

Dan krijg je alle posts terug waar beide woorden in staan. Dus ik dacht, Wat Google kan, kan GoT ook, we rossen er quotes omheen. Maar dat leverde het zelfde resultaat op. Dus ook post waar "je" en "moeder" in voorkwamen.

Ik was dus eigenlijk opzoek naar alleen "je moeder", dus ook echt alleen als die 2 woorden achter elkaar staan. Hiervoor gebruikte ik dan wel de quicksearch optie in de header (oude template, mocht dat nog relevant zijn).

Tot zover mijn bijdrage

[BtM909]

Zoek je wel op "in dit topic (AND)"? Want bij mij werkt het gewoon (iig in dit topic)

[RaZ]

Uh.. ja.. Want ik kreeg posts terug waar zowel "je" als "moeder" in staat terug. Maar als ik wil zoeken op een matched phrase, zoals quotes gebruiken, dus "je moeder", dat maakt dus geen verschil. De quotes worden dus genegeerd.

Check: dit bedoel ik

Daar zie je de 2de post, daar staat dus niet: "je moeder", maar de woorden "je" EN "moeder". Zoeken op exacte phrases kan dus niet.

Op Google, bing, yahoo, ask etc.. werkt dat wel. Dat zou het zoeken op GoT echt verbeteren. Want ik gok dat het forum-wide zoeken namelijk niet anders is.

Ander dingetje.. ik had hier nog een post gedaan over de search (vandaag), maar die is dus blijkbaar verwijderd.

[ Voor 7% gewijzigd door RaZ op 13-01-2011 23:24 ]

[ACM]

RaZ schreef op donderdag 13 januari 2011 @ 23:13:
Want ik gok dat het forum-wide zoeken namelijk niet anders is.

Euh... jawel? Het hele punt hier is juist dat we voor "in topic"-search een simpele zoektechniek gebruikt die geen begrip voor 'en' en 'of' heeft, itt de algemene zoekmachine voor het forum.

Ander dingetje.. ik had hier nog een post gedaan over de search (vandaag), maar die is dus blijkbaar verwijderd.

Daar lijkt het op, geen idee waarom. Maar wellicht zag iemand de 're-kick' en vond de rest van het bericht niet belangrijk genoeg om te laten staan.

[RaZ]

Als ik gewoon via de search ga, en ik ga zoeken naar een phrase "je moeder", en de operator staat op AND. Klik.

Als je dan hovert over Alleen posts met trefwoorden, zie je dat de quotes weg zijn, en dat je results terug krijgt als 1 van beide woorden in de post voorkomen, en niet als exact phrases. Die hele AND-operator wordt daar dus gewoon genegeerd. Ik krijg dus meer results dan waar ik op zoek.

[ Voor 5% gewijzigd door RaZ op 14-01-2011 12:27 ]

[NMe]

ACM schreef op vrijdag 14 januari 2011 @ 08:01:
[...]

Daar lijkt het op, geen idee waarom. Maar wellicht zag iemand de 're-kick' en vond de rest van het bericht niet belangrijk genoeg om te laten staan.

Stiekem stond daar toch iets vrij belangrijks in: zoeken binnen een topicreeks lijkt me een hele mooie uitbreiding.

[Wolfboy]

Ik weet een andere hele mooie uitbreiding. Bij het doorklikken naar een zoekresultaat daadwerkelijk naar het gevonden resultaat gaan, in plaats van naar het topic zodat je daarna nog moet gaan zoeken op welke pagina stond wat je gezocht hebt

[LauPro]

ACM schreef op vrijdag 14 januari 2011 @ 08:01:
Euh... jawel? Het hele punt hier is juist dat we voor "in topic"-search een simpele zoektechniek gebruikt die geen begrip voor 'en' en 'of' heeft, itt de algemene zoekmachine voor het forum.

Even een balletje opgooien:

Zou het niet mogelijk zijn om met de huidige zoekmachine van de twee zoekwoorden een resultset te maken. En vervolgens over die resultset met een fulltext search te gaan. Dan bereik je wat google doet met de quotes.

[Slapstick]

En ik zocht pas een post van binair, maar 10110001 geeft geen resultaat bij: zoek dit topic(poster), ook al is er door haar in gepost.

Het is dat jullie het even weten:P.

---

En zoeken in een topicreeks zou een welkome uitbreiding zijn! Soms komt er bijv. in het vrijgezellentopic een post naar voren van een bepaalde persoon over waar ik even de oude posts wil teruglezen. Maar een simpele: zoek in deze topicreeks naar poster kan niet .

[NMe]

Slapstick schreef op zaterdag 15 januari 2011 @ 02:26:
En ik zocht pas een post van binair, maar 10110001 geeft geen resultaat bij: zoek dit topic(poster), ook al is er door haar in gepost.

Het is dat jullie het even weten:P.

Quotes eromheen zetten, anders denkt de search engine dat het een user id is. En aangezien we nog geen 10 miljoen gebruikers hebben vindt 'ie dan inderdaad niks.

[Ventrigo]

Is er al iets meer bekend over een verbeterde zoekengine? Zoals ook in dit topic voorbij is gekomen dat er steeds meer "niet" tweakers zich op GoT begeven om daarbij ook de "zoekerT" te vernieuwen.

Zijn ook veel topics waarin men aangeeft dat er niks gevonden kan worden en dan maar een nieuw topic starten. Voorkomt ook weer een hoop frustratie en maakt het weer wat gezelliger op GoT (niet dat het niet gezellig is ).

[NMe]

Dat er niks gevonden kan worden zou ik eerder toewijzen aan slechte zoekskills dan aan een slechte zoekmachine. Let's face it: als je goede zoekwoorden in Google stopt is GoT vaak één van de eerste hits als je iets technisch zoekt met Nederlandse termen.

Verder heeft het vrij weinig zin om dit topic te schoppen; de devvers zijn zich terdege bewust van de zoekmachine en diens tekortkomingen, een schop van dit topic gaat daar niks aan veranderen.

[ACM]

Jullie kunnen hier concreet opmerkingen geven op de vernieuwde zoekmachine:
Test de nieuwe beta-Forumsearch!