Google-indexatie van turbotracker.dsp

[Harm]

Ik ontdekte net dat http://tweakers.net/turbotracker.dsp geïndexeerd wordt door Google. Nu vroeg ik me af, is daar een reden voor? Er staan namelijk geen complete url's naar onze eigen content; alleen een id, en ik denk dan dat het seo-technisch niet echt wat toevoegt (maar ik kan het mis hebben). Kortom: kan het ding niet meer geïndexeerd worden? Dat scheelt weer niet-zinnige vermeldingen van de T.net-auteurs in Google namelijk .

[crisp]

Nu vroeg ik me af, is daar een reden voor?

Je weet toch hoe dat werkt met searchengines? alles wat je niet expliciet uitsluit wordt of kan worden geindexeerd. Dus nee, daar is geen reden voor, we sluiten 'm gewoon niet expliciet uit...

Je hebt gelijk dat het weinig toevoegt, dus wmb mag 'ie wel in de robots.txt

[ACM]

crisp schreef op zondag 17 augustus 2008 @ 22:48:
Je hebt gelijk dat het weinig toevoegt, dus wmb mag 'ie wel in de robots.txt

Eens. Zal het gelijk doen.