[Req] robots.txt om onnodige indexering te voorkomen

[Mithrandir]

Ik zocht op google iets op GoT, en kwam de volgende link tegen:

http://gathering.tweakers.net/forum/view_message/13937515

Het is natuurlijk zonde om Google zoiets te laten indexeren. Daarom ben ik voor om een robots.txt in de root van gathering.tweakers.net te zetten.
De search resultaten op google worden er beter door en je voorkomt onnodige serverload. Ook indexeert google dan meer topics die er wél toe doen, in plaats van - bijvoorbeeld- edit schermpjes.

[Switch]

Ik heb precies datzelfde probleem in Google Omdat ik toevallig een paar plaatjes op een bepaald domein had gepost indexeerd Google de 'Voorbeeld' pagina's en dat is bloedirritant, nu staat GoT dus tussen de Google resultaten als ik de naam opvraag, wat alles behalve de bedoeling is. Nu kan ik aan een admin vragen de tekst te verplaatsen voor iets anders, heb ik ook al meerdere malen gedaan maar dat is stom werk voor de admin en hersendodend . Heb het nu opgelost met een forward-domeintje (sytes.net bv.).

Maar volgens mij wilt GoT juist wel geindexeerd worden?

[Erkens]

[rml][ tpl] Qoute message vanuit google[/rml]

[The Bad Seed]

GOT heeft al een robots.txt
http://gathering.tweakers.net/robots.txt
Alleen staat /forum/view_message daar niet tussen , dat zou idd nog aangepast mogen/kunnen worden denk ik.

[Erkens]

Duracell schreef op 11 april 2004 @ 13:38:
GOT heeft al een robots.txt
http://gathering.tweakers.net/robots.txt
Alleen staat /forum/view_message daar niet tussen , dat zou idd nog aangepast mogen/kunnen worden denk ik.

die view_message is juist handig, zie dat topic wat ik zojuist had gepost

[The Bad Seed]

Erkens schreef op 11 april 2004 @ 13:40:
[...]

die view_message is juist handig, zie dat topic wat ik zojuist had gepost

Hmm, nu je het zegt, eigenlijk wel ja. Zo had ik het nog niet bekeken...

[Verwijderd]

Als ik me niet vergis is het echter wel zo dat je een groot deel van je door Google geindexeerde pagina's niet zult vinden, als je op een bepaald domein uberhaupt ergens een robots.txt gebruikt, en je in Google SafeSearch - strict filtering aan hebt staan. Dit omdat Google niet weet wat er op een deel van de pagina's staat (dat indexeert Google namelijk niet), en Google dus ook niet weet of er explicit content tussen zit. Dus om veilig te zijn worden je results in dat geval niet getoond als strict filtering aan staat.

Dit is ooit bevestigd door Google, maar als ik het zo test lijkt niet direct verschil te zijn. Voor reference:

http://cyber.law.harvard....delman/google-safesearch/

Zie het stukje "Effect of robots.txt and Google caching failures on SafeSearch listings".

[crisp]

view_message staat niet op de disallow omdat veel mensen dat blijkbaar wel handig vinden; anyway, we hebben dus al een robots.txt