robots.txt - wat is dat?

[Verwijderd]

In mijn analog statistieken zie ik elke dag dat er ongeveer 40-50 requests zijn voor mijn bestand "/robots.txt"

Het staat er dan zo:

47: 0.03%: 24/Feb/01 23:57: /robots.txt

Maar wat is dat? Ik gebruik nergens zo'n txt bestand in mijn pagina...

[Onno]

Waarom vraagt Googlebot naar een bestand met de naam robots.txt dat niet op mijn server staat?

Robots.txt is een standaarddocument dat Googlebot vertelt bepaalde of andere informatie van uw webserver niet te downloaden. Voor meer informatie over hoe u een bestand robots.txt moet creëren, zie The Robot Exclusion Standard.

bron