robots.txt wat moet daarin?

[Martink]

Hoi,
als ik in de error logs kijk van mijn site zie ik heel vaak staan dat robots.txt word opgevraagt door "crawl6.googlebot.com" en "trek14.sv.av.com" ofzo, dus heeft iets met zoekmachienes te maken dus als ik zo een robots.txt aanmaak wat moet ik er dan inzetten? heb al gezocht op internet maar kan niks vinden, niks nuttigs

[Verwijderd]

google.com, deze link toverde ik in 2 minuten naar boven:
zoek string:
http://www.google.nl/search?q=robots.txt+faq&hl=nl&lr=

interessante link:
http://www.robotstxt.org/wc/norobots.html

[Martink]

Kan ik ook doen dat hij een php scriptje pakt?
inplaats robots.txt ?

[Verwijderd]

Op dinsdag 19 februari 2002 15:00 schreef Martink het volgende:
Kan ik ook doen dat hij een php scriptje pakt?
inplaats robots.txt ?

Of het nut heeft zou ik niet weten, maar je zou kunnen proberen om TXT als PHP te laten parsen. Als je nu eerst eens doorleest waar zo'n robots.txt bestandje voor dient ben je al een stuk verder.