[Apache] robots.txt houdt Yahoo en Google niet tegen!

[Shaidar]

De inhoud van m'n robots.txt is als volgt:

code:

User-Agent: *
Disallow: /

Maar toch zie ik in m'n access logs hetvolgende:

code:

 - - [01/Sep/2005:02:09:59 +0200] "GET /index.php HTTP/1.0" 200 2240 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
207.46.98.144 - - [01/Sep/2005:02:14:10 +0200] "GET /index.php HTTP/1.0" 200 9847 "-" "msnbot/1.0 (+http://search.msn.com/msnbot.htm)"
68.142.250.170 - - [01/Sep/2005:02:16:21 +0200] "GET /index.php HTTP/1.0" 200 11084 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

What gives? M'n robots.txt is toch correct? dat ie werkt kan je zelf zien: http://www.damn.be/robots.txt

[Osiris]

Is 't niet gewoon zo dat de bot áltijd de index opvraagt, omdat er in meta-tags ook informatie kan staan over wat ie wel en niet mag?

[NMe]

Je kan ook een metatag in je indexpagina hebben staat:

code:

<meta name="ROBOTS" content="NOFOLLOW" />

Of iets dergelijks. Zie ook deze FAQ, daar staat alles in wat je moet weten. Verder heeft dit helemaal niets met programmeren te maken, en daarom doe ik dit topic op slot.