google respecteert disallow map in robots.txt niet?

[Verwijderd]

Hoi,

Ik heb het volgende robots.txt bestand:

code:

User-agent: Slurp
Disallow: /
User-agent: *
Disallow: /Tarot/

maar googlebot laad vrolijk het index.php wat in de /Tarot/ map zit (en vervolgens > 100 andere links). Zelfs als ik die index.php expliciet erbij zet (/Tarot/index.php).
Wat doe ik fout?

[ Voor 0% gewijzigd door Verwijderd op 22-06-2010 20:57 . Reden: tiepvaut ]

[Sebazzz]

Kijk eens wat de Google Web Developer tools van je robots.txt vindt.

[Verwijderd]

Daar kom ik niet zo'n wijs uit, hij zegt:
url: planetdance.dyndns.org
Googlebot:
Allowed
Detected as a directory; specific files may have different restrictions

Edit:
Als ik daar een robots.txt laat genereren krijg ik ook gewoon:

code:

User-agent: *
Disallow: /Tarot/

[ Voor 27% gewijzigd door Verwijderd op 22-06-2010 21:24 ]

[André]

Maar als ik kijk zie ik dat google niets indexeert?
http://www.google.nl/#q=s...ter=0&fp=a7dc37278bc7b769

[RobIII]

Besef ook dat je misschien naar resultaten zit te kijken die nog verwijderd moeten worden (uit "index X"). Wanneer is de robots.txt aangepast? En besef dat Google soms voor persoon A andere resultaten dan persoon B serveert (bijv. afhankelijk van welke index gebruikt wordt afhankelijk van oa. google.com/.nl en andere factoren)

[ Voor 3% gewijzigd door RobIII op 23-06-2010 11:42 ]

[André]

Je kunt ook het een en ander versnellen door een 'removal request' vanuit de google webmaster tools te doen.

[Verwijderd]

Het bleek dat ik nog een 'meta name=robots content=all' had staan. Hoewel men zegt dat robots.txt voorrang heeft, kan het daar dus aan liggen.

Kan best dat google er wel heengaat maar niets laat zien in de serps inderdaad (of het staat er nog niet). Ik kan zien dat hij wel in die map geweest is (300 keer ) door het logscriptje wat ik daar heb staan.