spider check

[Verwijderd]

Ik wil voor dynamishe sites een script maken dat een spider kan afvangen.
Wanneer een spider op de site komt moet hij een andere pagina (voor die spider geoptimaliseerd) voorgeschoteld krijgen.

Ik wou dit doen aan de hand van de hostname of het ipadres van de spider, maar weet er hier iemand een BETROUWBARE lijst met ip adressen en, hostnames, etc van spider's?

Of denkt iemand een betere manier te weten?

En heeft er iemand hier informatie over waar bepaalde spiders zo hoog mogelijk kan scooren, of wat je juist niet moet doen (trefwoorden in de site herhalen in de achtergrond bijvoorbeeld).

GreetZ,

Bram

[LuCarD]

Hmmm... misschien kan je beter een robot.txt file laten parsen....

Of in kijkt wie robot.txt opvraagt, dan kan je met redelijke zekerheid van uit gaan dat dat dan een bot/spider is....

[Verwijderd]

Op vrijdag 21 september 2001 15:59 schreef LuCarD het volgende:
Hmmm... misschien kan je beter een robot.txt file laten parsen....

Of in kijkt wie robot.txt opvraagt, dan kan je met redelijke zekerheid van uit gaan dat dat dan een bot/spider is....

Thanx, heb je daar mischien een voorbeeld script van?

[didio]

[b]
Ik wou dit doen aan de hand van de hostname of het ipadres van de spider, maar weet er hier iemand een BETROUWBARE lijst met ip adressen en, hostnames, etc van spider's?

Check hier maar eens.. http://www.searchenginewatch.com

[Sir Abarth]

http://www.robotstxt.org/wc/robots.html
Staat wel wat denk ik

[Verwijderd]

nou je niet kunnen kijken in de var: $HTTP_USER_AGENT of het een browser is die je pagina bezoekt. EN ervan uit gaan dat wanneer dit niet zo is dat het een spider betreft.

Moet je alleen wel een lijst van alle browsers hebben, en dat zijn er volgens mij nog al wat, kunnen mensen zelfs zelf geschreven hebben.

[LuCarD]

Op vrijdag 21 september 2001 16:18 schreef -Ehv_BramBo- het volgende:
nou je niet kunnen kijken in de var: $HTTP_USER_AGENT of het een browser is die je pagina bezoekt. EN ervan uit gaan dat wanneer dit niet zo is dat het een spider betreft.

Moet je alleen wel een lijst van alle browsers hebben, en dat zijn er volgens mij nog al wat, kunnen mensen zelfs zelf geschreven hebben.

Aangezien je volgens mij PHP gebruikt moet je eens kijken naar

http://www.php.net/manual/en/function.get-browser.php