[BOT] Hoe MSNBot minder pagina's laten indexeren

[Polderdijk]

Nadat ik mijn website volledig dynamisch uit een database laat opbouwen ipv door JavaScripts opbouwen is mijn site van enkele 10-tallen pagina's enkele duizenden pagina's groot geworden.

Nu wil ik graag dat mijn site natuurlijk hoog in de zoekmachines staat en daardoor wordt mijn site ook goed geindexeerd. Alleen vind ik dat MSNBot wel erg overdrijft. Bijvoorbeeld de Googlebot indexeerd zo'n 100 tot 1000 pagina's (gemiddeld 250) per dag. Alleen de MSNBot die haalt er op zijn minst minimaal 3000 tot wel 6000 per dag binnen!!

Hoe kan ik ervoor zorgen dat bijvoorbeeld alleen MSNBot maar eens in de week mijn site bezoekt ipv continu? Ik heb al gekeken of ik dit in de robots.txt kan plaatsen maar zover ik kan vinden is dit niet mogelijk op per zoekmachine op te geven.

Wie kan mij helpen, want dit kost mij toch best wat onnodig dataverkeer (dus kosten) en server performance. En het leverd me weinig op want bijna alleen bezoekers uit google heb ik wat aan.

[Arnout]

Ik snap het ook niet, MSN Bot indexeerd onnodig veel, bijna de helft van m'n traffic bestaat uit Bot's, op zich niet erg, maar driekwart daarvan is de MSN Bot, terwijl ik via MSN Search niet vindbaar ben?

[cavey]

check deze url: robots.txt

ik ben echt wakker bezig vandaag, not, maar goed, je had al gekeken in de robots.txt...

volgens mij kan het wel per botje, omdat ze zich aanmelden met bepaalde user-agent strings die je toch ergens kwijt zou moeten kunnen in die rules?

To exclude a single robot

User-agent: BadBot
Disallow: /

Bron: http://www.robotstxt.org/wc/exclusion-admin.html ....

Dus, als je de user-agent weet, kan je het op basis daarvan disallowen...

[ Voor 89% gewijzigd door cavey op 12-07-2004 15:30 ]

[Polderdijk]

Hier idd het zelfde probleem. Ik heb ongeveer zo'n 2000 normale pagevieuws van mensen dus, en dan nog gemiddeld zo'n 4 tot 6000 pagevieuws van alle zoekmachine's enzo. Opzich niet zo erg maar het is wel leuk als je daar nog wat voor terugkrijgt.

Ik sta opzich wel hoog in de MSN search met een aantal goede keywords, maar ik krijg maar zo'n 50 bezoekers per maand via MSN terwijl ik via google een stuk of 1750 bezoekers krijg.

Hieronder een tabel van alle zoekmachine's van vorige maand:

[Polderdijk]

komakeef schreef op 12 juli 2004 @ 15:26:
check deze url: robots.txt

ik ben echt wakker bezig vandaag, not, maar goed, je had al gekeken in de robots.txt...

volgens mij kan het wel per botje, omdat ze zich aanmelden met bepaalde user-agent strings die je toch ergens kwijt zou moeten kunnen in die rules?

To exclude a single robot

User-agent: BadBot
Disallow: /

Bron: http://www.robotstxt.org/wc/exclusion-admin.html ....

Dus, als je de user-agent weet, kan je het op basis daarvan disallowen...

Dat is allemaal wel leuk en aardig, maar hiermee zorg je er dus voor dat hij helemaal niet meer komt. Maar in mijn startpost vraag ik of het mogelijk is om iets te doen (bijvoorbeeld in robots.txt) dat ik daar alleen voor MSNBot in kan stellen dat hij maar 1 keer per week indexeerd ofzo!

Helemaal niet meer indexeren wil ik ook niet omdat ik toch nog wel wat mensen via die zoekmachine krijgt

[cavey]

Owz, verminderd indexeren. Hmmmmmmm geen idee, maar wat ik vond in m'n stats file is de volgende user-agent informatie:

msnbot/0.11 (+http://search.msn.com/msnbot.htm)
Googlebot/2.1 (+http://www.googlebot.com/bot.html)
Yahoo-MMCrawler/3.x (mms dash mmcrawler dash support at yahoo
Webspider/1.0b8 (http://www.botje.nl)
Ask Jeeves/Teoma)"
Vagabondo/2.2

Nagoed, alleen de eerste 3 hebben wellicht wat nuttigs, moet botje.nl nog even nalopen, maar misschien dat die websites die erin staan zelf al wat tips geven van "hoe kan je zo instellen dat we niet te vaak langs komen maar je zeker niet overslaan" .... Ik kwam iig wat interesting links tegen bij de url van msnbot ... ymmv.