Google web crawler doet rare dingen

[Memori]

Ik hoop dat dit het juiste forum is.

Sinds vanmorgen 6:15 wordt mijn webserver elke 1½ uur overspoeld met 'page not found' meldingen afkomstig van een tweetal IP-adressen. Het gaat om de volgende adressen die van Google lijken te zijn:

code:

66.249.66.113
66.249.72.185

Deze IP adressen proberen pagina's op te vragen die helemaal niet bestaan, nergens gelinkt worden en ook helemaal nergens op slaan.
De verzoeken bestaan o.a. uit het volgende. (Rood = komt niet voor op de server)

/album/(willekeurige nummers)
/textos/(willekeurige nummers)
/case/(willekeurige nummers)
/invest/(willekeurige nummers)
/ticker/(willekeurige nummers)
/notice/(willekeurige nummers)
/restaurant/(willekeurige nummers)
/guide/(willekeurige nummers)
/facility/(willekeurige nummers)
/news/(willekeurige nummers)
/music/(willekeurige nummers)
/album/?page=(willekeurige nummers)
/album/(willekeurige nummers)?m=album&id=(willekeurige nummers)
/notice/(willekeurige nummers)?componentId=(willekeurige nummers)
/album/reitsport
/imprint
/schedule/program/kompakt
/schedule/program/pozytywka
/schedule/program/fatamorgana
/music/Y

Ik heb dit nog nooit meegemaakt in de 4 jaar dat ik mijn webserver draai. Ik vind het erg vreemd gedrag van de Google webcrawler. Ik zou graag willen weten of anderen dit ook ondervinden of misschien weten waarom Google dit doet.

[Equator]

Ik betwijfel of dit de webcrawler van Google is. Die IP adressen kunnen gefaked gespoofed worden..

Kan je nog een User Agent string achterhalen uit de logging?

Oh, en nee. PNS is niet echt de juiste plek hiervoor. Ik verplaats het topic naar Beveiliging & Virussen omdat ik persoonlijk denk dat dit een betere plaats is voor dit topic

[ Voor 41% gewijzigd door Equator op 10-05-2012 14:50 ]

[Memori]

De volledige User Agent werd bij mij niet gelogd. Nu inmiddels wel dus het is even afwachten op de volgende scan. Waarschijnlijk is het dan inderdaad een bot die de website (inefficiënt) af scant. Ik neem aan dat de werkelijke bron van deze scans wel te achterhalen is. Anders kan de bot toch geen antwoord terug ontvangen?

[CyBeR]

Equator schreef op donderdag 10 mei 2012 @ 14:48:
Ik betwijfel of dit de webcrawler van Google is. Die IP adressen kunnen gefaked gespoofed worden..

Dat kan niet. Of tenminste, niet als 't ding ook een antwoord wenst te ontvangen.

Kan je nog een User Agent string achterhalen uit de logging?

Maar dat juist wel. Maar dat geeft niet, want 66.249/16 is van Google.

[ Voor 8% gewijzigd door CyBeR op 10-05-2012 17:43 ]

[Juup]

Het je een foutje in een sitemap gemaakt?

Edit: kijk morgen in de google webmaster tools of er iets nuttigs te vinden is.

[ Voor 61% gewijzigd door Juup op 10-05-2012 17:47 ]

[Memori]

De scans zijn nog heel de donderdag en vrijdag door gegaan, daarna hielden ze op. Elke keer is de user agent het volgende:

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Er is niets verkeerd in de sitemap, daarom vind ik het ook zo vreemd. Ik heb geen idee waar deze bot zijn URLs vandaan haalt. Het is ook niet zo dat andere sites verkeerd naar mijn site(s) linken.

[photofreak]

Met add-ons als User Agent Switcher in Firefox kan je iedere UA spoofen, is niet moeilijk en de webmaster zal in zijn logs zien dat het een google bot is (afgaande op de useragent) ik zou kijken of je het IP-adres kunt achterhalen en blokkeren.