Googlebot 'doet' 105 GB in 22 dagen op website

[orf]

Toen ik vandaag eens een aantal sites bekeek die we gebouwd hebben, zag ik dat een redelijk kleine site die we flink wat jaren geleden gebouwd hebben deze maand ruim 107GB dataverkeer had gebruikt.

Dat is nogal wat voor een site zonder plaatjes

105GB komt echter van Google (Googlebot/2.1). Nu kan ik natuurlijk even een robots.txt in de root van de site zetten, maar ik vraag me af of meer mensen dit weleens hebben gehad. De site en menustructuur is redelijk ondoorzichtig (menu is een tree, waarbij de url de staat van het menu bepaalt).

Iemand ook zulk soort ervaringen? 105GB lijkt me toch een bugje ergens in de bot...

[Dolan]

orf schreef op dinsdag 22 januari 2008 @ 12:41:
Toen ik vandaag eens een aantal sites bekeek die we gebouwd hebben, zag ik dat een redelijk kleine site die we flink wat jaren geleden gebouwd hebben deze maand ruim 107GB dataverkeer had gebruikt.

Dat is nogal wat voor een site zonder plaatjes

105GB komt echter van Google (Googlebot/2.1). Nu kan ik natuurlijk even een robots.txt in de root van de site zetten, maar ik vraag me af of meer mensen dit weleens hebben gehad. De site en menustructuur is redelijk ondoorzichtig (menu is een tree, waarbij de url de staat van het menu bepaalt).

Iemand ook zulk soort ervaringen? 105GB lijkt me toch een bugje ergens in de bot...

Weer lekker Nederlands om gelijk het probleem bij de ander te zoeken. Ik denk eerder dat je een bugje in je website hebt zitten i.p.v. een bugje in de google bot

[Simkin]

Klinkt idd als een bug. Een spider zou loops moeten kunnen detecteren

[orf]

trolleystad schreef op dinsdag 22 januari 2008 @ 13:02:
[...]

Weer lekker Nederlands om gelijk het probleem bij de ander te zoeken. Ik denk eerder dat je een bugje in je website hebt zitten i.p.v. een bugje in de google bot

Als een bot in een loop terecht komt en geen duplicate content detecteert, dan zie ik dat niet als een bug in een site. Bovendien 'vraag' je niet om indexering, maar wordt de site geïndexeerd.

Andere bots (yahoo, msn, etc) trekken niet meer dataverkeer dan een gemiddelde bezoeker, terwijl Google een factor 1.000.000 meer dataverkeer trekt dan die gemiddelde bezoeker.

Lekker Nederlands om lekker te sneren.

[BBrunekreeft]

Met de Google Webmaster Tools kun je instellen hoe vaak en hoe snel GoogleBot je site indexeert.
Misschien is dat een optie?

[Cloud]

Weet je toevallig ook hoe vaak Googlebot überhaupt langsgeweest is? Dat is wel belangrijk om te weten om iets over de verbruikte bandbreedte te zeggen lijkt me Hoeveel megabytes haalt Googlebot binnen per bezoek? En welke pagina's bezocht de bot?

[orf]

In ieder geval 4.691.961hits
Redelijk verdeeld over het aantal pagina's.

Ik heb niet echt een enorm probleem hiermee, ga wel even een robots.txt plaatsen, maar vond het vooral bizar om te zien. Dit heb ik nog nooit eerder gezien, terwijl we iets van 200 sites hebben gebouwd.

[CyBeR]

orf schreef op dinsdag 22 januari 2008 @ 12:41:
De site en menustructuur is redelijk ondoorzichtig (menu is een tree, waarbij de url de staat van het menu bepaalt).

Dat is dodelijk voor een spider. Ik heb 't met google nooit gehad, maar ik heb wel een keer MSN's crawler op die manier een paar maanden aan het werk gezet.

[jvdmeer]

Misschien contact opnemen met Google. Of even kijken wat er mogelijk is via http://www.google.nl/webmasters/

[Cloud]

orf schreef op dinsdag 22 januari 2008 @ 13:47:
In ieder geval 4.691.961hits
Redelijk verdeeld over het aantal pagina's.

Even snel uitgerekend is dat maar 23,5 kilobytes per hit. (105 * 1024 * 1024) kilobytes / (4691961 hits)
Dat is dus normaal. Alleen het ongelooflijk aantal hits is denk ik een crawlfout, die misschien wel door dat menu van je veroorzaakt wordt. Even contact opnemen met Google lijkt me