Dataverkeer overschrijding door twiceler crawler

[Kalentum]

Ik kreeg vandaag een factuur voor overschrijding van dataverkeer, wat mij nogal verbaasde. Nadere inspectie leerde dat de webserver bezocht wordt door een robotje dat luistert naar de naam 'twiceler' en dat hoort bij een (blijkbaar) google-killer die huist op http://www.cuill.com/

Het ging bij mij om 50Gb wat dit botje heeft verstouwd in 1 maand. Misschien hebben anderen hier ook wat aan om bv in een robots.txt op te nemen.

[ Voor 4% gewijzigd door Kalentum op 17-09-2007 14:44 ]

[Wortelsoep]

Wat voor user agent geeft deze crawler mee? 50GB in een maand is natuurlijk wel belachelijk

[AtleX]

Zie ook http://www.cuill.com/twiceler/robot.html voor meer info.

Wilko schreef op maandag 17 september 2007 @ 14:46:
Wat voor user agent geeft deze crawler mee? 50GB in een maand is natuurlijk wel belachelijk

Google kan er anders ook wat van.

[ Voor 71% gewijzigd door AtleX op 17-09-2007 14:52 ]

[Verwijderd]

The user-agent is “twiceler”.

bron: http://www.cuill.com/twiceler/robot.html