Website Rip software hoe te blokkeren?

[Verwijderd]

Ik word een beetje moe van alle rip progjes die continue heel mijn site naar een harddisk toe trekken. Dit kost me kilo's bandbreedte en servertijd en bovendien maakt het ze zo wel heel gemakkelijk dingen te rippen. Gisterenavond ben ik hier 450MB bandbreedte mee kwijt geraakt, ik besteed die 450MB liever aan potentiele klanten.

Ik heb in de robots.txt al geprobeerd dit tegen te gaan maar zonder succes. Het schijnt dat ik het in de httpaccess ofzo moet blokkeren. Ik heb een aantal IP's maar ik wil graag AL dat soort software tools blokkeren. Is dat ergens mogelijk?

[ Voor 13% gewijzigd door Verwijderd op 13-01-2005 11:56 ]

[intert0y]

misschien dat je iets kunt inbakken dat als iemand TE SNEL extensive dingen doet dat je hem tijdelijk blokt. Dan moeten ze het i.i.g. langzamer doen en zullen een groot aantal mensen al afvallen denk ik.

[CrashOne]

Dit gaat heel erg lastig, maar kan wel op een aantal manieren die niet waterdicht zijn.
Je kan controleren op de useragent string, echter is deze vaak ook aangepast.
Je kan bijhouden hoelang het duurt voordat er een volgende pagina wordt opgevraagt, wanneer dit meerdere keren binnen een seconde of wat is kan je deze blocken. Echter is dit ook tricky, je wilt nl geen normale bezoekers per ongeluk op je blacklist gooien.

Misschien dat er ook nog andere mogelijke oplossingen zijn, ik wacht af.

[Polderdijk]

Komt dit continu via het zelfde IP adres? Zo ja kna je natuurlijk heel eenvoudig het IP afsluiten van je site.
Het laatste punt van CrashOne zou ik idd heel voorzichtig mee zijn omdat je neem ik aan GoogleBot enzo wel toegang wilt geven tot je site. Deze trekt of en toe ook een berg pagina's per seconde naar binnen.

[Mighty Giesso]

HTML Protector, verneukt je code

[Verwijderd]

Bedankt voor alle snelle reacties tot dusver. Ik zal zo gaan overleggen met de serveradmin wanneer deze mij terug belt. Het is met name 1 useragent van een Japans rip progsel. Ik zal de naam hier niet noemen want ik voel er weinig voor dit soort dingen te promoten.

[it0]

je kan toch ook een referer gebruiken dwz. dat ze alleen de pagina's mogen oproepen via andere pagina's. Dus ik mag plaatje a alleen oproepen als ik pagina b oproep ( want daar staat dat plaatje op)

[leuk_he]

als je voldoende controle hebt op de server kun je de volgende methode gebruiken:

http://neilgunton.com/spambot_trap/

Set a Spambot Trap, which blocks hosts based on behavior. We set a trap for spambots, which normal users with browsers and well-behaved spiders should not fall into. If the bot falls in the trap, then its IP address is quickly blocked from all further connections to the webserver.

Met andere woorden: als ze een bepaalde pagina bezoeken die voor gewone browsers niet zichtbaar is en geblokkeert met robots.txt dan wordt hun ip (tijdelijk?) gebanned.

[om3ega]

^^^

Dit is een verdomd interresante site. Ik heb er heel veel goede ideetjes vandaan gehaald!
Ik denk ook dat bovenstaande site de oplossing is voor de TS.