[php] webpage fetchen lukt niet

[BKJ]

Ik probeer vanaf een site een aantal quotes te grabben (zie ook vorig topic van mij) die ik daarna graag in een DB zet. So far so good... totdat ik bij deze site kwam:

http://lite.betfair.com/lite_home.asp

Met een browser kom je prima een paar lagen dieper (bv naar soccer fixtures) maar een of andere manier kan ik deze wat dieper lagen niet inladen in PHP met bijvoorbeeld file_get_contents(). In Firefox geeft de site de volgende melding als je cookies uitzet:

Maximum aantal verwijzingen bereikt

Ook lynx geeft ongeveer dezelfde melding:

Alert!: Redirection limit of 10 URL's reached.

Ik heb ook al geprobeerd om cookies aan te accepteren in PHP maar dat werkt ook niet..

Heeft iemand een idee hoe ik WEL deze pagina (het liefst de pagina die wat dieper ligt) kan binnenkrijgen? Wat voor beveiliging zit hierachter? Cookies icm met een counter oid?

[BKJ]

hitchhacker schreef op donderdag 16 juni 2005 @ 12:13:
Ik probeer vanaf een site een aantal quotes te grabben (zie ook vorig topic van mij) die ik daarna graag in een DB zet. So far so good... totdat ik bij deze site kwam:

http://lite.betfair.com/lite_home.asp

Met een browser kom je prima een paar lagen dieper (bv naar soccer fixtures) maar een of andere manier kan ik deze wat dieper lagen niet inladen in PHP met bijvoorbeeld file_get_contents(). In Firefox geeft de site de volgende melding als je cookies uitzet:

Maximum aantal verwijzingen bereikt

Dit komt dus wss omdat er is HTTP 302 redirect is naar zichzelf. Als je niet voldoet (als script) aan bepaalde eisen waaraan normale browsers blijkbaar wel voldoen dan wordt je gewoon geweigerd... Erg vaag allemaal...

[ Voor 5% gewijzigd door BKJ op 16-06-2005 15:00 ]

[Michali]

hitchhacker schreef op donderdag 16 juni 2005 @ 14:27:
[...]


Dit komt dus wss omdat er is 302 redirect is naar zichzelf als je niet voldoet aan bepaalde eisen waaraan normale browsers blijkbaar wel voldoen... Erg vaag allemaal...

offtopic:
Ik vind je zin ook een beetje vaag Zou je hem iets kunnen bijwerken? Je kunt je post ook editen overigens, nu lijkt het net alsof je met jezelf aan het praten bent

[joopst]

Die redirect wordt door de server gedaan op het moment dat ie 'ziet' dat er een scriptkiddie zijn site aan het grabben is.
Wellicht is de oplossing om jouw grab-script te cloaken zodat ie zich voordoet als een hippe firefox-browser. Je kan eens proberen de user-agent anders in te stellen bijvoorbeeld.

succes!