Pagina is slechts paar seconden zichtbaar?

[Avalaxy]

Als ik naar kijk.nl ga en een URL probeer te krijgen naar de gemiste afleveringen/films/clips en krijg ik deze URL (uit de developer console van Chrome gehaald):

http://www.kijk.nl/helper...1-2013&enddate=19-01-2013

Hierop krijg je alle afleveringen die met AJAX ingelezen worden gewoon in HTML te zien. Het probleem is dat deze pagina perfect werkt zodra ik de link kopieer en plak in mijn browser (of vanuit de developer console lanceer), echter is de pagina dan maar een paar seconden te gebruiken, als je na 10 seconden op F5 drukt en opnieuw kijkt krijg je een 404-error terwijl er niks aan de URL is veranderd.

Als ik dan mijn tabblad sluit en opnieuw naar de URL ga krijg ik de content gewoon weer tijdelijk te zien, en een paar seconden later een 404. Hoe komt dit? En hoe omzeil ik dit?

Edit: ik zie dat ik vanaf tweakers ook een 404 krijg.

[martin149]

Dit heeft er waarschijnlijk mee te maken, dat ze niet willen dat je met hun data zit te knoeien. Je zult gewoon de site zelf moeten bouwen. In het systeem zit waarschijnlijk iets wat jou een maal toegang geeft tot een bepaalde dataset, waarna je vervolgens eerst een bepaalde actie uitvoert om bij nieuwe te komen.

Persoonlijk vraag ik me af wat je er mee moet, met deze info. Aangezien je dit topic hebt geplaatst in Programming, neem ik aan dat je de gegevens zelf wilt gebruiken. Dit is niet toegestaan op deze sites en is hoogstwaarschijnlijk terug te vinden in de voorwaarden.

[Avalaxy]

Ik probeer de data te crawlen. Het juridische gedeelte heb ik verder niets mee te maken, ik ben degene die het uit moet voeren

[NMe]

Tsja, ze gaan dat crawlen waarschijnlijk actief tegen, juist om te voorkomen dat iemand zoals jij voorbij komt en (al dan niet indirect) geld gaat proberen te verdienen aan hun content.

[RobIII]

Avalaxy schreef op zaterdag 19 januari 2013 @ 20:50:
Hoe komt dit?

Leg die vraag eens voor aan kijk.nl

Avalaxy schreef op zaterdag 19 januari 2013 @ 20:50:
En hoe omzeil ik dit?

Zo: Beveiligingen omzeilen

Verder zie ik even niet wat dit met Programming van doen heeft; ik zie nergens een concreet programmeerprobleem.