[PHP] Hulu episode list scrapen

[Verwijderd]

Hallo,

Ik probeer een scraper te bouwen voor Hulu. Uiteraard geen illegale films / series scrapen maar gewoon een episode list op de hulu website die gewoon zonder in te loggen te bezichtigen is.

Doel:
- Haal de pagina op van de serie waar alle episodes op staan van deze serie.
- Sla deze pagina op in Mysql
- Volgende dag ( cron job )
- Haal de pagina op van de serie waar alle episodes op staan en vergelijk deze met je Mysql record
-- verschil ?
----- Ja --> stuur pushover en vervang Mysql record met nieuwe info
----- Nee --> doe niks

Het gaat erom dat ik een melding krijg als er een nieuwe aflevering beschikbaar is.

Het Mysql gedeelte werkt en daar heb ik verder geen problemen mee.

Ik heb alleen problemen met het uitlezen van de (openbare) episode pagina.
Het gaat in dit geval om de serie Awkward.

Link: http://www.hulu.com/grid/awkward?categories=episodes

Als je naar die pagina gaat dan zie je alleen Season 1.
Je kunt dan bovenin klikken op SEASON: ALL en dan zie je alle afleveringen

Echter, ze laden niet allemaal direct, je moet zelf naar beneden scrollen om ze te tonen

Er is ook geen directe link om alle episodes te vinden. Er was een RSS feed maar die hebben ze gekilled helaas.

Mijn code so far:

code:

<?php

$con=mysqli_connect("localhost","username","password","database");

// Check connection
 if (mysqli_connect_errno()) {
   echo "Failed to connect to MySQL: " . mysqli_connect_error();
 }

 $result = mysqli_query($con,"SELECT * FROM hulu");

  while($row = mysqli_fetch_array($result))

 {
 $naam = $row['naam'];   // Awkward
 $website = $row['website']; // http://www.hulu.com/grid/awkward?categories=episodes
 $notificatie = $row['notificatie']; // Nee
//  echo $naam;
  }

 mysqli_close($con);

$my_var = file_get_contents($website);
echo $website;
echo "<br>";
echo "<hr>";
echo $my_var;

?>

Bovenstaande is nog niet af, alleen om te checken of / hoe ik alle episodes binnen kan krijgen. De rest lijkt me minder ingewikkeld.

Ik krijg de indruk dat alles 'verborgen' is achter div's ( if that makes any sense ) en ik weet niet hoe ik ze zichtbaar kan maken allemaal.

Bare with me, ben een php hobby-ist die via tutorials en samples probeert te leren.

[NMe]

Ook deze data is gewoon auteursrechtelijk beschermd en mag je niet zomaar scrapen, en daarom gaan we je daar niet mee kunnen helpen. Het feit dat hun API-call wanneer je naar beneden scrollt voorzien is van een erg lange key toont al aan dat ze niet willen dat je die API van ze zomaar gebruikt.

Ik zou zeggen: neem contact op met Hulu en vraag ze of wat je wil mag en zo ja, hoe ze dan willen dat je het doet.