Scrapen van webpagina met verschillende forms

[wian]

Hallo, ik probeer een scriptje te schrijven voor home assistant dat mij eraan herinnert dat ik de kliko buiten moet zetten. De gemeente heeft een online tooltje waar je je postcode kunt ingeven en dat je de data teruggeeft voor de grijze, groene en papierbak.

Lijkt een simpel klusje, maar ik kom er niet uit. Normaal gesproken gebruik ik curl en bash, maar deze pagina heeft verschillende forms en javascript wat niet door curl geinterpreteerd wordt.

Dit is de URL: https://huisvuilkalender.gemeentewestland.nl

Dit is wat ik heb geprobeerd:

code:

curl -X POST--cookie "PHPSESSID=cb2fv4l6rgobibhd0h6gj6gu4s"  -H 'Content-Type: application/json' -d '{"postcode":"2292AA","huisnummer":"2"}' https://huisvuilkalender.gemeentewestland.nl

Maar ik krijg telkens gewoon de pagina terug, zonder resultaten. Iemand tips om dit voor elkaar te krijgen in bash of python?

Alvast

[jugger naut]

Voor gemeente westland kan je dit HACS component gebruiken: https://github.com/heyajohnny/afvalinfo

[wian]

Bedankt, die had ik nog niet gevonden! Even kijken of/hoe dat werkt.

[jugger naut]

wian schreef op dinsdag 29 september 2020 @ 20:03:
Bedankt, die had ik nog niet gevonden! Even kijken of/hoe dat werkt.

Mocht je het nog niet hebben zou ik zeker HACS installeren. Dan is het een kwestie van even de naam opzoeken en install klikken.

[wian]

Waarom moeilijk doen als het ook met HACS kan. Weer wat geleerd. Bedankt!

[Kontsnorretje]

En voor een volgende uitdaging:
Open de inspector (F12), en controleer de AJAX calls. Dan had je gezien dat de data van de volgende URL wegkomt:
https://huisvuilkalender....get-huisvuilkalender-ajax

[wian]

En nog hints hoe ik die handmatig kan aanroepen? Krijg alleen 404's.

[Kontsnorretje]

wian schreef op dinsdag 29 september 2020 @ 21:13:
En nog hints hoe ik die handmatig kan aanroepen? Krijg alleen 404's.

Ik ga het lekker abstract houden Van het zelf uitvogelen leer je vaak het meest

Als je de Network tab hebt gevonden, kan je de ontvangen en meegestuurde headers e.d. controleren. Dan zie je dat er een CORS header aanwezig is. Als je vervolgens de headers uit je request controleert, kun je die toe gaan passen in jouw custom made request. Ook moet er een waarde 'postcode' meegestuurd worden.

Daarnaast kun je de CURL call via de console kopiëren en vanuit daar verder gaan