[Shell/bash] curl wel response, maar zonder parameters

[-Miura-]

Ik probeer een scriptje te maken die op basis van gegevens van hypotheek24.nl mij gescheduled een berichtje stuurt met de laatste rente-standen. Dit script draai ik op m'n Synology nas. Ik heb het volledige script al wel "werkend" waarbij ik de rentes ophaal en mijzelf een pushbericht kan sturen. Het probleem is alleen dat ik nog de verkeerde rentes ophaal.

Standaard gaat hypotheek24 uit van een koopsom van 160.000, hypotheek van 160.000 etc. Zie https://www.hypotheek24.n...krente/volledig-overzicht . Ikzelf ben op zoek naar:

• Koopsom: 300.000
• Hypotheek: 200.00
• Rentevast: 20jr
• Boetevrij aflossen: 10%

Dit heb ik allemaal verwerkt in mijn POST van curl, zie:

code:

HTML=$(curl -X POST -H ^'content-type: application/x-www-form-urlencoded^' -d ^'buildingValue=300.000%2C-&mortgageValue=200.000%2C-&mortgageType=fixedrate&fixedInterestTerm=20&payoffMaxFree=10&quoteCancelFeeTrigger=&payoffReducedInterest=&nhg=0&buildingCategory=residence&available=0&save=Aanpassen^' https://www.hypotheek24.nl/informatie/hypotheekrente/volledig-overzicht)

Mijn probleem is dat ik de default html terugkrijg (dus op basis van 160.000 etc). Ik heb al verschillende syntaxen geprobeerd, andere quotes, gebruik maken van -F ipv -d, maar allemaal zonder succes. Ik heb het gevoel dat ik dichtbij ben, maar ik kom er niet zelf uit. Iemand een idee waar ik de mist in ga?

[The Eagle]

Doet ie het command online wel, of krijg je daar ook alles terug?
En wat staat er in de url als je handmatig de aanpassingen doet voor het gewenste resultaat?

[-Miura-]

Als ik netjes via de website navigeer kom je uiteraard eerst op de pagina uit met de default parameters. Na het aanpassen ververst de site automatisch, maar je kan voor de zekerheid ook nog op 'Aanpassen' klikken. De url zelf blijft ongewijzigd (https://www.hypotheek24.n...krente/volledig-overzicht).

Als ik in Chrome DevTools daar in Network kijk zie ik daar uiteraard netjes alle Form Data etc.

[Matis]

Wat je zou kunnen proberen is met een tool als PostMan eenzelfde query sturen. Dan heb je iets meer monitoring en feedback.

[Banpei]

Je was er inderdaad bijna: de hypotheek24 site gebruikt POST om de gesubmitte waardes op te slaan in de sessie. Daarna doen ze een 302 naar dezelfde pagina (GET), maar door jouw waardes uit de sessie te halen genereren ze de pagina met de juiste informatie.

Dus wat je moet doen is Curl (sessie) cookies te laten accepteren en de redirect te laten volgen. Dit kun je doen met de -b en -L parameters:
https://curl.haxx.se/docs/http-cookies.html
https://curl.haxx.se/docs...I_tell_curl_to_follow_HTT

[Matis]

Het zogenaamde Wikipedia: Post/Redirect/Get pattern

[-Miura-]

Bedankt Banpei, ik heb nu inderdaad een resultaat met mijn parameters. Ik weet er alleen net iets te weinig van en ben benieuwd of mijn methode de juiste manier is. Ik heb het opgelost als volgt:

code:

curl -c '/volume1/data/hypotheek24.txt' https://www.hypotheek24.nl

HTML=$(curl -b '/volume1/data/hypotheek24.txt' -L -X POST -H 'content-type: application/x-www-form-urlencoded' -d 'buildingValue=300.000%2C-&mortgageValue=200.000%2C-&mortgageType=fixedrate&fixedInterestTerm=20&payoffMaxFree=10&quoteCancelFeeTrigger=&payoffReducedInterest=&nhg=0&buildingCategory=residence&available=0&save=Aanpassen' https://www.hypotheek24.nl/informatie/hypotheekrente/volledig-overzicht)

Mijn beredenering is dus dat ik eerst een curl -c doe om een cookie file te generen en op te slaan. Deze gebruik ik dan in mijn POST. Dit lijkt dus te werken, maar is dat een correct gebruik?

[Banpei]

Ziet er goed uit!