[Python] Selenium en cookie wall

[Verwijderd]

Hoi,

Als oefening met Python probeer ik foto's te maken van een site.
Het foto gedeelte werkt echter, wanneer ik het headless run dan loop ik tegen een cookie wall aan en daar ga ik de mist in.

Ik heb meerdere dingen geprobeerd zoals by Xpath, by ID etc etc maar ik kom er niet doorheen op de een of andere reden. Gaarne hulp!

Geraadpleegd:
https://stackoverflow.com/questions/64032271/handling-accept-cookies-popup-with-selenium-in-python

https://medium.com/jaanvi/headless-browser-in-python-9a1dcc2b608b

en Google uiteraard.

De test pagina:
https://www.parktheater.nl/nl/search?zoekwaarde=jandino


De code:

code:

from email.mime import image
from PIL import Image, ImageGrab
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.keys import Keys
import time

#Chrome settings
chrome_options = Options()
#chrome_options.add_argument("--headless")
chrome_options.add_argument("--window-size=1920x1080")

#Go to Parktheater
driver = webdriver. Chrome(chrome_options=chrome_options, executable_path="/home/ricardo/stack/Python/Development/Parktheater_Jandino/chromedriver")
driver.maximize_window()
driver.implicitly_wait(10)
driver.get("https://www.parktheater.nl/nl/search?zoekwaarde=jandino")

#driver.find_element_by_xpath("//*[@id='text-input-what']").send_keys("Selenium")
#time.sleep(5)
driver.find_element_by_xpath(By.XPATH,'//*[@id="cookie-consent-banner"]/div/form[1]/div[2]/fieldset/button[2]').click()

#driver.find_element_by_xpath("//button[text()='Akkoord']").click()
#//*[@id="cookie-consent-banner"]/div/form[1]/div[2]/fieldset/button[2]

#//*[@id="cookie-consent-banner"]/div/form[1]/div[2]/fieldset/button[2]

#Take picture
image1 = ImageGrab.grab(bbox =(0, 0, 300, 300))
image1.save('./Afbeelding.png', 'PNG')

[RedFox]

Heb je al geprobeerd om een cookie van te voren mee te geven aan selenium? Zodat je de pagina dus opvraagt alsof je de cookie wall geaccepteerd hebt?

[Verwijderd]

Uh... da's nieuw voor mij?
Hoe doe ik dat? En wat als de cookie telkens veranderd? Nou is dat bij een cookie wall denk ik niet het geval.
Wist niet dat dat kon....

[Merethil]

Verwijderd schreef op zaterdag 18 juni 2022 @ 15:36:
Uh... da's nieuw voor mij?
Hoe doe ik dat? En wat als de cookie telkens veranderd? Nou is dat bij een cookie wall denk ik niet het geval.
Wist niet dat dat kon....

Eerste hit op "selenium cookie" gaf dit: https://www.selenium.dev/...ebdriver/browser/cookies/

[Verwijderd]

code:

#Go to Parktheater
driver = webdriver. Chrome(chrome_options=chrome_options, executable_path="/home/ricardo/stack/Python/Development/Parktheater_Jandino/chromedriver")
driver.maximize_window()
driver.get("https://www.parktheater.nl/nl/search?zoekwaarde=jandino")
driver.add_cookie({"name": "cookie_consent", "value": "all"})

en toch blijft hij erom vragen

[Merethil]

Als ik op "toestaan" druk krijg ik ook meer dan één cookie voorgeschoteld. Dus ik denk dat je dan nog wat extra cookies moet toevoegen. Uiteindelijk is het gewoon vergelijken tussen vóór en na geven consent en bepalen welke cookies toegevoegd dienen te worden.

[Verwijderd]

code:

#Go to Parktheater
driver = webdriver. Chrome(chrome_options=chrome_options, executable_path="/home/ricardo/stack/Python/Development/Parktheater_Jandino/chromedriver")
driver.maximize_window()
driver.get("https://www.parktheater.nl/nl/search?zoekwaarde=jandino")
driver.add_cookie({"name": "cookie_consent", "value": "all"})
driver.add_cookie({"name": "_hjSession_1502261", "value": "eyJpZCI6ImM0OWE3YWQyLWZmNTAtNGU4Zi1iZWM3LWE0MTkxNTNhMDMzNCIsImNyZWF0ZWQiOjE2NTU1Nzg0MzYyOTYsImluU2FtcGxlIjpmYWxzZX0="})
driver.add_cookie({"name": "_hjFirstSeen", "value": "1"})
driver.add_cookie({"name": "_gid", "value": "GA1.2.1005107913.1655578436"})
driver.add_cookie({"name": "_ga", "value": "GA1.2.1256525316.1655578433"})
driver.add_cookie({"name": "gat_UA-2986456-14", "value": "1"})
driver.add_cookie({"name": "_gcl_au", "value": "1.1.502559715.1655578433"})
driver.add_cookie({"name": "_hjAbsoluteSessionInProgress", "value": "1"})
driver.add_cookie({"name": "_hjIncludedInSessionSample", "value": "0"})
driver.add_cookie({"name": "_hjSessionUser_1502261", "value": "eyJpZCI6IjAxYTNjZjFkLTI2ZDYtNTVmYy1iYmM3LWZjZGI0N2RjODQ3MiIsImNyZWF0ZWQiOjE2NTU1Nzg0MzU5NTMsImV4aXN0aW5nIjpmYWxzZX0="})
driver.add_cookie({"name": "_pk_id.99160670.12b4", "value": "1e83cf6cee72af96.1655578436.1.1655578436.1655578436."})
driver.add_cookie({"name": "_pk_ses.99160670.12b4", "value": "*"})

Still no luck... dit moet toch makkelijker kunnen?

[fopjurist]

Je oorspronkelijke code werkt gewoon als je even wacht voordat je een screenshot maakt (screenshot).

code:

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
import time

#Chrome settings
service = Service("/home/ricardo/stack/Python/Development/Parktheater_Jandino/chromedriver")
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("--headless")
chrome_options.add_argument("--window-size=1920x1080")

#Go to Parktheater
driver = webdriver.Chrome(service=service, options=chrome_options)

driver.maximize_window()
driver.implicitly_wait(10)
driver.get("https://www.parktheater.nl/nl/search?zoekwaarde=jandino")

driver.find_element(By.XPATH,'//*[@id="cookie-consent-banner"]/div/form[1]/div[2]/fieldset/button[2]').click()

#Take picture
time.sleep(5)
driver.save_screenshot("Afbeelding.png")

[ Voor 4% gewijzigd door fopjurist op 18-06-2022 21:33 ]

[Verwijderd]

fopjurist schreef op zaterdag 18 juni 2022 @ 21:32:
Je oorspronkelijke code werkt gewoon als je even wacht voordat je een screenshot maakt (screenshot).

code:

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
import time

#Chrome settings
service = Service("/home/ricardo/stack/Python/Development/Parktheater_Jandino/chromedriver")
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("--headless")
chrome_options.add_argument("--window-size=1920x1080")

#Go to Parktheater
driver = webdriver.Chrome(service=service, options=chrome_options)

driver.maximize_window()
driver.implicitly_wait(10)
driver.get("https://www.parktheater.nl/nl/search?zoekwaarde=jandino")

driver.find_element(By.XPATH,'//*[@id="cookie-consent-banner"]/div/form[1]/div[2]/fieldset/button[2]').click()

#Take picture
time.sleep(5)
driver.save_screenshot("Afbeelding.png")

What the f(*@%#R!&#(@ ?!!

Thanks a million! ik probeer het alleen nog te begrijpen. Waarom moet er 5 sec gewacht worden?

[fopjurist]

Verwijderd schreef op zaterdag 18 juni 2022 @ 21:36:
[...]


What the f(*@%#R!&#(@ ?!!

Thanks a million! ik probeer het alleen nog te begrijpen. Waarom moet er 5 sec gewacht worden?

De pagina wordt na het accepteren van de cookies opnieuw ingeladen. Meestal is dat binnen 5 seconden wel klaar, maar het kan ook langer duren. Je kunt daarom beter een dynamische wachttijd gebruiken.

[Verwijderd]

fopjurist schreef op zaterdag 18 juni 2022 @ 21:42:
[...]

De pagina wordt na het accepteren van de cookies opnieuw ingeladen. Meestal is dat binnen 5 seconden wel klaar, maar het kan ook langer duren. Je kunt daarom beter een dynamische wachttijd gebruiken.

Explicit Wait is eigenlijk perfect maar wel wat lastiger te implementeren volgens mij...

[Verwijderd]

code:

image1 = Image.open("image1.png")
image2 = Image.open("image2.png")
diff = ImageChops.difference(image1, image2)

if diff.getbbox(ImageChops.difference(image1, image2)) is None:
    print(" Same picture ")
else:
    print("No the same picture")

Geeft:

code:

Traceback (most recent call last):
  File "/home/ricardo/stack/Python/voorstelling2.py", line 30, in <module>
    diff = ImageChops.difference(image1, image2)
  File "/home/ricardo/.local/lib/python3.9/site-packages/PIL/ImageChops.py", line 102, in difference
    return image1._new(image1.im.chop_difference(image2.im))

En dat snap ik niet, hij zou dan toch true of false moeten teruggeven?

[jaspermeul]

Verwijderd schreef op zondag 19 juni 2022 @ 11:48:

code:

image1 = Image.open("image1.png")
image2 = Image.open("image2.png")
diff = ImageChops.difference(image1, image2)

if diff.getbbox(ImageChops.difference(image1, image2)) is None:
    print(" Same picture ")
else:
    print("No the same picture")

Geeft:

code:

Traceback (most recent call last):
  File "/home/ricardo/stack/Python/voorstelling2.py", line 30, in <module>
    diff = ImageChops.difference(image1, image2)
  File "/home/ricardo/.local/lib/python3.9/site-packages/PIL/ImageChops.py", line 102, in difference
    return image1._new(image1.im.chop_difference(image2.im))

En dat snap ik niet, hij zou dan toch true of false moeten teruggeven?

De getbbox mag sowieso leeg blijven. Dus alleen ().

Verder zou je het misschien mooier kunnen doen.
Kijk anders hier eens:
https://stackoverflow.com/a/67263247

[ Voor 5% gewijzigd door jaspermeul op 19-06-2022 12:16 ]

[BCC]

De docs zeggen driver.manage.addcookie ?

[ Voor 79% gewijzigd door BCC op 19-06-2022 12:34 ]

[Verwijderd]

jaspermeul schreef op zondag 19 juni 2022 @ 12:14:
[...]


De getbbox mag sowieso leeg blijven. Dus alleen ().

Verder zou je het misschien mooier kunnen doen.
Kijk anders hier eens:
https://stackoverflow.com/a/67263247

Is er een kortere manier om erachter te komen dat het niet dezelfde afbeeldingen zijn?
Eventueel door de grootte te bepalen? maar hoe groot is de kans dan op een false positive?

[Verwijderd]

fopjurist schreef op zaterdag 18 juni 2022 @ 21:32:
Je oorspronkelijke code werkt gewoon als je even wacht voordat je een screenshot maakt (screenshot).

code:

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
import time

#Chrome settings
service = Service("/home/ricardo/stack/Python/Development/Parktheater_Jandino/chromedriver")
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("--headless")
chrome_options.add_argument("--window-size=1920x1080")

#Go to Parktheater
driver = webdriver.Chrome(service=service, options=chrome_options)

driver.maximize_window()
driver.implicitly_wait(10)
driver.get("https://www.parktheater.nl/nl/search?zoekwaarde=jandino")

driver.find_element(By.XPATH,'//*[@id="cookie-consent-banner"]/div/form[1]/div[2]/fieldset/button[2]').click()

#Take picture
time.sleep(5)
driver.save_screenshot("Afbeelding.png")

Hi,

Heb je tijd om nog eens mee te kijken naar deze code:

code:

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
import time
from PIL import Image, ImageChops
import os
import shutil
import requests


pad = "/home/ricardo/stack/Python/Production/Kruidvat_Luiers/"

#Chrome settings
service = Service(pad+"chromedriver")

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("--headless")
chrome_options.add_argument("--window-size=1920x1080")

#Go to Kruidvat
driver = webdriver.Chrome(service=service, options=chrome_options)
driver.maximize_window()
driver.implicitly_wait(10)
driver.get("https://www.kruidvat.nl/kruidvat-4-maxi-plus-luiers-jumbopack/p/1264712")
time.sleep(5)
#driver.find_element(By.XPATH,'//*[@id="onetrust-accept-btn-handler"]').click()
driver.find_element(By.ID,'onetrust-accept-btn-handler').click()
driver.implicitly_wait(5)

#Take picture
#time.sleep(10)
#driver.save_screenshot(pad+"os_ticket1.png",)

##rfc
#l=driver.find_element_by_xpath("//*[@id='ostCoreStep']")
l=driver.find_element(By.XPATH, "/html/body/div[1]/main/div[2]/div[2]/div[4]")
l.screenshot(pad+"kruidvat_luiers1.png")

##rfc

driver.quit()


file_name1 = pad+"kruidvat_luiers1.png"
file_name2 = pad+"kruidvat_luiers2.png"

if os.path.exists(pad+'kruidvat_luiers2.png') == False:
    f= open(pad+"kruidvat_luiers2.png","w+")
    f.close()

file_stats1 = os.stat(file_name1)
file_stats2 = os.stat(file_name2)

if file_stats1.st_size != file_stats2.st_size:
    print("Ongelijk")
    shutil.copyfile(pad+"kruidvat_luiers1.png", pad+"kruidvat_luiers2.png")

    r = requests.post("https://api.pushover.net/1/messages.json", data = {
    "token": "",
    "user": "",
    "sound": "siren",
    "title": "Kruidvat - Luiers",
    "message": "Er is een pagina update gedetecteerd."
    },
    files = {
    "attachment": (pad+"kruidvat_luiers1.png", open(pad+"kruidvat_luiers1.png", "rb"), "image/png")
    })
    print(r.text)


else:
    print("Gelijk")

Als ik hem niet-headless uitvoer dan gaat hij goed. Echter als ik hem headless uitvoer dan krijg ik de volgende error:

code:

ricardo@dev:~/stack/Python$ /bin/python3 /home/ricardo/stack/Python/Production/Kruidvat_Luiers/kruidvat_luiers.py
Traceback (most recent call last):
  File "/home/ricardo/stack/Python/Production/Kruidvat_Luiers/kruidvat_luiers.py", line 27, in <module>
    driver.find_element(By.ID,'onetrust-accept-btn-handler').click()
  File "/home/ricardo/.local/lib/python3.9/site-packages/selenium/webdriver/remote/webdriver.py", line 1251, in find_element
    return self.execute(Command.FIND_ELEMENT, {
  File "/home/ricardo/.local/lib/python3.9/site-packages/selenium/webdriver/remote/webdriver.py", line 430, in execute
    self.error_handler.check_response(response)
  File "/home/ricardo/.local/lib/python3.9/site-packages/selenium/webdriver/remote/errorhandler.py", line 247, in check_response
    raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"css selector","selector":"[id="onetrust-accept-btn-handler"]"}
  (Session info: headless chrome=103.0.5060.53)
Stacktrace:
#0 0x55d595ce0f33 <unknown>
#1 0x55d595a2b118 <unknown>
#2 0x55d595a613f7 <unknown>
#3 0x55d595a615c1 <unknown>
#4 0x55d595a945c4 <unknown>
#5 0x55d595a7ef9d <unknown>
#6 0x55d595a922e4 <unknown>
#7 0x55d595a7ee63 <unknown>
#8 0x55d595a5482a <unknown>
#9 0x55d595a55985 <unknown>
#10 0x55d595d254cd <unknown>
#11 0x55d595d295ec <unknown>
#12 0x55d595d0f71e <unknown>
#13 0x55d595d2a238 <unknown>
#14 0x55d595d04870 <unknown>
#15 0x55d595d46608 <unknown>
#16 0x55d595d46788 <unknown>
#17 0x55d595d60f1d <unknown>
#18 0x7f68c4edaea7 <unknown>

Hij heeft dus moeite met het vinden van de accept button maar waarom?

[Verwijderd]

Even gespeeld en ik zie deze foutmelding. Vreemd, toch?

[Arie-]

Is dat een 'scrape-screenshot' of heb je dat screenshot zojuist zelf genomen in de browser? Ben je geband van de site? Doet die url 'gewoon' in de browser wel?

[Verwijderd]

Arie- schreef op maandag 27 juni 2022 @ 15:47:
Is dat een 'scrape-screenshot' of heb je dat screenshot zojuist zelf genomen in de browser? Ben je geband van de site? Doet die url 'gewoon' in de browser wel?

Dat is een 'scrape screenshot'. Als ik het zelf bezoek dan doet hij het wel en ook als ik het non-headless doe.

[ThomasG]

Verwijderd schreef op maandag 27 juni 2022 @ 15:53:
[...]

Dat is een 'scrape screenshot'. Als ik het zelf bezoek dan doet hij het wel en ook als ik het non-headless doe.

Kruidvat gebruikt een WAF dat bepaalde user-agents, zoals ChromeHeadless, blokkeert. curl requests staan ze dan leuk genoeg weer wel toe. Je kunt dit omzeilen om de user-agent van Chrome Headless te veranderen naar een die wel geaccepteerd wordt. Maar dat gaat eigenlijk tegen de wensen van Kruidvat in, want ze blokkeren het niet voor niets.

[Verwijderd]

ThomasG schreef op maandag 27 juni 2022 @ 16:46:
[...]
Kruidvat gebruikt een WAF dat bepaalde user-agents, zoals ChromeHeadless, blokkeert. curl requests staan ze dan leuk genoeg weer wel toe. Je kunt dit omzeilen om de user-agent van Chrome Headless te veranderen naar een die wel geaccepteerd wordt. Maar dat gaat eigenlijk tegen de wensen van Kruidvat in, want ze blokkeren het niet voor niets.

Ah ok. Begrijpen is één en doen / misbruik is twee natuurlijk.
Ik ben een beetje aan het spelen en testen en ik vroeg me af waarom dit zo loopt zoals het loopt. Ga het even testen wat je schrijft. Dank in ieder geval!

[Pizzalucht]

Verwijderd schreef op zaterdag 18 juni 2022 @ 17:24:

code:

#Go to Parktheater
driver = webdriver. Chrome(chrome_options=chrome_options, executable_path="/home/ricardo/stack/Python/Development/Parktheater_Jandino/chromedriver")
driver.maximize_window()
driver.get("https://www.parktheater.nl/nl/search?zoekwaarde=jandino")
driver.add_cookie({"name": "cookie_consent", "value": "all"})

en toch blijft hij erom vragen

Waarschijnlijk als je zoiets doet had het wel gewoon gewerkt:

code:

#Go to Parktheater
driver = webdriver. Chrome(chrome_options=chrome_options, executable_path="/home/ricardo/stack/Python/Development/Parktheater_Jandino/chromedriver")
driver.maximize_window()
driver.get("https://www.parktheater.nl/nl/search?zoekwaarde=jandino")
driver.add_cookie({"name": "cookie_consent", "value": "all"})
driver.refresh()

Dit is omdat je pas cookies kan toevoegen voor een domeinnaam als je dat domeinnaam geladen hebt, maar om daarna het effect van de cookie te hebben zul je de pagina moeten refreshen.

Vind het zelf niet heel logisch maar dat is blijkbaar hoe het werkt in Selenium.

Edit: het lijkt erop dat je ook

code:

driver.add_cookie({"name": "cookie_consent", "value": "all", "domain":"www.parktheater.nl"})

zou moeten kunnen doen, en dan kan het waarschijnlijk al voordat je driver.get hebt aangeroepen. (heb dit niet getest)

[ Voor 10% gewijzigd door Pizzalucht op 27-06-2022 17:01 ]

[Verwijderd]

Het is gelukt, met de user agent optie. Dank!

Wél met :

code:

driver.implicitly_wait(10)

Hoewel ik de implicitly niet helemaal begrijp nog. Dit betekent wachten op uitladen pagina, toch? Waarom die 10 dan?

[OverloadOfRed]

Verwijderd schreef op maandag 27 juni 2022 @ 17:08:
Het is gelukt, met de user agent optie. Dank!

Wél met :

code:

driver.implicitly_wait(10)

Hoewel ik de implicitly niet helemaal begrijp nog. Dit betekent wachten op uitladen pagina, toch? Waarom die 10 dan?

Pak de docs er eens bij.

Ik wil je het leermoment niet afpakken, dus kijk maar eens goed wat explicit vs implicit waits doen. De significantie van die 10 moet je je niet op blind staren, dat lijkt mij gewoon een gekozen getal, 5 is waarschijnlijk ook prima.