[Python] Vergelijken van strings geeft vreemd resultaat

[Xanthium]

Hallo Tweakers,

Probeer in Python3 een script te schrijven dat om de minuut middels een cronjob draait om te kijken of er veranderingen zijn op een bepaalde webpagina. Het script dumpt tijdens de laatste run de html als string naar een file, en bij de tweede run wordt de in memory html dump vergeleken tegen de string in de dumpfile.

code:

import urllib.request
import time

with urllib.request.urlopen(
        'https://www.pagina.nl/') as response:
   html = response.read()

while True:

   try:
      # probeer dumpfile te openen waar pagina laatste keer was gedumpt
      f = open("output.txt","r")
      last = f.read()
      print(len(last))
      print(last)
      print(len(html))
      print(html)
      if last != html:
         # als in memory html dump verschilt van html in laatste dumpfile, overschrijf dumpfile 
         # stuur email dat pagina is gewijzigd
         print("Page update found!")
        mail("[e-mail],"change to page")
         f = open("output.txt", "w")
         print(html, file=f)
         f.close()
         break

   except IOError:
     #als dumpfile niet gevonden is, maak dan nieuw aan
      print("File does not exist, creating new..")
      f = open("output.txt", "w")
      print(html, file=f)
      f.close()
      break

waar het fout gaat is als ik de html in de variabele vergelijk met de html in de dumpfile. Als ik de inhoud print van de dumpfile en de html in de variabele, dan zie ik exact dezelfde string, ook met dezelfde lengte. Vreemd genoeg blijft de condition valideren dat ze niet hetzelfde zijn. Ook als ik de lengte van de twee verschillende string print krijg ik verschillende waarden. Dit is erg basic, python3 syntax is nieuw voor mij en ik snap dit gedrag niet. Iemand een idee?

[ Voor 4% gewijzigd door Xanthium op 12-02-2020 13:19 ]

[Trinsec]

Kan je die code tussen code-tags plaatsen? Python is erg spatie-gevoelig en dat leest dus behoorlijk rot.

[Raynman]

Xanthium schreef op woensdag 12 februari 2020 @ 13:17:
Als ik de inhoud print van de dumpfile en de html in de variabele, dan zie ik exact dezelfde string, ook met dezelfde lengte. [..] Ook als ik de lengte van de twee verschillende string print krijg ik verschillende waarden.

Is de lengte nou wel of niet hetzelfde? Misschien bedoel je dat de geprinte strings even lang lijken maar dat de daadwerkelijke lengte (volgens len()) verschilt? Kijk eens naar de end parameter van print(). File objects hebben trouwens ook een write-methode.

[Trinsec]

Okay, pin me er niet op vast, maar de last != html doet meer dan alleen de lengte en tekst-inhoud bekijken. De 'type()' van html is <class 'bytes'> en de 'type()' van last is <class 'str'>. Dat is dus al ongelijk, tenzij je de html overzet naar str.

Het handigste is waarschijnlijk gewoon om 'html = str(response.read())' te doen.
Dan krijg je nu mogelijk een ander probleem, len() is nu een newline verschil omdat je print() standaard met een newline komt. Even een optie daar toevoegen dat print() geen newline schrijft naar de file, en het zou kunnen werken.

[Xanthium]

Trinsec schreef op woensdag 12 februari 2020 @ 13:49:
Okay, pin me er niet op vast, maar de last != html doet meer dan alleen de lengte en tekst-inhoud bekijken. De 'type()' van html is <class 'bytes'> en de 'type()' van last is <class 'str'>. Dat is dus al ongelijk, tenzij je de html overzet naar str.

Het handigste is waarschijnlijk gewoon om 'html = str(response.read())' te doen.
Dan krijg je nu mogelijk een ander probleem, len() is nu een newline verschil omdat je print() standaard met een newline komt. Even een optie daar toevoegen dat print() geen newline schrijft naar de file, en het zou kunnen werken.

duidelijk! ga ik checken. Blijkbaar gebeurt er onderwater meer dan wat de string outputs mij doen geloven hier..

[Trinsec]

Xanthium schreef op woensdag 12 februari 2020 @ 13:54:
[...]


duidelijk! ga ik checken. Blijkbaar gebeurt er onderwater meer dan wat de string outputs mij doen geloven hier..

Jup, dat heeft mij al heel wat hoofdbrekens gekost. Ik heb dat gedoe nog steeds niet 100% door, maar ik vermoed dat dit hier dus ook het geval is. Succes ermee!

[Aragnut]

echo de variabelen uit (liefst met ++ en == eromheen). Kan zomaar zijn dat er nog een endline character bij zit op 1 van de 2.

[Raynman]

Ik zou dan binary mode gebruiken voor het lezen/schrijven van je dumpfile (dus 'b' bij mode voor open()) en, zoals eerder gezegd, gewoon

Python:

f.write(html)

i.p.v. moeilijk doen met string conversies en extra print-argumenten.

[Ben(V)]

De meeste html pagina zijn utf-8 en als je dat wegschrijft naar een gewone file dan schrijft hij het als ascii weg en is het dus verandert.

Twee adviezen:
Gebruikt de requests library in plaats van urllib en gebruik voor de file ofwel codecs ofwel ofwel io zodat je het als utf-8 kunt wegschrijven.