[python] Strings met tekens als ë in bestand opslaan.

[cyberstalker]

Ik probeer een string met daarin het teken ë op te slaan.

Hier krijg ik van python een fout:

UnicodeDecodeError: 'ascii' codec can't decode byte 0xeb in position 25: ordinal not in range(128)

Ik heb al op google gezocht en de unicode functie geprobeerd, maar zonder veel succes. Hoe kan ik dit oplossen?

voorbeeld:

Python:

name='hoëi'
name.encode()
Traceback (most recent call last):
  File "<stdin>", line 1, in ?
UnicodeDecodeError: 'ascii' codec can't decode byte 0xeb in position 2: ordinal not in range(128)
>>> name.encode('utf8')
Traceback (most recent call last):
  File "<stdin>", line 1, in ?
UnicodeDecodeError: 'ascii' codec can't decode byte 0xeb in position 2: ordinal not in range(128)

edit: het betreft python 2.4.3

[ Voor 40% gewijzigd door cyberstalker op 06-03-2007 16:49 ]

[TeeDee]

En als je een "u" voor je string toewijzing zet en evt. een encode('utf-8')?

Python:

name=u'hoëi'.encode('utf-8')

mijn kennis van python is erg gelimiteerd, maar zoiets zag ik een keer voorbijvliegen in een stuk code van een collega, vandaar.

[ Voor 36% gewijzigd door TeeDee op 06-03-2007 17:03 ]

[cyberstalker]

TeeDee schreef op dinsdag 06 maart 2007 @ 17:02:
En als je een "u" voor je string toewijzing zet en evt. een encode('utf-8')?

Python:

name=u'hoëi'.encode('utf-8')

mijn kennis van python is erg gelimiteerd, maar zoiets zag ik een keer voorbijvliegen in een stuk code van een collega, vandaar.

Als ik iets als

Python:

>>> unicode(name, 'latin-1').encode('utf-8')
'ho\xc3\xabi'

doe, krijg ik in mijn scherm wel het juiste resultaat.

Probeer ik dit echter in mijn script te verwerken, dan gaat het nog steeds fout.

Python:

#!/usr/bin/python

import re
import urllib
import xml.dom.minidom
from xml.dom.minidom import Node

mapskey='mijn google maps key'
filename='inputfile, in csv'
filename_out='outfile, in sql'
regex_addr=re.compile(' \d')

file=open(filename, 'r')
file_out=open(filename_out, 'w')

file_out.write("INSERT INTO shop (name, street, number, zip_numeric, zip_alpha, city, longitude, latitude) VALUES\n")

for line in file:
    fields=line.split('","')
    name=fields[6]
    name=unicode(name, 'latin-1').encode('utf-8')
    address=fields[7]
    zipcode=fields[10]
    
    # some fields contain multiple fields themselves
    
    # address
    addr_fields=regex_addr.split(address)
    street=addr_fields[0]
    number=address[len(street)+1:]
    
    # zipcode
    zip_alpha=zipcode[4:]
    zip_numeric=zipcode[:4]
    
    # connect to google to retrieve city and geolocation
    url='http://maps.google.com/maps/geo?q='+urllib.quote(street)+'%20'+urllib.quote(number)+'%20'+zipcode+'%20The%20Netherlands&output=xml&key='+mapskey
    googlexml=urllib.urlopen(url)
    
    doc=xml.dom.minidom.parse(googlexml)
    return_code=doc.getElementsByTagName('code')[0].firstChild.data
    
    if return_code == '200':
        city=doc.getElementsByTagName('DependentLocalityName')[0].firstChild.data
        coordinates=doc.getElementsByTagName('coordinates')[0].firstChild.data
    
        # split coordinates in longitude and latitude
        coord_fields=coordinates.split(',')
        longitude=coord_fields[0]
        latitude=coord_fields[1]
    else:
        city='Onbekend'
        longitude='0'
        latitude='0'
    
    googlexml.close()
    
    # add data to file_out
    file_out.write("('"+name+"', '"+street+"', '"+number+"', '"+zip_numeric+"', '"+zip_alpha+"', '"+city+"', '"+longitude+"', '"+latitude+"'),\n")
    
    # print data, just for fun, and to see how fast it goes ;)
    print name, street, number, zip_numeric, zip_alpha, city, longitude, latitude

file_out.close()
file.close()

Dit geeft een aantal regels weer, en gaat vervolgens fout op aparte tekens.

Traceback (most recent call last):
File "./convert.py", line 59, in ?
file_out.write("('"+name+"', '"+street+"', '"+number+"', '"+zip_numeric+"', '"+zip_alpha+"', '"+city+"', '"+longitude+"', '"+latitude+"'),\n")
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 25: ordinal not in range(128)

[TeeDee]

Bij het aanmaken van het file zorg je er ook voor dat het Unicode is?

[PommeFritz]

Python 2.5 op windows XP:

code:

>>> open("foo.txt","w").write("mëëh")
>>> open("foo.txt").read()
'm\x89\x89h'
>>> print open("foo.txt").read()
mëëh
>>>

Als je het echter goed wilt doen, dan regel je je encodings netjes en maak je gebruik van unicode:

code:

>>> data=unicode("mëëh","iso-8859-1")
>>> import codecs
>>> f=codecs.open("foo.txt","w",encoding="iso-8859-1")
>>> f.write(data)
>>> f.close()
>>> open("foo.txt").read()
'm\x89\x89h'
>>>

vervang "iso-8859-1" in de codecs.open() call door de character encoding die je wilt gebruiken voor je file.

[cyberstalker]

PommeFritz schreef op dinsdag 06 maart 2007 @ 19:39:
-oplossing-

Die codecs module kende ik niet. Daarmee is het inderdaad opgelost. Ontzettend bedankt .