[JS] ISO-8859-1 naar UTF-8 conversie

[Ask!]

Dag allemaal,

We zitten met ons project met een probleem.
Van de server krijgen we een ISO-8859-1 response, terwijl de frontend gebruik maakt van UTF-8.
Om dit netjes op te lossen, doe je dit natuurlijk op de server.
Maar een snellere oplossing nu is om dit in de frontend te doen, alleen de conversie blijkt moeilijk dan verwacht.

Oplossingen als bijvoorbeeld

code:

decodeURIComponent(escape(<stringInISO-8859-1>))

blijken niet te helpen helaas.

Heeft iemand ervaring met deze conversie.

[NMe]

Probeer het eens andersom: unescape(encodeURIComponent(string))

Waar hoort mijn topic?

PRG>>WEB

[Ask!]

NMe schreef op woensdag 13 april 2016 @ 12:11:
Probeer het eens andersom: unescape(encodeURIComponent(string))

Ook die heb ik uiteraard al geprobeerd, ik vrees dat ik alle antwoorden van het web al gebruikt heb.
Ik denk ook dat je dit gokt, omdat je dit hebt gevonden op StackOverflow ( Hit me when I'm wrong ).
Ik moet echt iemand hebben die het echt heeft gedaan

[NMe]

Als je iets al geprobeerd hebt, zeg dat er dan even bij, scheelt zowel jezelf als de mensen die je proberen te helpen tijd.

[Ask!]

NMe schreef op woensdag 13 april 2016 @ 12:18:
Als je iets al geprobeerd hebt, zeg dat er dan even bij, scheelt zowel jezelf als de mensen die je proberen te helpen tijd.

Dan had ik duidelijker moeten zijn inderdaad. Goed punt!

Ik heb veel gegoogled naar bijvoorbeeld:
javascript iso-8859-1 to utf8
javascript iso-8859-1 to unicode ( Voor dubbele conversie )

En vrijwel alle antwoorden op de eerste 3 pagina's die ik tegenkwam uitgeprobeerd.

Feit blijft dat deze conversie niet veel voorkomt, dus daarom zit ik met een klein probleempje haha.

[OnTracK]

Doe eens een voorbeeld van je input-data, de string in de tussenstap en de output zoals je hem met je huidige functie en NMe's variant krijgt.

[ Voor 6% gewijzigd door OnTracK op 13-04-2016 12:29 ]

[Ask!]

OnTracK schreef op woensdag 13 april 2016 @ 12:22:
Doe eens een voorbeeld van je input-data, de string in de tussenstap en de output zoals je hem met je huidige functie krijgt.

Ik werk met React Redux, dus je hebt zoiets:

code:

.then(r => {
  if (r.ok) {
    return r.text()
  } else {
    throw new Error(r.statusText)
  }
})
.then(string => {
  string = unescape(encodeURIComponent(string))
  return Promise.resolve(JSON.parse(string))
})

Omdat het met Promises werkt, moet je een extra .then hebben helaas.
In de .then(string => heb je een string te pakken, in ISO-8859-1.
Omdat de frontend met UTF-8 werkt, wil ik het converten. Daar gaat het om.

De string parameter ( Leuke naam he ) is bijvoorbeeld:
{ title: "blabla", abstract: "Sîne klâwen durh die wolken sint geslagen" }
Zoals je ziet, zitten hier leuke characters in waar het dus moeite mee heeft.

Converten zoals in het voorbeeld eindigt in:
{ title: "blabla", abstract: "S�ne kl�wen durh die wolken sint geslagen" }

Hoe krijg ik exact dezelfde characters hieruit?

[OnTracK]

Maar waar doe je die weergave van je output?

Want die bytes worden weer geïnterpreteerd door je browser in combinatie met de Content-Type / Charset header. Dus het feit dat de string voor de conversie goed uitziet betekend eigenlijk dat deze string iig al geïnterpreteerd wordt als ISO-8859-1. Als je de tweede string ook interpreteerd als ISO-8859-1 dan verwacht ik inderdaad dat die er als bovenstaand uitziet. Echter interpreteer je dezelfde byte-sequence als UTF-8 dan ziet deze er als het goed is weer correct uit in je browser.

[Ask!]

De weergave doe ik in de console.
Ik print de output voor het converten en erna.
Voor:
{ title: "blabla", abstract: "Sîne klâwen durh die wolken sint geslagen" }
Na:
{ title: "blabla", abstract: "S�ne kl�wen durh die wolken sint geslagen" }

Daarnaast voer ik de veranderingen ook meteen door naar de applicatie, waar diezelfde tekst komt te staan.

[ Voor 17% gewijzigd door Ask! op 13-04-2016 12:47 ]

[Cyphax]

Ask! schreef op woensdag 13 april 2016 @ 12:47:
De weergave doe ik in de console.

Dan kan het ook nog aan de console liggen, dat die geen utf-8 laat zien?

Kan je hier iets mee: http://stackoverflow.com/...85/utf-8-in-windows-7-cmd?

[Ask!]

Cyphax schreef op woensdag 13 april 2016 @ 12:55:
[...]

Dan kan het ook nog aan de console liggen, dat die geen utf-8 laat zien?

Kan je hier iets mee: http://stackoverflow.com/...85/utf-8-in-windows-7-cmd?

Windows doen we niet aan, allemaal Linux!
Ik bedoelde ook de Javascript console in de browser, sorry!

[DJMaze]

JavaScript is helemaal geen UTF-8 maar UTF-16/UCS-2 (check de ECMAScript specificaties).
Je moet in de server response gewoon de juiste content-type charset meesturen.

[R4gnax]

DJMaze schreef op woensdag 13 april 2016 @ 13:07:
JavaScript is helemaal geen UTF-8 maar UTF-16/UCS-2 (check de ECMAScript specificaties).
Je moet in de server response gewoon de juiste content-type charset meesturen.

Inderdaad. De interne afhandeling van een XMLHttpRequest door de browser faciliteert de charset conversie al en zodra je in JavaScript-land beland bent, zijn alle strings waar je mee werkt UCS-2.

Als door ontbreken van de juiste charset header informatie de browser deze conversie niet goed kan laten werken, dan is het antwoord simpel; zorg dat die header er komt te staan. Kun je de server code daar niet direct voor aanpassen, dan kun je nog beter een dommy proxy opzetten die de header alsnog aan een response toe kan voegen, dan dat je gaat proberen om een corrupte charset conversie met de hand te corrigeren.