[JS] UTF-8 naar ISO-8859-1 in een AJAX POST

[F.West98]

Hallo allemaal,

Zoals ik in de CC al bezig was met proberen, zit ik met een probleem(pje). Ik heb al een tijdje een auto-post-plugin voor Tweakers.
Gewoon een Greasemonkey JS die vanalles doet. Alles gaat goed. Behalve de speciale karakters, de encoding gaat fout.
Tweakers is ISO-8859-15 en AJAX POST is altijd UTF-8.
Dus, als ik een é, á, whatever post gaat het nogal mis

Nou had OnTrack iets cools gezegd en gedaan: OnTracK in "De Devschuur Coffee Corner - Iteratie 5" en OnTracK in "De Devschuur Coffee Corner - Iteratie 5"
Dat gaat nog steeds niet helemaal goed, in mijn lokale testje gaat het mis.
JS:

JavaScript:

$('#button').on("click", function() {
    var text = $('#text').val();
    text = unicode2cp1252(text);
    text = "string="+text;
    $.ajax({
        url: "URL",
        method: "POST",
        data: text,
        processData: false,
        contentType: 'application/x-www-form-urlencoded',
        beforeSend: function(jqXHR) {
            jqXHR.overrideMimeType('application/x-www-form-urlencoded');
        },
        success: function(j) {
            console.log(j);
        }
    });
});

function unicode2cp1252(str) {

    var res = [];
    var char;
    for (var i = 0, len = str.length; i < len; i++) {

        char = str.charCodeAt(i)
        if(char < 128)
            res.push(str[i]);
        else if(char < 256) {
            switch(char) {
                case 233: char = "\233"; break;
                case 225: char = "\225"; break;
                case 237: char = "\237"; break;
                case 243: char = "\243"; break;
                case 250: char = "\250"; break;
            }
            res.push(char);
        } else
            res.push("&#"+char+";");
    }
    return res.join("");
}

PHP: enkel teruggeven van de $_POST['string'] met HTML erbij (meta dingen enzo)
HTML: heeft een iso-8859-1 codering

Wie helpt mij uit de brand?

[orf]

Werkt het niet gewoon als je de charset overschrijft?

JavaScript:

$.ajax({
    url: '...',
    contentType: 'Content-type: text/plain; charset=iso-8859-1',
    // This is the imporant part!!!
    beforeSend: function(jqXHR) {
        jqXHR.overrideMimeType('text/html;charset=iso-8859-1');
    }
});

stackoverflow

[crisp]

Volgens mij gebruikt jQuery intern gewoon encodeURIComponent, en het probleem daarvan is dat het alles converteert naar UTF8. Je kan dus beter gewoon zelf direct XHR doen zodat je daar meer controle over hebt (je zal dan zelf wel voor de juiste encoding moeten zorgen...).

Voor onze eigen ajax interfaces gebruiken we zelf ook encodeURIComponent aan de client kant, maar dan doen we wel (een specifieke) utf8_decode serverside

[ Voor 35% gewijzigd door crisp op 08-03-2014 00:01 ]

[azerty]

crisp schreef op vrijdag 07 maart 2014 @ 23:57:
Volgens mij gebruikt jQuery intern gewoon encodeURIComponent, en het probleem daarvan is dat het alles converteert naar UTF8. Je kan dus beter gewoon zelf direct XHR doen zodat je daar meer controle over hebt (je zal dan zelf wel voor de juiste encoding moeten zorgen...).

Voor onze eigen ajax interfaces gebruiken we zelf ook encodeURIComponent aan de client kant, maar dan doen we wel (een specifieke) utf8_decode serverside

Voor zover ik nu zelf snel in de broncode van jquery heb gekeken, gebruiken ze alleen de encodeURIComponent als de "data" variabele die je definieert voor je ajax request geen string is.

quote: broncode jquery

// Convert data if not already a string
if ( s.data && s.processData && typeof s.data !== "string" ) {
s.data = jQuery.param( s.data, s.traditional );
}

Maar goed, dan blijft de vraag, als Jquery het niet doet voor jou, waar loopt het dan wel mis?

Btw, FWest:

quote: http://api.jquery.com/jQuery.ajax/

The W3C XMLHttpRequest specification dictates that the charset is always UTF-8; specifying another charset will not force the browser to change the encoding.

Ik gok dat het probleem hierin zou kunnen liggen.

[ Voor 12% gewijzigd door azerty op 08-03-2014 00:18 ]

[F.West98]

Die had ik dus al gevonden... En dat is ook net het probleem.
Daarom dus ook dat linkje naar OnTrack, hij had een idee. Lijkt niet helemaal goed te werken.

@crisp; cheaters Kunnen jullie dat ook inbouwen voor bericht post?

Alternatief is natuurlijk een iframe die post

[Verwijderd]

offtopic:
waarom gebruikt T.net _in godsnaam_ niet gewoon UTF-8 zoals de rest van de wereld eigenlijk?

[F.West98]

Verwijderd schreef op zaterdag 08 maart 2014 @ 14:55:

offtopic:
waarom gebruikt T.net _in godsnaam_ niet gewoon UTF-8 zoals de rest van de wereld eigenlijk?

offtopic:
Legacy

[R4gnax]

F.West98 schreef op zaterdag 08 maart 2014 @ 15:01:
[...]

offtopic:
Legacy

PHP bedoel je?

Zowat alle andere web-facing talen kunnen immers onderhand deftig omgaan met UTF-8, UTF-16 of UCS-2. PHP is de laatste hold-out waar Unicode encodering enkel als een slecht interopereerbare bij elkaar gehackte library opgeleverd is. Maar ja; da's niets nieuws voor PHP, want dat platform hangt wat dat betreft bijna letterlijk als kauwgom aan elkaar.

[crisp]

R4gnax schreef op woensdag 12 maart 2014 @ 22:04:
[...]


PHP bedoel je?

Onder andere dat, en gigabytes aan data die geconverteerd moet worden...

[DJMaze]

R4gnax schreef op woensdag 12 maart 2014 @ 22:04:
[...]


PHP bedoel je?

Zowat alle andere web-facing talen kunnen immers onderhand deftig omgaan met UTF-8, UTF-16 of UCS-2. PHP is de laatste hold-out waar Unicode encodering enkel als een slecht interopereerbare bij elkaar gehackte library opgeleverd is. Maar ja; da's niets nieuws voor PHP, want dat platform hangt wat dat betreft bijna letterlijk als kauwgom aan elkaar.

Ben ik het niet mee eens. I programmeer ook in C++ en dan met Embarcadero. Dan zijn er 3 types: String, UnicodeString en AnsiString.
Vervolgens heb je tchar.h en hoppa, alles door elkaar als je niet oplet.
En dan communiceren en converteren naar UTF-8 voor een XML interface.
Halleluja!

[R4gnax]

DJMaze schreef op donderdag 13 maart 2014 @ 18:50:
[...]


Ben ik het niet mee eens. I programmeer ook in C++ en dan met Embarcadero. Dan zijn er 3 types: String, UnicodeString en AnsiString.
Vervolgens heb je tchar.h en hoppa, alles door elkaar als je niet oplet.
En dan communiceren en converteren naar UTF-8 voor een XML interface.
Halleluja!

C++ valt in het algemeen dan ook niet onder web-facing talen.