download javascript rare tekens?

[Spearhead]

Ik download onder UNIX een javascript file van een webserver, en kennelijk gaat er iets met de encoding: het is DOS tekst met control-M op het eind van elke regel, en tussen elke letter staat een control-apestaartje.
Het zal wel iets heel onnozels zijn, maar waarom gebeurt dit, en weet iemand wat voor filter hier overheen moet om het weer leesbaar te krijgen?

XML:

<FF><FE>m^@e^@n^@u^@n^@u^@m^@=^@0^@;^@m^@e^@n^@u^@s^@=^@n^@e^@w^@ ^@A^@r^@r^@a^@y^@(^@)^@;^@_^@d^@=^@d^@o^@c^@u^@m^@e^@n^@t^@;^@f^@u^@n^@c^@t^@i^@o^@n^@ ^@a^@d
^@d^@m^@e^@n^@u^@(^@)^@{^@m^@e^@n^@u^@n^@u^@m^@+^@+^@;^@m^@e^@n^@u^@s^@[^@m^@e^@n^@u^@n^@u^@m^@]^@=^@m^@e^@n^@u^@;^@}^@f^@u^@n^@c^@t^@i^@o^@n^@ ^@d^@u^@m^@p^@m
^@e^@n^@u^@s^@(^@)^@{^@m^@t^@=^@"^@<^@s^@c^@r^@i^@p^@t^@ ^@l^@a^@n^@g^@u^@a^@g^@e^@=^@j^@a^@v^@a^@s^@c^@r^@i^@p^@t^@>^@"^@;^@f^@o^@r^@(^@a^@=^@1^@;^@a^@<^@m^@e
^@n^@u^@s^@.^@l^@e^@n^@g^@t^@h^@;^@a^@+^@+^@)^@{^@m^@t^@+^@=^@"^@ ^@m^@e^@n^@u^@"^@+^@a^@+^@"^@=^@m^@e^@n^@u^@s^@[^@"^@+^@a^@+^@"^@]^@;^@"^@}^@m^@t^@+^@=^@"^@<
^@\^@/^@s^@c^@r^@i^@p^@t^@>^@"^@;^@_^@d^@.^@w^@r^@i^@t^@e^@(^@m^@t^@)^@}^@^M^@
^@i^@f^@(^@n^@a^@v^@i^@g^@a^@t^@o^@r^@.^@a^@p^@p^@V^@e^@r^@s^@i^@o^@n^@.^@i^@n^@d^@e^@x^@O^@f^@(^@"^@M^@S^@I^@E^@ ^@6^@.^@0^@"^@)^@>^@0^@)^@^M^@

[Snake]

code:

<FF><FE>menunum=0;menus=new Array();
_d=document;
function addmenu(){menunum++;menus[menunum]=menu;}
function dumpmenus(){mt="<script language=javascript>";
for(a=1;a<menus.length;a++){mt+=" menu"+a+"=menus["+a+"];"}mt+="<\/script>";
_d.write(mt)}
if(navigator.appVersion.indexOf("MSIE 6.0")>0)

Hoe? C/P in notepad, replace ^@ met niets, replace ^M met niets.

[ Voor 9% gewijzigd door Snake op 19-11-2007 21:20 ]

[CodeCaster]

Ook leuk dat je vertelt hoe je dat voor elkaar krijgt, Snake

Een Find&Replace op ^@ kan ik ook wel, TS denk ook wel, maar ik denk dat hij meer geïnteresseerd is in een permanente oplossing, als in: het probleem bij de bron opsporen en elimineren.

[ Voor 64% gewijzigd door CodeCaster op 19-11-2007 21:24 ]

[truegrit]

ik denk gewoon alle ^@ weghalen ?

[Spearhead]

Tsja, zo'n find & replace kan ik inderdaad ook wel, maar ik wil graag weten waarom dit gebeurt. Als ik dezelfde URL open in IE, op sla en bekijk in Notepad o.i.d. is het gewoon leesbare tekst, maar onder UNIX mis ik dus kennelijk ergens een conversie. Terwijl het wel goed gaat als ik onder UNIX van dezelfde site een gewone webpagina download.

[_Thanatos_]

Lijkt erop dat de file met unicode (16 bits per karakter) opgeslagen is. En Unix zal dat wel niet snappen ofzo. Elk null-karakter is in dit geval dus een ^@ geworden, gezien non-unicode tekens in unicode een null erbij krijgen

[Osiris]

_Thanatos_ schreef op dinsdag 20 november 2007 @ 19:19:
Lijkt erop dat de file met unicode (16 bits per karakter) opgeslagen is. En Unix zal dat wel niet snappen ofzo. Elk null-karakter is in dit geval dus een ^@ geworden, gezien non-unicode tekens in unicode een null erbij krijgen

Unicode != een encoding. Je doelt zeker op UTF-16. (Wat in principe variable-width is, dus waarbij één character ook 32 bits kan zijn et c.)

Verder vraag ik me af hóe je 't download. En bijvoorbeeld wat de Content-Type is van het bestand wat je download. Want bij text/plain e.d. hoort de client die conversie vanzelf te maken.

[_Thanatos_]

Unicode != een encoding. Je doelt zeker op UTF-16. (Wat in principe variable-width is, dus waarbij één character ook 32 bits kan zijn et c.)

Ik kan het rechtpraten door te zeggen dat ik er daarom "16 bits per karakter" bij heb gezet, want dat is het in dit geval vgs mij.

[Spearhead]

Osiris schreef op dinsdag 20 november 2007 @ 19:39:
[...]

Verder vraag ik me af hóe je 't download. En bijvoorbeeld wat de Content-Type is van het bestand wat je download. Want bij text/plain e.d. hoort de client die conversie vanzelf te maken.

Ik gebruik gewoon 'fetch', of 'wget', zo'n commandline download tooltje voor URLs. Geen idee hoe die met content-types omgaan eerlijk gezegd, daar zal ik de manpage eens op naslaan.