[PHP] XML ophalen en parsen loopt soms "vast"

[Verwijderd]

Ik probeer met simpleXML een aantal XML sheets op te halen waarbij het bij sommige mis blijkt te gaan.

De XML's welke ik ophaal zien er als volgt uit:

XML:

<DATA>
 <STATUS>Successful authentication</STATUS>
 <ARTLCODE>BA159-MBR</ARTLCODE>
 <SHORTDESC><![CDATA[SI-D 1000V 1A/35Ap 300ns]]></SHORTDESC>
 <LONGDESC><![CDATA[]]></LONGDESC>
 <GENDESC><![CDATA[]]></GENDESC>
 <PRICE1>0.0401</PRICE1>
 <PRICE2>0.0259</PRICE2>

 <PRICE3>0.0167</PRICE3>
 <PRICE4>0.0108</PRICE4>
 <QUANTITY1>38</QUANTITY1>
 <QUANTITY2>400</QUANTITY2>
 <QUANTITY3>800</QUANTITY3>
 <QUANTITY4>1600</QUANTITY4>

 <PICTURE>HHDO41.JPG</PICTURE>
 <STOCK>    35430</STOCK>
 <GROUPING>019216</GROUPING>
 <BARCODE></BARCODE>
 <CATEGORY>
  <MAINMENU>Componenten</MAINMENU>

  <SUBMENU1>Diodes</SUBMENU1>
  <SUBMENU2>Overige Dioden</SUBMENU2>
 </CATEGORY>
 <UOM>
  <LENGTH>245</LENGTH>
  <WIDTH>80</WIDTH>
  <HEIGHT>75</HEIGHT>

  <WEIGHT>2</WEIGHT>
  <PACKAGE>1</PACKAGE>
 </UOM>
</DATA>

De code welke ik gebruik is:

PHP:

<?php 
$fileName = 'http://URL/request.php?var1=ART1&var2=USER&var3=PASS'; 
$xml = simplexml_load_file( $fileName, LIBXML_NOCDATA ); 
if ( $xml === false ) 
{ 
    echo '<p>De XML kan niet worden geladen</p>'; 
} 
else 
{ 
    echo '<pre>' . print_r( $xml, true ) . '</pre>'; 
} 
?> 

Nu krijg ik hier soms error's op, de reden kan ik niet helemaal terug vinden.

In MAINMENU staat bijvoorbeeld wel eens een &-teken echter blijkt dit niet het probleem te zijn. Als ik een

code:

$string = str_replace("&","&",$string);

toepas dan blijft deze error terug gekomen en kan "simplexml_load_file" het bestand nog niet goed laden, ook niet een simpele "simplexml_load_file($file)" zonder enige andere parameters.

Ik heb het volgende geprobeerd om eerst de content te laden met file_get_contents en dan pas er wat mee te doen, dit werkt helaas ook niet.

Het blijkt dat het volgende stukje code prima 2 parallele arrays kan creeëren, echter, zonder de xml_special_chars crasht dit ook. Het werkt dus wel, ook op de versies welke bij een normale simpelxml_load_file crashen maar dan alleen met de replace functie.

PHP:

<?php 

function xml_special_chars($string) 
{ 
$string = str_replace("&","&amp;",$string); 
return $string; 
} 


$simple = xml_special_chars(file_get_contents($url)); 


$p = xml_parser_create(); 
xml_parse_into_struct($p, $simple, $vals, $index); 
xml_parser_free($p); 
///echo "Index array\n"; 
//print_r($index); 
//echo "\nVals array\n"; 
//print_r($vals); 
print("<pre>".print_r($vals,true)."</pre>"); 

?> 

Dit is mijn inziens gek te noemen, ik ben al bezig geweest om de boel om te zetten naar UTF en ben me er van bewust dat er geen <xml> tags om de XML output geen staan.

Ik wil dus gewoon een normale array terug, of at least de boel normaal in kunnen lezen, want daar gaat het al mis.

Het heeft me een nacht gekost maar ik ben wel een stuk wijzer wat je met XML kan, alleen dit kan ik nog niet opgelost krijgen.

[NMe]

Welke "errors" krijg je dan? Je topicstart is vrij lang maar nergens staat er uitgelegd wát er dan fout gaat.

[MueR]

Met stom, welke errors? Enige wat ik zo snel kan zien als mogelijkheid is timeouts bij de aanroep van de url, maar die gaat lastig te achterhalen worden bij deze manier van het ophalen van remote content. Beter gebruik je cURL of een soortgelijke methode om de XML op te halen en dan als string te parsen.

[Verwijderd]

De foutmelding welke ik krijg op de simplexml_load_file regel is:

code:

parser error : xmlParseEntityRef: no name in /home/www/test.php on line 29

Ik kan dus niet achterhalen waar die load op hangt, maar ik denk iets van een & teken, hoewel dit soms dus ook weer wel werkt.

Ik ben bezig geweest met cURL, hetzelfde probleem treedt hier op.

Ik kan dus niet goed debuggen wat er fout gaat, een debug opdie in simpleXML gaat ok niet werken omdat het laden al niet goed gaat.

[MueR]

Dingen als deze workaround helpen ook niet?

[steffex]

Probeer eens de xml door een xml validator heen te halen!
Waarschijnlijk is je xml gewoon niet valid, waardoor simplexml ook niet verder zal gaan met inlezen!

[Verwijderd]

stef-o schreef op zaterdag 09 januari 2010 @ 21:25:
Probeer eens de xml door een xml validator heen te halen!
Waarschijnlijk is je xml gewoon niet valid, waardoor simplexml ook niet verder zal gaan met inlezen!

Wat de validator zegt als ik een XML met het volgende op regel 22 heb:

code:

<MAINMENU>Componenten & Onderdelen</MAINMENU>

Ik krijg de melding "Spatie is niet toegestaan op deze locatie".

Wel raar dat hij dan daar net crasht, zal dus door die & moeten komen.

MueR schreef op zaterdag 09 januari 2010 @ 21:20:
Dingen als deze workaround helpen ook niet?

Crasht hij dus ook op die "spatie".

[ Voor 19% gewijzigd door Verwijderd op 09-01-2010 22:07 ]

[Verwijderd]

Het is helemaal niet raar, het is gewoon geen geldige XML.

[Verwijderd]

Verwijderd schreef op zaterdag 09 januari 2010 @ 22:18:
Het is helemaal niet raar, het is gewoon geen geldige XML.

Opzich klopt dat maar ik begrijp dat meerdere mensen hier last van hebben.

Opzich is het natuurlijk wel vreemd dat wanneer je zaken als & om gaat zetten naar

code:

&

het ook niet werkt.

Of zou je dan spaties ook moeten replacen naar %20 ?

[Tarilo]

Als de error over de spatie gaat lijkt het mij niks te maken te hebben met de &, maar met de spaties die om die & heen staan. Kan je die niet weghalen/vervangen o.i.d. en kijken of het dan nog steeds niet werkt?

[Verwijderd]

7laurens7 schreef op zaterdag 09 januari 2010 @ 22:29:
Als de error over de spatie gaat lijkt het mij niks te maken te hebben met de &, maar met de spaties die om die & heen staan. Kan je die niet weghalen/vervangen o.i.d. en kijken of het dan nog steeds niet werkt?

Dat was het plan

[Verwijderd]

Verwijderd schreef op zaterdag 09 januari 2010 @ 22:22:

Opzich klopt dat maar ik begrijp dat meerdere mensen hier last van hebben.

Ik begrijp dat helemaal niet, want ik zie hier niet meerdere mensen die ergens last van hebben. Dus waar heb je het over?

Opzich is het natuurlijk wel vreemd dat wanneer je zaken als & om gaat zetten naar

code:

&

het ook niet werkt.

Aangezien de XML ongeldig is, zal er misschien nog wel wat meer aan mankeren.

Of zou je dan spaties ook moeten replacen naar %20?

Wat is dit nou weer voor vraag? In welke situaties moet je een spatie omzetten naar %20? Is dít zo'n situatie?

Verwijderd schreef op zaterdag 09 januari 2010 @ 15:52:
Ik kan dus niet achterhalen waar die load op hangt, maar ik denk iets van een & teken, hoewel dit soms dus ook weer wel werkt.

Dan kun je maar beter uitzoeken welke situaties werken en welke niet, want dat scheelt je een hoop tijd.

Ik ben bezig geweest met cURL, hetzelfde probleem treedt hier op.

Het lijk mij een beetje een domme strategie om andere methoden te proberen om de XML te downloaden. Zou je niet eerst met content werken waarvan je weet dat het kunnen laden geen probleem is? Je weet wel, een lokaal bestand.

Ik kan dus niet goed debuggen wat er fout gaat, een debug opdie in simpleXML gaat ok niet werken omdat het laden al niet goed gaat.

Dus moet je eerst zaken gaan uitsluiten, in plaats van een blijkbaar erg foutgevoelige situatie as is te proberen te debuggen. Divide and conquer.

[CodeCaster]

quote: http://php.net/simplexml_load_file

object simplexml_load_file ( string $filename [, string $class_name = "SimpleXMLElement" [, int $options = 0 [, string $ns [, bool $is_prefix = false ]]]] )

Convert the well-formed XML document in the given file to an object.

Is 'ie well-formed? Nee.

quote: http://en.wikipedia.org/w...edness_and_error-handling

The XML specification defines an XML document as a text which is well-formed, i.e., it satisfies a list of syntax rules provided in the specification. The list is fairly lengthy; some key points are:

* It contains only properly-encoded legal Unicode characters.
* None of the special syntax characters such as "<" and "&" appear except when performing their markup-delineation roles.
* The begin, end, and empty-element tags which delimit the elements are correctly nested, with none missing and none overlapping.
* The element tags are case-sensitive; the beginning and end tags must match exactly.
* There is a single "root" element which contains all the other elements.

[Verwijderd]

7laurens7 schreef op zaterdag 09 januari 2010 @ 22:29:
Als de error over de spatie gaat lijkt het mij niks te maken te hebben met de &, maar met de spaties die om die & heen staan. Kan je die niet weghalen/vervangen o.i.d. en kijken of het dan nog steeds niet werkt?

Ik zal even met mijn replace wat moeten stoeien omdat je uiteraard de & gaat omzetten naar een & en een " " naar een &nbsp waar de & van die nbsp ook weer een &amp gaat worden.

Logisch gezien zou dat geen probleem op moeten leveren, maar zo even in de test lijkt het daar wel op.

CodeCaster schreef op zaterdag 09 januari 2010 @ 22:38:
[...]

Is 'ie well-formed? Nee.

[...]

lol, nee blijkbaar niet, maar dat is wel de bedoeling wat lukt door de " & " om te zetten naar een &

Dus de spaties rondom geven zeker het probleem.

[ Voor 20% gewijzigd door Verwijderd op 09-01-2010 22:44 ]

[RobIII]

Verwijderd schreef op zaterdag 09 januari 2010 @ 22:40:
[...]


Ik zal even met mijn replace wat moeten stoeien omdat je uiteraard de & gaat omzetten naar een & en een " " naar een &nbsp waar de & van die nbsp ook weer een &amp gaat worden.

Er zijn welgeteld 3 karakters welke je als XML entity zal moeten schrijven:
< = &lt;
> = &gt;
& = &amp;

Je bent, as usual if I may say so, weer eens compleet voorbij de basics gegaan en bent weer lekker clueless compleet de verkeerde "problemen" aan 't oplossen.

En &nbsp; is:
a) niet hetzelfde als een spatie (het is namelijk een non breaking space)
b) een HTML entity en geen XML entity en heeft daarom binnen XML totaal geen betekenis.

Zolang je geen external entities gebruikt "kent XML" enkel de 5 predefined entities.

Verwijderd schreef op zaterdag 09 januari 2010 @ 22:40:
Dus de spaties rondom geven zeker het probleem.

Waar trek je die conclusie nou weer uit?

XML:

<test>V &amp; D</test>

Bovenstaand is perfectly valid XML. Het volgende is fout:

XML:

<test>V & D</test>

En dan ligt het aan de spaties volgens jou?

[ Voor 41% gewijzigd door RobIII op 09-01-2010 23:03 ]

[Joen]

Ik weet niet of je zelf de mogelijkheid hebt om de XML-aanvoer te veranderen, maar kun je dan niet van MAINMENU een CDATA-veld maken? Ik vermoed dat dat je probleem ook zou kunnen oplossen.

[Verwijderd]

Joen schreef op zaterdag 09 januari 2010 @ 22:54:
Ik weet niet of je zelf de mogelijkheid hebt om de XML-aanvoer te veranderen, maar kun je dan niet van MAINMENU een CDATA-veld maken? Ik vermoed dat dat je probleem ook zou kunnen oplossen.

Dat werkte dus met die struct functie.

Ik heb nu de replace voor elkaar een een:

code:

$string = str_replace(" & "," & ",$string);

volstaat blijkbaar wel. Als ik nu de spaties door   vervang gaat het weer mis.

Er werd in 2003 al gedacht dat het een bug was en ik was nog even aan het testen of het voorkwam met de spatie ervoor of erachter... blijkt dat de bovenstaande replace wel werkt dus... dacht toch echt dat ik hem gehad had

[RobIII]

Verwijderd schreef op zaterdag 09 januari 2010 @ 23:02:
[...]
Dat werkte dus met die struct functie.

Ik heb nu de replace voor elkaar een een:

code:

$string = str_replace(" & "," & ",$string);

Raaaah!
Wat denk je dat er gebeurt als er een "V&D" in een node staat? (Dus zonder spaties om de ampersand heen). Dan heb je geen kont aan je replace.

code:

$string = str_replace("&","&",$string);

Dat werkt wel. Maar wat ik niet snap is waarom je niet zorgt dat je XML valid is in the first place.

Dan: Je maakt van je XML middels xml_parse_into_struct een struct; Nu ben ik geen php kenner maar ik KAN me voorstellen dat de naam van een struct geen spaties (noch andere gekke tekens for that matter) mag bevatten en dat die namen zich moeten conformeren aan de syntaxregels van PHP (Zie naming rules). In dat geval moet je dus gewoon spaties replacen met, voor mijn part, een underscore of whatever. Maar je bent nu echt zaken door elkaar aan 't halen als je 't mij vraagt. Daarbij: als ik zo naar de XML in je topicstart kijk is dat waarschijnlijk het probleem niet als ik aanneem dat elementen worden omgezet naar de naam van een variabele binnen de struct en de content naar de inhoud van die variabele. Dus dan is het al helemaal niet aan de orde.

[ Voor 41% gewijzigd door RobIII op 09-01-2010 23:17 ]

[Verwijderd]

Ja Rob het is even een work-a-round, ik moet er nog iets meer fancy's voor verzinnen met een if voor die & met of zonder spaties.

Het probleem is dat ik geen grip heb op hoe ik de XML aangeboden krijgt.

Die struct was alleen om te testen, ik gebruik deze niet meer, ik kwam er echter achter dat hij daar wel zo doorheen liep.

We zijn iig op de goede weg om door de aangeboden XML heen te komen.

[RobIII]

Verwijderd schreef op zaterdag 09 januari 2010 @ 23:12:
Ja Rob het is even een work-a-round, ik moet er nog iets meer fancy's voor verzinnen met een if voor die & met of zonder spaties.

Haal die plaat nou eens voor je kop!
Lees je uberhaupt wat je verteld wordt hier? Je moet niks "fancy's met een if" verzinnen. Je moet snappen waar je mee bezig bent. En dat doe je gewoon simpelweg niet. Echt niet. There I said it.

[Verwijderd]

RobIII schreef op zaterdag 09 januari 2010 @ 23:15:
[...]

Haal die plaat nou eens voor je kop!
Lees je uberhaupt wat je verteld wordt hier? Je moet niks "fancy's met een if" verzinnen. Je moet snappen waar je mee bezig bent. En dat doe je gewoon simpelweg niet. Echt niet. There I said it.

Dus jij ziet hier een oplossing om die XML goed te krijgen ? Nee die is er mijn inziens niet aangezien ik de XML aangeboden krijg en die echt niet veranderd aangeleverd ga krijgen.

Ik vind de woorden weer wat grof voor iets waar je duidelijkheid in probeert te creeëren door trail and error.

Damn waar is die tweaker-thought toch gebleven in dit subforum

[Verwijderd]

Ja, het ligt aan anderen.

[RobIII]

Verwijderd schreef op zaterdag 09 januari 2010 @ 23:17:
Dus jij ziet hier een oplossing om die XML goed te krijgen ? Nee die is er mijn inziens niet aangezien ik de XML aangeboden krijg en die echt niet veranderd aangeleverd ga krijgen.

Als je de aangeleverde "rommel" die men XML durft te noemen niet kunt aanpassen moet je:
a) ze een rotschop verkopen omdat ze zeggen XML aan te bieden maar het niet doen
b) inderdaad zelf de "XML" gaan "fixen" middels replaces etc. Maar zorg dan wél dat je de juiste zaken replaced en niet spaties met %20 of   en meer van die onzin die je hier verkoopt

Verwijderd schreef op zaterdag 09 januari 2010 @ 23:17:
Ik vind de woorden weer wat grof voor iets waar je duidelijkheid in probeert te creeëren door trail and error.

Je moet juist van die "trial-and-error" methode af. Dat roepen we al tijden. Je moet eens zorgen dat je weet waar je mee bezig bent. Het lijkt me inmiddels toch wel aardig evident dat je "trial-and-error" methode keer-op-keer faalt?

Verwijderd schreef op zaterdag 09 januari 2010 @ 23:17:
Damn waar is die tweaker-thought toch gebleven in dit subforum

Als je doelt op je "trial-and-error" en dus net zo lang je code "tweaken" tot het "spontaan" werkt dan heb je 't verkeerd. Die "tweaker-thought" hebben we nooit (en zullen we ook nooit) uitdragen hier. Programmeren is namelijk geen "trial-and-error" maar gewoon zorgen dat je wéét waar je mee bezig bent. En niet "in het donker met een honkbalknuppel in een porseleinwinkel rond gaan zwaaien in de hoop die vervelende (m/b)ug neer te knuppelen". En dat is waar jij mee bezig bent.

[ Voor 6% gewijzigd door RobIII op 09-01-2010 23:23 ]

[Verwijderd]

Verwijderd schreef op zaterdag 09 januari 2010 @ 23:19:
Ja, het ligt aan anderen.

Begin bijna het gevoel te krijgen dat men wil zeggen dat ik moet zorgen voor een goede XML welke ik aangeleverd krijg maar weet dat ik dat toch niet voor elkaar ga krijgen dus het probleem maar ergens anders neer legt

Die XML zou strik genomen met & amp; aangeleverd moeten worden wil je het echt goed doen... krijg je als je een XML wrapper gebruikt om XML te genereren uit een database waar alles gewoon klakkeloos wordt ingetypt door een tiepmiep.

[RobIII]

Verwijderd schreef op zaterdag 09 januari 2010 @ 23:22:
Die XML zou strik genomen met & aangeleverd moeten worden wil je het echt goed doen...

Nee, met &amp; maar dat doe je zelfs hier consequent fout. En ja, ik snap dat "het forum" dat doet, maar je kunt hier ook gewoon escapen Doe dat dan ook.

Verwijderd schreef op zaterdag 09 januari 2010 @ 23:22:
Krijg je als je een XML wrapper gebruikt om XML te genereren uit een database waar alles gewoon klakkeloos wordt ingetypt door een tiepmiep.

Nou wordt 'ie mooi! Alsof het aan de typmiep ligt
Juist die typmiep heeft totaal geen benul van XML entities en andere flauwekul en daarbij; als het een DB in verdwijnt horen juist die zaken helemaal niet in de DB opgeslagen te worden. Wat nou als je zaken uit die DB naar een compleet ander formaat exporteert waar bijvoorbeeld een & prima toegestaan is, maar een underscore weer niet?

Het export-proces gaat fout; wanneer ze de XML genereren uit de DB moeten ze zorgen dat ze zaken escapen wanneer (en waar) nodig. Hoe ze het voor elkaar krijgen die export te verneuken kan ik wel raden (helaas, na jarenlange ervaring pas een kleine 10.000 keer tegengekomen; iets als echo "<bla>" . $foo . "</bla>"; waarschijnlijk). Maar dat is dan dus ook gewoon een gebrek aan kennis bij die partij.

[ Voor 62% gewijzigd door RobIII op 09-01-2010 23:30 ]

[Verwijderd]

RobIII schreef op zaterdag 09 januari 2010 @ 23:24:
[...]

Nee, met &amp; maar dat doe je zelfs hier consequent fout. En ja, ik snap dat "het forum" dat doet, maar je kunt hier ook gewoon escapen Doe dat dan ook.

Vond het een beetje lullig er een spatie tussen te typen, dus als je even in de edit kijkt kun jij dat best zien

Zal wel escapen dan volgende keer... tja... nu wijs je weer naar het forum... er wordt veel gewezen hier en nooit naar jezelf... mijn methode van leren is anders die van jou... zolang ik er niets mee mollesteer vind ik het prima...

/me denkt ineens aan een raid topic van een mod hier waar niemand moeilijk over deed wat hij met cruciale data aan het doen was en een en al trail & error was... gaat om dat iemand het uiteindelijk snapt op de manier welke hij prettig vindt en goed werkt... zijn meerdere wegen welke naar rome leiden, maar dat is al vaker ter discussie geweest hier

[ Voor 43% gewijzigd door Verwijderd op 09-01-2010 23:30 ]

[RobIII]

Verwijderd schreef op zaterdag 09 januari 2010 @ 23:26:
[...]


Vond het een beetje lullig er een spatie tussen te typen, dus als je even in de edit kijkt kun jij dat best zien

Er hoeft geen spatie tussen. Gewoon kwestie van escapen: &amp;

Maar dat vertellen we je pas 20 posts lang: je hebt geen benul waar je mee bezig bent. Dat is nou net de clou: je weet niet wanneer je wat waar en waarom hoe moet escapen.

edit:
Hier stond een niet terechte opmerking. My bad

[ Voor 61% gewijzigd door RobIII op 11-01-2010 12:26 ]

[Verwijderd]

RobIII schreef op zaterdag 09 januari 2010 @ 23:28:
[...]

Er hoeft geen spatie tussen. Gewoon kwestie van escapen: &amp;

Maar dat vertellen we je pas 20 posts lang: je hebt geen benul waar je mee bezig bent. Dat is nou net de clou: je weet niet wanneer je wat waar en waarom hoe moet escapen.

Dit bedoel ik dus... nu ligt het weer aan het escapen in een forum waar elk forum weer anders werkt...

Gooi er maar weer een slotje op, gaat weer nergens over dan alleen maar wijzen naar de TS, ik of een ander maakt niet uit.

[RobIII]

edit:
Hier stond een niet terechte opmerking. My bad

Verwijderd schreef op zaterdag 09 januari 2010 @ 23:31:
Gooi er maar weer een slotje op, gaat weer nergens over dan alleen maar wijzen naar de TS, ik of een ander maakt niet uit.

Wish granted.

[ Voor 37% gewijzigd door RobIII op 11-01-2010 12:27 ]