XML | Alle subnodes selecteren met de hoofdnode erbij

[Yagermeister]

Mijn vraag

Voor een script krijgen wij een file met daarin een een hele hoop XML tekst. Een voorbeeld hiervan is hieronder.

XML:

<searchresults>
  <success>true</success>
  <data>
    <idpurchaseorder>373251</idpurchaseorder>
    <idsupplier>42919</idsupplier>
    <idwarehouse>4863</idwarehouse>
    <idtemplate>3994</idtemplate>
    <purchaseorderid>PO2019-1008</purchaseorderid>
    <supplier_orderid>09-09-2019</supplier_orderid>
    <supplier_name></supplier_name>
    <status>purchased</status>
    <products>
      <idpurchaseorder_product>5275880</idpurchaseorder_product>
      <idproduct>10307107</idproduct>
      <productcode>P00019664</productcode>
      <productcode_supplier>0389450893456</productcode_supplier>
      <name>Unold 78856</name>
      <price>99</price>
      <amount>1</amount>
      <amountreceived>0</amountreceived>
    </products>
  </data>
  <data>
    <idpurchaseorder>373062</idpurchaseorder>
    <idsupplier>42561</idsupplier>
    <idwarehouse>4863</idwarehouse>
    <idtemplate>3994</idtemplate>
    <purchaseorderid>PO2019-1007</purchaseorderid>
    <supplier_orderid>09-09-2019</supplier_orderid>
    <supplier_name></supplier_name>
    <status>purchased</status>
    <products>
      <idpurchaseorder_product>5272744</idpurchaseorder_product>
      <idproduct>10304708</idproduct>
      <productcode>P00172393</productcode>
      <productcode_supplier>34556WDR09</productcode_supplier>
      <name>Product 2</name>
      <price>999</price>
      <amount>1</amount>
      <amountreceived>0</amountreceived>
    </products>
    <products>
      <idpurchaseorder_product>5272745</idpurchaseorder_product>
      <idproduct>10304135</idproduct>
      <productcode>P00020201</productcode>
      <productcode_supplier>345345074</productcode_supplier>
      <name>Productname</name>
      <price>99</price>
      <amount>1</amount>
      <amountreceived>0</amountreceived>
    </products>
  </data>
 </searchresults>

Van deze file wil ik de volgende gegevens hebben:

code:

idpurchaseorder;idsupplier;purchaseorderid;idproduct;productcode;price;amount;amountreceived

Wat ik geprobeerd heb met XMLstarlet is het volgende (ik heb even alleen idpurchaseorder en idproduct gebruikt voor de leesbaarheid).

code:

xmlstarlet sel -t -m //searchresults/data -v "concat(idpurchaseorder,';',products/idproduct)" -n purchaseorders.xml

De uitkomst hiervan was:

code:

373251;10307107
373062;10304708

Dit klopt natuurlijk niet aangezien het 2de product niet erbij staat


Met wat aanpassingen bij xmlstarlet:

code:

xmlstarlet sel -t -m //searchresults/data -v idpurchaseorder -o ";" -v products/idproduct -n purchaseorders.xml

Dit bracht me al korter in de buurt namelijk:

code:

373251;10307107
373062;10304708
10304135

Hier heb ik wel het 2de product echter heb ik niet de purchaseorderid erbij staan. Wat ik verwacht is onderstaande:

code:

373251;10307107
373062;10304708
373062;10304135

Met wat zoeken heb ik uitgevonden dat ik de subnodes als eerste moet selecteren echter snap ik niet hoe ik daarna de hoofdnode per regel kan toevoegen.

Ik kan wel met omwegen aan alle data komen maar dat is natuurlijk weer onhandig aangezien het ook met xmlstarlet moet kunnen. Ik heb echter al de hele dag zitten puzzelen maar ik zie niet wat ik fout doe of wat ik moet aanpassen.

[Jivebunny]

code:

xmlstarlet sel -t --var idpurchaseorder=//searchresults/data/idpurchaseorder -m "//*[idproduct]" -v "concat($idpurchaseorder,';',.//idproduct)" -n purchaseorders.xml

Omdat je een purchaseorder (parent node) hebt, met mogelijk multiple child-nodes van hetzelfde element, moet je bottom up selecteren en de parent erbij trekken via een variabele. Je huidige benadering is top-down. Zodra er geen nieuwe idpurchaseorders meer zijn, stopt ie, en dus heb je alleen het eerste child. Jouw andere poging kwam al verder, maar printte niet de parent-node id.

Deze oplossing wel. Je kan zelf in de concat functie de overige waarden erbij roepen. Succes.
Edit: Moet nog even sleutelen, idpurchaseorder is niet juist

[ Voor 61% gewijzigd door Jivebunny op 11-09-2019 13:34 . Reden: klopt helaas toch niet ]

[Yagermeister]

Jivebunny schreef op woensdag 11 september 2019 @ 13:02:

code:

xmlstarlet sel -t --var idpurchaseorder=//searchresults/data/idpurchaseorder -m "//*[idproduct]" -v "concat($idpurchaseorder,';',.//idproduct)" -n purchaseorders.xml

Omdat je een purchaseorder (parent node) hebt, met mogelijk multiple child-nodes van hetzelfde element, moet je bottom up selecteren en de parent erbij trekken via een variabele. Je huidige benadering is top-down. Zodra er geen nieuwe idpurchaseorders meer zijn, stopt ie, en dus heb je alleen het eerste child. Jouw andere poging kwam al verder, maar printte niet de parent-node id.

Deze oplossing wel. Je kan zelf in de concat functie de overige waarden erbij roepen. Succes.
Edit: Moet nog even sleutelen, idpurchaseorder is niet juist

Alvast bedankt maar zoals je zelf ook al hebt ondervonden werkt die helaas niet.

Ik krijg de volgende foutmelding overigens:

code:

Invalid expression: concat(,';',.//idproduct)
compilation error: element with-param
XSLT-with-param: Failed to compile select expression 'concat(,';',.//idproduct)'

Ik had mijn gedachten even over de regel laten gaan maar aangezien die niet werkt denk ik niet dat het veel nut heeft om deze proberen uit te leggen natuurlijk

[Jivebunny]

Denk dat je via xslt wel makkelijker je lijstje kan genereren overigens. Nog even zoekende. Krijg met xmlstarlet het navigeren door de nodestructuur niet zo dat ik naar de ancestor kom bij het afdrukken hehe. Met xslt heb je zo een for-each gebouwd. Je kan overigens wel zag ik, niet getest, een xslt template over je data laten gaan met xmlstarlet, dus dat is nog een richting. Weet niet hoe je het precies wil inzetten?

[Yagermeister]

Jivebunny schreef op woensdag 11 september 2019 @ 14:36:
Denk dat je via xslt wel makkelijker je lijstje kan genereren overigens. Nog even zoekende. Krijg met xmlstarlet het navigeren door de nodestructuur niet zo dat ik naar de ancestor kom bij het afdrukken hehe. Met xslt heb je zo een for-each gebouwd. Je kan overigens wel zag ik, niet getest, een xslt template over je data laten gaan met xmlstarlet, dus dat is nog een richting. Weet niet hoe je het precies wil inzetten?

Het enigste wat ik eigenlijk wil is een csv eruit krijgen met de data die ik nodig heb. Hoe en waar ik aan die data kom is verder niet van belang. Ik heb eigenlijk alleen een beetje ervaring met xmlstarlet. Helaas heb ik van xslt geen kennis om hier iets kundigs van te maken.

[Jivebunny]

Werkt dit? Bij mij wel met kopie van jouw bestandje (en nog wat meer uitdagingen erin gebouwd zoals een purchaseorderid met 3+ producten):

code:

xmlstarlet sel -T -t -m "/searchresults/data/products" -v ../idpurchaseorder -o ; -v ../idsupplier -o ; -v ../purchaseorderid -o ; -v idproduct -o ; -v productcode -o ; -v price -o ; -v amount -o ; -v amountreceived -n purchaseorders.xml

Het strookt in ieder geval met mijn eerste opmerking: Je wil het idproduct als basis selecteren/matchen, dan heb je alle gevallen te pakken. In deze oplossing ga je met ../ weer terug omhoog en zoek je naar de siblings van <products>. Het startpunt ligt dan ook 1 dieper dan je originele aanpak.

[ Voor 27% gewijzigd door Jivebunny op 11-09-2019 16:33 . Reden: Uitleg ]

[Yagermeister]

Jivebunny schreef op woensdag 11 september 2019 @ 16:21:
Werkt dit? Bij mij wel met kopie van jouw bestandje (en nog wat meer uitdagingen erin gebouwd zoals een purchaseorderid met 3+ producten):

code:

xmlstarlet sel -T -t -m "/searchresults/data/products" -v ../idpurchaseorder -o ; -v ../idsupplier -o ; -v ../purchaseorderid -o ; -v idproduct -o ; -v productcode -o ; -v price -o ; -v amount -o ; -v amountreceived -n purchaseorders.xml

Het strookt in ieder geval met mijn eerste opmerking: Je wil het idproduct als basis selecteren/matchen, dan heb je alle gevallen te pakken. In deze oplossing ga je met ../ weer terug omhoog en zoek je naar de siblings van <products>. Het startpunt ligt dan ook 1 dieper dan je originele aanpak.

Ik heb het even snel bekeken en ik kreeg eerst een foutmelding. Doordat ik ZSH als shell gebruik heeft die een hekel aan ; dus ik heb er onderstaande van gemaakt.

code:

xmlstarlet sel -T -t -m "/searchresults/data/products" -v ../idpurchaseorder -o ";" -v ../idsupplier -o ";" -v ../purchaseorderid -o ";" -v idproduct -o ";" -v productcode -o ";" -v price -o ";" -v amount -o ";" -v amountreceived -n purchaseorders.xml

En dit heeft gewerkt! Nu krijg ik alle gewenste data terug. Een beetje stom is wel dat ik gisteren ook nog met ../ geprobeerd heb en dit niet werkte

[Jivebunny]

Yagermeister schreef op woensdag 11 september 2019 @ 16:57:
[...]


Ik heb het even snel bekeken en ik kreeg eerst een foutmelding. Doordat ik ZSH als shell gebruik heeft die een hekel aan ; dus ik heb er onderstaande van gemaakt.

Ah ik zat op werk met een windows omgeving dus helaas cmd-prompt haha.

Yagermeister schreef op woensdag 11 september 2019 @ 16:57:
[...]

code:

xmlstarlet sel -T -t -m "/searchresults/data/products" -v ../idpurchaseorder -o ";" -v ../idsupplier -o ";" -v ../purchaseorderid -o ";" -v idproduct -o ";" -v productcode -o ";" -v price -o ";" -v amount -o ";" -v amountreceived -n purchaseorders.xml

En dit heeft gewerkt! Nu krijg ik alle gewenste data terug. Een beetje stom is wel dat ik gisteren ook nog met ../ geprobeerd heb en dit niet werkte

Ik had toenstraks ook al met ../ geprobeerd, maar de deze functionaliteit binnen een -v concat() gaat dus helemaal mis hehe.

Had even een ingeving en even een momentje de tijd.

[Yagermeister]

Jivebunny schreef op woensdag 11 september 2019 @ 17:02:
[...]


Ah ik zat op werk met een windows omgeving dus helaas cmd-prompt haha.


[...]


Ik had toenstraks ook al met ../ geprobeerd, maar de deze functionaliteit binnen een -v concat() gaat dus helemaal mis hehe.

Had even een ingeving en even een momentje de tijd.

Ik vergeet het ook steeds dat ik het moet aanpassen. Ik ben in ieder geval super blij dat ik het werkend heb. Met wat aanpassingen in de benamingen heb ik het ook voor een andere xml kunnen gebruiken dus ik kan weer gelukkig verder knutselen