XML-bestand importeren in MariaDB: afwijkende kolomnamen

[pporrio]

Beste mede-Tweakers,

Mijn vraag
Kan ik een XML-bestand inlezen waarin de kolomnamen beginnen met 'ns:' ? Ik probeer een XML-bestand in te lezen waarin alle tags (kolomnamen) beginnen met 'ns:'. Het bestand wordt met andere XML-bestanden van tabeldumps nachtelijk geleverd.

Probleem is dat het XML LOAD onderdeel ROWS IDENTIFIED BY '<ns:Organisatie>' de kolomnamen die binnen deze tags staan niet kan mappen aan de kolommen in mijn database (zonder 'ns:' voor de kolomnaam).

Relevante software en hardware die ik gebruik
MariaDB 10.3 lokaal op een laptop voorzien van Windows 10 Enterprise.

Wat ik al gevonden of geprobeerd heb
Op dit moment gebruik ik als workaround een PowerShell Command Line opdracht om de tekst 'ns:' te vervangen voor '' in het XML-bestand en vervolgens onder dezelfde naam op te slaan.

Vervolgens lees ik het gewijzigde XML bestand in middels:

code:

XML LOAD LOCAL INFILE 'Organisatie.xml'
INTO TABLE Organisatie
ROWS IDENTIFIED BY '<Organisatie>';

Dit werkt prima. Echter, zou het ook kunnen zonder eerst het XML-bestand aan te passen? Dus rechtstreeks de kolommapping aan te geven bij de import?

Alvast bedankt voor jullie reacties!

Peter

[The Eagle]

Zelf nooit echt geprobeerd, maar https://dev.mysql.com/doc/refman/8.0/en/load-data.html
En dan kijken naar field en line handling, evt in combinatie met escaping. Daar zou je een eind mee moeten komen, maar of dat de oplossing gaat bieden weet ik niet.

Wat jij zoekt is feitelijk wat ETL tools (Extract, Transform, Load) doen. Die zijn er zat. Als je veel van dit soort dingen moet doen, kijk even naar iets als Nifi.

Maar als ik dit zo lees kun je denk ik het beste even de beheerders van de aanleverende bron aankijken. Klinkt als data uit een Active Directory of andere LDAP, waarbij de beheerder gewoon een simpele dump maakt omdat daar om gevraagd is. Die zal dat ook door powershell oid uit laten voeren, koud kunstje om de pijn daar te leggen waar ie hoort

[YakuzA]

Bronbestanden zonder namespace identifier zouden idd je probleem oplossen. Mogelijk is dat makkelijker dan netjes met de namespaces werken vanuit Sql?

Vanuit sql heb ik dat niet eerder zelf gedaan.

[Sethro]

En de kolomnamen in je eigen database aanpassen? Of denk ik dan te simpel

[pporrio]

Sethro schreef op woensdag 19 december 2018 @ 21:50:
En de kolomnamen in je eigen database aanpassen? Of denk ik dan te simpel

Volgens mij zijn kolomnamen met een ':' (bijvoorbeeld 'ns: Organisatie') erin niet toegestaan in MySql/MariaDB.

[The Eagle]

Of het nou wel of niet mag, dat soort dingen wil je sowieso gewoon niet

Wat je natuurlijk ook kunt doen is het hele ding in een temp tabel inlezen als een CLOB, en dan de CLOB met wat commando's doorschrijven naar de daadwerkelijke tabel. Maar je ontkomt niet aan bewerking. Dr vraag is alleen waar je die bewerkingslogica zou moeten plaatsen. Wat mij betreft hoort die op de plek waar de data vandaan komt.

[pporrio]

Bedankt voor de reacties zover Ik ben het met jullie eens dat de het probleem al ontstaat bij de bron.

Ik zal de leverancier vragen of het mogelijk is om een XML dump te leveren met de kolomnamen zonder 'ns:'.

[OnTracK]

Volgens mij mag je bij MySQL/MariaDB practisch alles in een kolomnaam stoppen op het moment dat je er backticks omheen zet `ns:organisatie`. Maar je zult dat op iedere plek moeten doen, ook weer bij het uitlezen.