[ HFSQL/ODBC/CSV/FTP] Welke tools voor data export + upload

[Huff002]

Ik wil graag 1x per dag bepaalde data uit een HFSQL halen en als CSV file uploaden naar een externe FTP server.
Voor elke stap op zich weet ik welke tools ik kan gebruiken maar ik krijg het niet deftig aan elkaar geknoopt. Op dit moment doe ik het wekelijks manueel maar het zou dagelijks moeten gebeuren en dat is manueel moeilijk vol te houden.

Het gaat om 2 tabellen en in totaal een 15-tal kolommen en zo'n 50000 rijen die geëxporteerd moeten worden. De CSV file wordt dan bij een derde partij op hun FTP gezet, zij verwerken op hun beurt deze file in hun omgeving.
...

Nu haal ik via ODBC met Excel de data eruit via Power Query. Daar worden ook een paar titels van kolommen aangepast om te matchen met de externe partij hun vereisten. De file bewaar ik als CSV.
Met Fillezilla upload ik het dan naar hun server.

Misschien ook nog belangrijk, de naam van de file moet altijd dezelfde zijn (dus overschrijven) en de volledige dataset bevatten (niet enkel wijzigen).
...

Met de huidige tools die ik gebruik is er geen automatisatie in te krijgen volgens mij.
Powershell zou dit eventueel kunnen denk ik maar daar ben ik (nog) niet in thuis.
...

[Woy]

Zoals je zelf al aangeeft kan je dat prima met powershell aan elkaar knopen, ook andere scripting of programmeertalen zullen dat prima faciliteren. Waarschijnlijk zelfs met iets als Logic apps/Power Automate of een ander low-code platform is er vast het een en ander te automatiseren.

Maar wat het je nu zelf al concreet geprobeerd met het automatiseren?

[ Voor 11% gewijzigd door Woy op 22-01-2024 09:16 ]

[Kettrick]

Je zou naar naar Apache Nifi kunnen kijken, daarmee kan je dit soort workflows zonder al te veel code in elkaar zetten.

https://github.com/apache/nifi

[KabouterSuper]

Met good old VBA kom je er denk ik ook wel. Voordeel is dat je het geneuzel met kolomnamen in Excel kunt houden. Nadeel is dat het dagelijks schedulen wat lastiger is.

[Huff002]

Sorry voor het late antwoord.

Qua automatiseren ben ik nog niet zo ver geraakt. Buiten het idee om met bijvoorbeeld GoodSync de CVS naar de FTP te uploaden had ik niet echt concrete ideeën.

Ik heb Power Automate nu even bekeken en daar zie ik idd wel wat mogelijkheden. Zeker in combinatie met PowerBI.
Ik ga er eens wat mee spelen, alvast bedankt voor de tips.

[jeroen3]

Voor dit soort klusjes is Python* bij uitstek geschikt. Daarmee kun je vrij veel automatiseren en scripten. En er zijn ook vrij veel libraries beschikbaar.
Het is niet snel, maar je doet het 1x per dag, dus dat is niet erg.

Mocht je nog iets willen bewerken in de data dan kan ook nog wel.
En wellicht een kleine check of er genoeg en de juiste data in zit?

Je kunt zo'n programma aanroepen via de takenplanner bijvoorbeeld.

*het voorbeeld zet alleen het password hardcoded, daar moet je wellicht nog even naar kijken.

[Huff002]

Op maandag werk ik van thuis, dat is het ideale moment om me hier mee bezig te houden.
Ik heb het op een paar details na werkend gekregen via Power Automate, wat heb ik gedaan.

PowerBI rapport gemaakt met PowerBI dekstop dat via de ODBC verbind, dit rapport gepubliceerd.
In PowerBI online een paginated report gemaakt van dat rapport.

On-premises gateway geïnstalleerd op de HFSQL server.
De gateway en data source gekoppeld en het PowerBI rapport.

In Power Automate een Recurrence aangemaakt, daaropvolgend een Export To File for Paginated Reports en daarna een FTP Create File


Het stukje van Power Automate werkt al volledig, ik heb op dit moment enkel nog een probleem met de auto refresh van het PowerBI rapport. Dat zal iets worden om volgende week te bekijken.


Bedankt @Woy voor de tip van Power Automate