CSV bestanden importeren naar database zonder SSIS

[Verwijderd]

Ik ben een sportliefhebber (curling) die een dashboard wil bouwen op basis van geanalyseerde wedstrijden. Het analyseprogramma voor deze sport geeft een CSV bestand voor elke geanalyseerde wedstrijd. Deze CSV bestanden wil ik dan dus inlezen in een database. Nu is het probleem dat ik een vrijwiligger ben. Het aanschaffen van een SQL licens is voor mij veel te duur. Er is een gratis versie van SQL (SQL Express) maar die ondersteunt geen SSIS.

Ideaal gezien zou ik na elke wedstrijd mijn CSV bestand laten inlezen in de database wat ik met SSIS dacht te kunnen doen.

Zijn er andere oplossingen (met SQL of andere database tools) om CSV bestanden te laten inlezen in een database?

Relevante software en hardware die ik gebruik
Ik heb veel ervaring met Power BI en SQL server.

Alle tips zijn welkom alvast bedankt

[Verwijderd]

Je kan met MySQL/MariaDB gewoon met een LOAD DATA LOCAL INFILE csv's importeren. Dat is een gratis pakket en grotendeels dezelfde taal.

Referentie:
https://dev.mysql.com/doc/refman/8.0/en/load-data.html

[ Voor 24% gewijzigd door Verwijderd op 18-04-2019 10:22 ]

[BernardV]

Je zou met een beetje texteditor ook een regular expression replace kunnen doen.
Daarmee de gescheiden data omzetten naar een INSERT SQL statement en die inladen.

[mcDavid]

SQL is niet iets waar je een licence voor nodig hebt. Dit is een (open) standaard om databases te queryen. Wat jij waarschijnlijk bedoelt is een licentie voor Microsoft SQL, wat een (erg duur) voorbeeld van zo'n database engine is.

Er zijn echter legio gratis/open source SQL databases die veelal nog een stuk beter zijn dan Ms SQL ook. Dus kijk inderdaad eens naar MariaDB/MySQL, PostgreSQL of SQLite.

[Hero of Time]

SSIS is een tool. Waar laat je de resultaten op zien? En welke database backends ondersteund dat programma?

[yozgoesdigital]

Ik heb hier verschillende python scripts gemaakt die een csv bestand uploaden met behulp van de pyodbc library en de data in bepaalde tabellen in SQL server upload. Het is een keer meer werk instellen maar daarna is het csv bestand vervangen voor nieuwe variant en dan script draaien. Met de termen die ik hieroboven noem kan je genoeg (engelstalige) tutorials vinden die je met wat handigheid kan tweaken voor jouw geval.
In mijn geval zit er overlap in de data dus moet ik nog extra bewerkingen doen om te zorgen dat ik geen dubbele records krijg.
Zoals eerder genoemd als je niet gebonden bent aan SQL Server/Express een hoop andere database systemen kunnen standaard al makkelijk overweg met csv bestanden (Mysql/Mariadb, Postgres etc) en kan je gewoon met SQL queries dit voor elkaar krijgen.
PowerBi kan je in de meeste gevallen daar ook direct aan linken. PowerBI kan alleen niet via 'direct query' optie kunnen verbinden maar alleen via de import functie. Maar gezien het niet te veel mag kosten denk ik dat je dat nu toch al doet.