Tool gezocht voor inlezen data van verschillende bronnen

[GewoonNiek]

Ik ben op zoek naar een tool, het liefst self hosted en/of open source (maar dat is geen must), waarin ik makkelijk data van verschillende bronnen (CSV via URL, JSON via API (met authenticatie)) makkelijk kan inlezen en met een soort flow editor kan aanpassen zodat deze geparsed worden naar een formaat wat onze applicatie snapt.

Onze applicatie gebruikt een MongoDB Atlas Instance (de cloud variant van MongoDB) en het zou heel mooi zijn als de data direct daarin gezet kan worden, maar eventueel de data doorsturen naar een endpoint waardoor onze server het verder oppakt is ook prima.

Ik heb hier uiteraard al op gezocht maar ik krijg vooral online flow chart editors (online visio zeg maar), of tools die gericht zijn op marketing data.

Heeft er iemand ervaring met een dergelijke tool, of heeft er iemand een keer iets voorbij zien komen wat we kunnen gebruiken?

[Merethil]

GewoonNiek schreef op vrijdag 19 november 2021 @ 08:30:
Ik ben op zoek naar een tool, het liefst self hosted en/of open source (maar dat is geen must), waarin ik makkelijk data van verschillende bronnen (CSV via URL, JSON via API (met authenticatie)) makkelijk kan inlezen en met een soort flow editor kan aanpassen zodat deze geparsed worden naar een formaat wat onze applicatie snapt.

Onze applicatie gebruikt een MongoDB Atlas Instance (de cloud variant van MongoDB) en het zou heel mooi zijn als de data direct daarin gezet kan worden, maar eventueel de data doorsturen naar een endpoint waardoor onze server het verder oppakt is ook prima.

Ik heb hier uiteraard al op gezocht maar ik krijg vooral online flow chart editors (online visio zeg maar), of tools die gericht zijn op marketing data.

Heeft er iemand ervaring met een dergelijke tool, of heeft er iemand een keer iets voorbij zien komen wat we kunnen gebruiken?

Klinkt als het gemiddelde integratieplatform, b.v. iets als Mulesoft. Als je van dat product de community edition pakt dan heb je waarschijnlijk wat je nodig hebt.
Kans is dat het zwaar overkill is, dus misschien kan je ook uit de voeten met iets als Node-RED?

[ione]

Waar je naar op zoek bent is waarschijnlijk te vinden als je zoekt op ‘integration tool’.
Kijk bijv. of Apache NiFi wat voor je is (https://nifi.apache.org/).

Andere opties zijn bijv Mule of Dell Boomi, maar dat zijn dan volgens mij betaalde producten.

Als je zelf een beetje handig bent met Java zou je ook kunnen kijken naar Apache Camel.

Dit soort tools hebben verschillende soorten connectors om de data ergens vandaan te halen. Dan kan je er van alles mee transformeren en bewerken en vervolgens kan je het naar bijv je Mongo store sturen.

[GermanPivo]

https://www.alteryx.com/

[GewoonNiek]

Dank voor alle tips, ik ga er induiken.
De Node-RED optie spreekt me wel aan, ik dacht dat deze alleen voor smart home te gebruiken was

Ik laat het weten wat het is geworden!

[bonzz.netninja]

GewoonNiek schreef op vrijdag 19 november 2021 @ 08:30:
Ik ben op zoek naar een tool, het liefst self hosted en/of open source (maar dat is geen must), waarin ik makkelijk data van verschillende bronnen (CSV via URL, JSON via API (met authenticatie)) makkelijk kan inlezen en met een soort flow editor kan aanpassen zodat deze geparsed worden naar een formaat wat onze applicatie snapt.

Onze applicatie gebruikt een MongoDB Atlas Instance (de cloud variant van MongoDB) en het zou heel mooi zijn als de data direct daarin gezet kan worden, maar eventueel de data doorsturen naar een endpoint waardoor onze server het verder oppakt is ook prima.

Ik heb hier uiteraard al op gezocht maar ik krijg vooral online flow chart editors (online visio zeg maar), of tools die gericht zijn op marketing data.

Heeft er iemand ervaring met een dergelijke tool, of heeft er iemand een keer iets voorbij zien komen wat we kunnen gebruiken?

Over wat voor data gaat dit? Want ik moet direct denken aan een willekeurig PIM systeem waarin je dit o.a kan.

[GewoonNiek]

Het is voornamelijk productdata, deze wordt door verschillende leveranciers op verschillende manieren en met verschillende data (andere indeling etc) aangeleverd.

[Matis]

Wij gebruiken daarvoor zakelijk Dell Boomi en GoAnywhere.

De termen die bij mij opkomen zijn ESB, Low Code.

Maar aangezien het over product-data gaat, is een PIM met de juiste importers / connectors ook een overweging waard.

[epic007]

Gaat dit niet over ETL?

Wikipedia: Extraction, Transformation and Load

https://docs.microsoft.co...guide/relational-data/etl

[MBvB]

Volgens mij heeft Talend een open source versie.
Op mijn werk hebben we nu FME, wat voor de leek ook vrij snel te doen is. Maar volgens mij is dat redelijk aan de prijs.

[Tsurany]

Als je op een platform als Azure of AWS zit zou ik kijken naar een native oplossing op dat platform, vaak hebben die genoeg mogelijkheden als het op data transformatie aan komt of op simpele API's.