Toon posts:

Tool gezocht voor inlezen data van verschillende bronnen

Pagina: 1
Acties:

Vraag


  • GewoonNiek
  • Registratie: juni 2012
  • Laatst online: 05-12 17:49
Ik ben op zoek naar een tool, het liefst self hosted en/of open source (maar dat is geen must), waarin ik makkelijk data van verschillende bronnen (CSV via URL, JSON via API (met authenticatie)) makkelijk kan inlezen en met een soort flow editor kan aanpassen zodat deze geparsed worden naar een formaat wat onze applicatie snapt.

Onze applicatie gebruikt een MongoDB Atlas Instance (de cloud variant van MongoDB) en het zou heel mooi zijn als de data direct daarin gezet kan worden, maar eventueel de data doorsturen naar een endpoint waardoor onze server het verder oppakt is ook prima.

Ik heb hier uiteraard al op gezocht maar ik krijg vooral online flow chart editors (online visio zeg maar), of tools die gericht zijn op marketing data.

Heeft er iemand ervaring met een dergelijke tool, of heeft er iemand een keer iets voorbij zien komen wat we kunnen gebruiken?

Alle reacties


  • Merethil
  • Registratie: december 2008
  • Laatst online: 05:20
GewoonNiek schreef op vrijdag 19 november 2021 @ 08:30:
Ik ben op zoek naar een tool, het liefst self hosted en/of open source (maar dat is geen must), waarin ik makkelijk data van verschillende bronnen (CSV via URL, JSON via API (met authenticatie)) makkelijk kan inlezen en met een soort flow editor kan aanpassen zodat deze geparsed worden naar een formaat wat onze applicatie snapt.

Onze applicatie gebruikt een MongoDB Atlas Instance (de cloud variant van MongoDB) en het zou heel mooi zijn als de data direct daarin gezet kan worden, maar eventueel de data doorsturen naar een endpoint waardoor onze server het verder oppakt is ook prima.

Ik heb hier uiteraard al op gezocht maar ik krijg vooral online flow chart editors (online visio zeg maar), of tools die gericht zijn op marketing data.

Heeft er iemand ervaring met een dergelijke tool, of heeft er iemand een keer iets voorbij zien komen wat we kunnen gebruiken?
Klinkt als het gemiddelde integratieplatform, b.v. iets als Mulesoft. Als je van dat product de community edition pakt dan heb je waarschijnlijk wat je nodig hebt.
Kans is dat het zwaar overkill is, dus misschien kan je ook uit de voeten met iets als Node-RED?

  • ione
  • Registratie: februari 2004
  • Niet online
Waar je naar op zoek bent is waarschijnlijk te vinden als je zoekt op ‘integration tool’.
Kijk bijv. of Apache NiFi wat voor je is (https://nifi.apache.org/).

Andere opties zijn bijv Mule of Dell Boomi, maar dat zijn dan volgens mij betaalde producten.

Als je zelf een beetje handig bent met Java zou je ook kunnen kijken naar Apache Camel.

Dit soort tools hebben verschillende soorten connectors om de data ergens vandaan te halen. Dan kan je er van alles mee transformeren en bewerken en vervolgens kan je het naar bijv je Mongo store sturen.

  • GermanPivo
  • Registratie: september 2010
  • Laatst online: 20:38

PVOutput


  • GewoonNiek
  • Registratie: juni 2012
  • Laatst online: 05-12 17:49
Dank voor alle tips, ik ga er induiken.
De Node-RED optie spreekt me wel aan, ik dacht dat deze alleen voor smart home te gebruiken was 8)7

Ik laat het weten wat het is geworden!

  • bonzz.netninja
  • Registratie: oktober 2001
  • Laatst online: 22:07

bonzz.netninja

Niente baffi

GewoonNiek schreef op vrijdag 19 november 2021 @ 08:30:
Ik ben op zoek naar een tool, het liefst self hosted en/of open source (maar dat is geen must), waarin ik makkelijk data van verschillende bronnen (CSV via URL, JSON via API (met authenticatie)) makkelijk kan inlezen en met een soort flow editor kan aanpassen zodat deze geparsed worden naar een formaat wat onze applicatie snapt.

Onze applicatie gebruikt een MongoDB Atlas Instance (de cloud variant van MongoDB) en het zou heel mooi zijn als de data direct daarin gezet kan worden, maar eventueel de data doorsturen naar een endpoint waardoor onze server het verder oppakt is ook prima.

Ik heb hier uiteraard al op gezocht maar ik krijg vooral online flow chart editors (online visio zeg maar), of tools die gericht zijn op marketing data.

Heeft er iemand ervaring met een dergelijke tool, of heeft er iemand een keer iets voorbij zien komen wat we kunnen gebruiken?
Over wat voor data gaat dit? Want ik moet direct denken aan een willekeurig PIM systeem waarin je dit o.a kan.

vuistdiep in het post-pc tijdperk van Steve  | Tussen neus en lippen door nieuwsbrief


  • GewoonNiek
  • Registratie: juni 2012
  • Laatst online: 05-12 17:49
Het is voornamelijk productdata, deze wordt door verschillende leveranciers op verschillende manieren en met verschillende data (andere indeling etc) aangeleverd.

  • Matis
  • Registratie: januari 2007
  • Laatst online: 23:07

Matis

Rubber Rocket

Wij gebruiken daarvoor zakelijk Dell Boomi en GoAnywhere.

De termen die bij mij opkomen zijn ESB, Low Code.

Maar aangezien het over product-data gaat, is een PIM met de juiste importers / connectors ook een overweging waard.

If money talks then I'm a mime
If time is money then I'm out of time


  • MBvB
  • Registratie: november 2013
  • Laatst online: 23:13
Volgens mij heeft Talend een open source versie.
Op mijn werk hebben we nu FME, wat voor de leek ook vrij snel te doen is. Maar volgens mij is dat redelijk aan de prijs.

  • Tsurany
  • Registratie: juni 2006
  • Niet online

Tsurany

⭐⭐⭐⭐⭐

Als je op een platform als Azure of AWS zit zou ik kijken naar een native oplossing op dat platform, vaak hebben die genoeg mogelijkheden als het op data transformatie aan komt of op simpele API's.

SMA SB5.0 + 16x Jinko 310wp OWO + 10x Jinko 310wp WNW |--|--| Daikin 4MXM68N + 1x FTXA50AW + 3x FTXM20N

Pagina: 1


Nintendo Switch (OLED model) Apple iPhone 13 LG G1 Google Pixel 6 Call of Duty: Vanguard Samsung Galaxy S21 5G Apple iPad Pro (2021) 11" Wi-Fi, 8GB ram Nintendo Switch Lite

Tweakers vormt samen met Hardware Info, AutoTrack, Gaspedaal.nl, Nationale Vacaturebank, Intermediair en Independer DPG Online Services B.V.
Alle rechten voorbehouden © 1998 - 2021 Hosting door True

Tweakers maakt gebruik van cookies

Bij het bezoeken van het forum plaatst Tweakers alleen functionele en analytische cookies voor optimalisatie en analyse om de website-ervaring te verbeteren. Op het forum worden geen trackingcookies geplaatst. Voor het bekijken van video's en grafieken van derden vragen we je toestemming, we gebruiken daarvoor externe tooling die mogelijk cookies kunnen plaatsen.

Meer informatie vind je in ons cookiebeleid.

Sluiten

Forum cookie-instellingen

Bekijk de onderstaande instellingen en maak je keuze. Meer informatie vind je in ons cookiebeleid.

Functionele en analytische cookies

Deze cookies helpen de website zijn functies uit te voeren en zijn verplicht. Meer details

janee

    Cookies van derden

    Deze cookies kunnen geplaatst worden door derde partijen via ingesloten content en om de gebruikerservaring van de website te verbeteren. Meer details

    janee