Data pipelines: goede databronnen?

[braek]

Mijn vraag

Ik ben mij aan het verdiepen in data pipelines waarmee ik met een queue heel veel JSON-bestanden wil verwerken. Ik vraag mij af of er een goede (open) databronnen zijn die je kan gebruiken om veel data binnen te halen. Idealiter in de vorm van JSON/XML-bestanden, maar dat mag ook bijvoorbeeld data uit een API zijn.

Relevante software en hardware die ik gebruik

Ik gebruik een zelfgemaakt Python-script om wat JSON-bestanden met sample data te genereren, maar ben op zoek naar meer "real life data" idealiter in de vorm van bestanden.

Wat ik al gevonden of geprobeerd heb

Het bovenvermelde Python-script.

[418O2]

https://github.com/public...pis/blob/master/README.md

Daar moet je wel wat mee kunnen

[Ben(V)]

Python is bijzonder geschikt voor dit soort toepassingen.


Zo iets bijvoorbeeld:
https://pymotw.com/2/Queue/

[braek]

Top! Dat is een lijst om U tegen te zeggen. Ik wist trouwens niet dat Gmail een REST API aanbood.

Ik ben de "Yelp Dataset" momenteel aan 't bekijken en die is ook best interessant.

Suggesties nog altijd welkom.

[braek]

Ben(V) schreef op donderdag 24 oktober 2019 @ 18:20:
Python is bijzonder geschikt voor dit soort toepassingen.


Zo iets bijvoorbeeld:
https://pymotw.com/2/Queue/

Nog nooit gebruikt, wist nog niet dat dat kon op die manier in Python.

Ik ben momenteel de "managed queues" aan het bekijken voor het bouwen van een ETL pipeline (RabbitMQ en AWS SQS).

[Moofnor]

Zelf alleen CSV bestanden gebruikt, maar ik zie dat Kaggle ook datasets in Json aanbiedt.
Misschien zit er wat leuks voor je tussen: https://www.kaggle.com/datasets?fileType=json

[Verwijderd]

Misschien ook leuk om naar te kijken: http://reactivex.io/

Heeft ook het principe waarbij data van de producer naar de consumer stroomt en je daartussen een pijp maakt door functies te chainen.


_{Uit RxJS in Action.}