synchroniseren posgres db (op Azure) naar Ms Sql Azure

[yozgoesdigital]

Mijn vraag
TL;DR: Ik heb een tool die data verzameld naar Postgres db en visualisatie software die alleen uit SQL server kan lezen.

Achtergrond:
Ik gebruik hier een tool op mobiele telefoons om data te verzamelen. Met een python script wordt deze data naar postgresql database geschreven 1x per uur.
Daarna wordt de data gevisualiseerd met Power BI, vanaf my computer kan deze prima vanuit de postgresql data inlezen, maar zodra ik deze rapportage in the Azure cloud zet kan deze niet meer actief data ophalen. Nu kan powerBi dat wel met direct query vanuit SQL server database. Oplossing volgens mij zou zijn om 1 van de twee databases automatisch data op te laten halen uit de andere. Waar 1 van de twee als hoofddatabase gesteld wordt (voorkeur Postgresql)
In geval van Postgresql als hoofddatabase hoeft data maar 1 richting op en hoeft alleen de te visualiseren data gesynchroniseerd te worden. Andere suggestie zijn ook welkom.

De vraag:
Het lijkt mij een vaker voorkomende situatie dat data noodzakerlijkerwijs in 2 databases terecht komt, maar het lijkt alsof ik weinig kan vinden om hier mee om te gaan. Wie heeft er suggesties

Relevante software en hardware die ik gebruik
- Postgress 9.6 hosted op Azure
- Sql Server (zelfde azure group)

Wat ik al gevonden of geprobeerd heb
- In Azure zit een database synchronisatie optie, maar zover ik kan vinden werkt dit alleen tussen verschillende SQL data bases
- Ik heb geprobeerd de tool direct naar Mssql te laten schrijven, maar krijg dat niet werkend (adv SQL alchemy library)
- Verder kan ik wel dingen vinden over linked databases, maar het lijkt dat die allemaal gebaseerd zijn op het feit dat de database op de lokale computer draait en niet in Azure.

[ Voor 18% gewijzigd door yozgoesdigital op 30-11-2017 13:06 . Reden: perongeluk te vroeg op posten geklickt ]

[Brahiewahiewa]

Ik zou gewoon dat python script wijzigen, zodat die naar een sql-server wegschrijft

[yozgoesdigital]

Brahiewahiewa schreef op donderdag 30 november 2017 @ 13:05:
Ik zou gewoon dat python script wijzigen, zodat die naar een sql-server wegschrijft

ik had iets te vroeg op verstuur geklikt: ik heb al geprobeerd de tool om te zetten, maar kom daar niet uit.

De tool die ik gebruik is:
https://wiki.commcarehq.o...CommCare+Data+Export+Tool en deze gebruikt weer de SQL alchemy library

[Meekoh]

yozgoesdigital schreef op donderdag 30 november 2017 @ 12:59:
- Verder kan ik wel dingen vinden over linked databases, maar het lijkt dat die allemaal gebaseerd zijn op het feit dat de database op de lokale computer draait en niet in Azure.

Wat je bedoeld zijn Linked Servers. Op een gewone SQL Server installatie (desnoods in een VM in Azure) kun je een linked Server definieren. Daarmee connect je naar je Postgres Server.
Vervolgens kun je vanuit SQL Server met de Postgress DB praten.
Ik kan het zelf alleen niet testen op het moment, azure credits zijn op

[The Eagle]

Views maken over een databaselink. PostgreSQL snapt meen ik gewoon JDBC en ik mag hopen dat die SQL server op Azure standaard een JDBC driver aan boord heeft.
Dan is het een kwestie van db link definieren en views er op bouwen

[mindcrash]

Voor dit soort problematiek kun je binnen Azure gebruik maken van Data Factory, vergelijkbaar met on-prem SQL Server Integration Services (voor de liefhebbers: je kunt er ook SSIS packages naartoe migreren, maar dat even terzijde).

Vervolgens hang je aan de ene kant je PostgresSQL database als source in een pipeline, je SQL Server database vervolgens als sink, daartussen definieer je eventueel je transformaties (indien nodig) en je bent min of meer klaar.

[yozgoesdigital]

De linked server voorbeelden die ik vind zijn zover ik zie alleen voor de 'on premises' databases. Anders zou dat wel een goede optie zijn.

mindcrash schreef op vrijdag 8 december 2017 @ 14:41:
Voor dit soort problematiek kun je binnen Azure gebruik maken van Data Factory, vergelijkbaar met on-prem SQL Server Integration Services (voor de liefhebbers: je kunt er ook SSIS packages naartoe migreren, maar dat even terzijde).

Vervolgens hang je aan de ene kant je PostgresSQL database als source in een pipeline, je SQL Server database vervolgens als sink, daartussen definieer je eventueel je transformaties (indien nodig) en je bent min of meer klaar.

Deze optie lijkt inderdaad wat ik nodig heb. Ik ben er al even mee aan het stoeien geweest, maar kreeg het nog niet aan de praat. Ik denk dat het meer een kwestie van tijd is.