Procedurele scripts vervangen door OOP oplossing (ESB?)

[Piemol]

Hallo allemaal,

Binnen een PHP/MySql applicatie moet ik regelmatig CRUD operaties doen op basis van informatie die van buitenaf de database in komt. Dit lijkt mij zeker geen unieke uitdaging en ik zoek hier een generieke oplossing voor.
Maar nu lukt het mij toch niet om bestaande, generieke oplossingen te vinden voor dit probleem, ik denk dat ik de juiste termen niet ken. Hetgeen het dichtst in de buurt komt van de oplossing die ik zoek lijkt mij een ESB oplossing, maar die is er niet out of the box voor PHP/MySQL waar dit toch wel het liefst in geïntegreerd moet gaan worden.
Ik heb al veel op internet gezocht op: poller, dynamic importer, esb.

Dus wat moet 'de oplossing' kunnen?

• informatie uit (willekeurige) tabellen halen
• per 'rij' de data valideren
• crud acties uitvoeren (willekeurige andere tabellen)
• rapporteren welke data wel/niet verwerkt is

Omdat de 'brontabellen' groot kunnen zijn, moet deze oplossing brondata in stukjes op kunnen hakken en onthouden waar gebleven.

Wat zijn van toepassing zijnde termen voor dergelijke 'uitdagingen'?
Wat zijn van toepassing zijnde termen voor bijpassende generieke oplossingen?
Zijn er (basis) oplossingen in specifiek php/mysql beschikbaar?

[Woy]

Het klinkt mij een beetje als een Extract - Transform - Load (ETL) process.

[Piemol]

Hartstikke bedankt voor je snelle reactie.
ETL lijkt de lading een stuk beter te dekken dan ESB: de informatie blijft binnen één en dezelfde applicatie/database, er zijn geen API's aanwezig en er vindt geen berichtuitwisseling plaats.
Ik kan mij niet herinneren dat ik deze term tegen gekomen ben in mijn zoektocht.
Op Github staan meerdere projecten waar ik op z'n minst lering uit kan trekken.

Mochten er nog meer ideeën zijn houdt ik mij aanbevolen.

[Lethalis]

Woy schreef op woensdag 5 december 2018 @ 12:44:
Het klinkt mij een beetje als een Extract - Transform - Load (ETL) process.

Dit dus. Wederom heb ik geen ervaring hoe je dit met PHP / MySQL zou doen.

Maar bij SQL Server kun je dit oplossen met SQL Server Integration Services:

https://docs.microsoft.co...guide/relational-data/etl

https://docs.microsoft.co...ices?view=sql-server-2017

Het idee is dan dat je SSIS packages maakt die op vastgestelde tijden draaien en de bewerking doen.

Wel lijkt mij dat je dit tot een bepaalde basis kunt reduceren voor MySQL, in die zin dat je waarschijnlijk een stored procedure kunt schedulen die dit soort taken uitvoert.