DWH bouwen

[frankdegraaf82]

Hallo,

Ik ben bezig met het bouwen van een centrale DWH om zo makkelijker de gegevens te kunnen benaderen. Onze organisatie werkt met veel kleine databases, wat het op dit moment onmogelijk maakt om data gemakkelijk te combineren.

We zijn op dit moment op het punt dat we alle individuele databronnen samen hebben gebracht op 1 server door middel van SQL server. Deze gegevens willen we nu overbrengen naar het centrale DWH inclusief business rules zodat gecombineerd samen komt.

De vraag is: bestaat er (goedkope) tooling die de data samenbrengt in het DWH zonder het schrijven van uitgebreide scripts? Dit om het proces lijdend te laten zijn.

Alvast dank voor jullie hulp.

Gr

[Davidshadow13]

Tooling hiervoor bestaat zeker. Maar in de eerste plaats die je je af te vragen met welke modelleringstechniek je jouw DWH wilt modelleren. Wil je voor een Data Vault model gaan, met als voordeel dat je compleet inzicht hebt in je historie en mutaties of wil je liever iets bouwen op een historische staging area.

De meeste van deze tools zijn echt gericht op Enterprise Datawarehouses en daarmee ook verre van goedkoop. Denk dan aan oplossingen zoals van Wherescape of Datavault Builder. Je moet dan toch zeker rekenen op enkele duizenden tot tienduizenden euro's per jaar aan licentiekosten en onderhoudskosten.

Er zijn ook kleinere partijen met goedkopere oplossingen natuurlijk, maken meer gebruik van maatwerk of gestandaardiseerde scripts. Als je het echt zelf wilt gaan bouwen en onderhouden dan is een volledige software tool wel makkelijk natuurlijk. Mocht je hier interesse in hebben kun je mij altijd een DM sturen. Ik ontwikkel zelf een dergelijk softwarepakket en kan je misschien helpen om een keuze te maken.

[frankdegraaf82]

Op advies hebben wij voor een Kimball variant gekozen. Dat wil zeggen we extraheren de data uit de individuele databronnen naar een ‘datastore’ waar ook de historie wordt opgebouwd door middel van SQL server. Dat wil zeggen dat gewijzigde records worden toegevoegd aan de bak met de data en vervangt daarmee het oude record en verplaatst deze oude in de historie met een einddatum.
Het idee is om deze data over te brengen naar een centrale DWH waarbij de data gecombineerd word door middel van business rules tot uniforme data.

Beantwoord dit jouw vraag?

[Davidshadow13]

Duidelijk. In dit geval heb je in SQL Server dus als een historische staging aangelegd welke je historie bijhoudt. Als je dan enkel nog business rules wilt gaan toepassen, wil je dus eigenlijk Datamarts gaan bouwen bovenop deze staging area. Dit kan ook met Kimball, je kunt dan Feiten en Dimensies gaan modelleren waar je jouw business logica in toe kunt passen.

Je hebt ook hier de keuze uit heel veel tooling. Als je een relatief kleine omgeving hebt kun je kijken naar Tableau. Hierin kun je zowel Datamarts als rapportages maken en is relatief eenvoudig om te gebruiken. Maar is voor grotere datawarehouses eigenlijk niet geschikt dan zal je toch naar een aparte tooling voor je DWH en Datamarts moeten en je Reporting in een aparte front-end tool. Je zou dan kunnen kijken naar BIML Studio of SSAS / SSRS van Microsoft zelf. Al zul je in dat geval nog veel Datamarts zelf moeten gaan scripten.

[frankdegraaf82]

Dank je wel voor je informatie dusver.
We hebben inderdaad een compleet historische staging database gemaakt van elke brondatabase binnen onze organisatie.
We willen inderdaad Datamarts gaan bouwen. Maar wel graag met een tussenlaag waarin al bepaalde business rules zijn vastgelegd zodat we niet voor elke DataMart het wiel opnieuw hoeven uit te vinden.
We hebben op dit moment de beschikking over de Enterprise versie van SSAS/SSRS en SSIS van Microsoft en Visual Studio datatools als ontwikkelomgeving.
Met SSIS kan je hier al heel veel mee doen, echter moet je dan veel repeterend werk doen, wat tijdrovend en foutgevoelig is. Dat is dus het stuk wat we zouden willen automatiseren.
BIML studio heb ik op jouw advies bekeken en dat zou hiervoor een prima oplossing kunnen zijn, echter hebben we wel te maken met een beperkt budget voor tooling. Ken jij goedkopere alternatieven voor soortgelijke tools?