[dbOntwerp] OLAP design/vragen

[LuCarD]

We gaan hier op me werk beginnen met een datawarehouse project. We gaan het waarschijnlijk niet zelf doen, maar om het in goede banen te begeleiden wil ik toch wat kennis hebben van de stof.

Maar op het internet kan ik weinig tutorials vinden over OLAP, wel een groot scala aan producten. Maar hoe kan je nu een product selecteren als je de kennis niet hebt. En me zelf uitleveren aan een consulent lijkt me geen goed idee.

Om te beginnen weet iemand een goed boek?
Online tutorial en/of documentatie?

En dan nog een paar meer concrete vragen:
- Je hebt 3 OLAP modellen, MOLAP, ROLAP en HOLAP. Is ROLAP nou gelijk aan OLTP, aangezien de data op relatie niveau wordt opgeslagen?
-Star en Snowflake Schemas zijn dat geen andere namen voor MOLAP en ROLAP?
- Hoe ontwerp je nu zo'n datacube? Ontwerp je ze aan de hand van de gewenste reports, of aan de hand van de data? Lijkt me niet dat je aan de hand van reports gaat werken. Maar hoe weet je dan welke data je moet aggregeren ( group ) ?
- Een OLAP database moet elke keer compleet gevuld en compleet opnieuw ge-grouped worden uit de bron database.Klopt dit? Maar hoe gaat dat met grote databases? ( onze database is namelijk 25Gb voor 5 jaar ).

[Verwijderd]

MOLAP / ROLAP (HOLAP is een combinatie van de voorgaande twee) ze lopen in de meeste toepassing nog wel eens door elkaar. Op zich niet veel zorgen over maken, ROLAP hangt nog tegen het relationeel benaderen van je cubes. MOLAP geeft veel meer vrijheid in het combinatie leggen van diverse dimensies met je facts en kan dit ook zeer snel. Maar ook hier, wat wenst de gebruiker?

Het ontwikkelen van OLAP cubes, maar ook andere rapportages werken het best met Star-schema's. Dit is voor eind gebruikers de meeste simpele vorm. Snowflake ontkom je niet altijd aan maar probeer dit te beperken.

Cubes worden meestal door een aparte tool gemaakt, o.a. Cognos Powerplay is op dit vlak een speler. Je maakt cubes op basis van gebruikerswensen, en niet data-driven dit geeft veel overhead en een cube is gemaakt om snel te reageren op mogelijke rapportage en analyses. De cubes kunnen daarna zowel teruggeschreven worden naar een database (SQL, DB2, etc) of als toepassings eigen formaat. MS SQL heeft een OLAP module inzich op zich handig om daar naar te kijken.

De voorkeur heeft om de OLAP database of cube steeds opnieuw te bouwen, indien dit niet kan probeer dan bv elke dag incrementeel bij te werken en één keer per week of maand een volledige rebuild. Op deze wijze zorg je ervoor dat het geheel juist en snel geindexeerd blijft.

Wij verwerken één keer per week uit een database van rond de 50 miljoen records +/- 15 miljoen records in een MOLAP cube, dit is binnen een uur verwerkt. Hierbij zijn een goed ontworpen star-schema en een cube ontwerp zeker geen overbodige luxe.