BI voor dummies (en SQL-opa's)

[avotar]

Ik ben nu een jaar of wat naast mijn normale werk bezig met BI.
Alleen merk ik dat BI een net andere denkwijze vereist dan bijvoorbeeld relationele SQL.

Helaas ben ik de laatste 20 jaar (ja, opa verteld) bezig geweest met SQL en PL/SQL.
Ik moet dus gaan omdenken.

Weten jullie hier toevallig sites en/of trainingen voor die mij hierbij kunnen helpen?

[Outerspace]

Dit topic past niet echt in Tweakers Lounge, maar eerder in Devschuur of PFSL. Wel zou ik je topic uitbreiden met wat je allemaal al hebt gevonden, waarom die keuze mogelijk niks was en wat je dan wel allemaal wilt.

Je topic is daarom verplaatst.

[Voor 10% gewijzigd door Outerspace op 25-01-2021 08:40]

[Woy]

@avotar zou je iets meer toe kunnen lichten wat je precies zoekt en wat je zelf al gezocht en gevonden hebt?

[Kalentum]

@avotar Ik ben benieuwd waar je dan tegen aanloopt... BI is nogal een vaag gedefinieerd begrip.

[SymbolicFrank]

Wat is BI?

[Janoz]

SymbolicFrank schreef op maandag 25 januari 2021 @ 12:42:
Wat is BI?

Euhm... Wikipedia: Business intelligence

Knap dat je met bv Google niet op deze informatie hebt kunnen komen...

[OnTracK]

Janoz schreef op maandag 25 januari 2021 @ 12:48:
[...]


Euhm... Wikipedia: Business intelligence

Knap dat je met bv Google niet op deze informatie hebt kunnen komen...

Tsja, ik kwam op Bio-informatica. En ik ken het ook nog als Bedrijfskundige Informatica. Dus ik vind het geen vreemde vraag.

[Voor 6% gewijzigd door OnTracK op 25-01-2021 12:56]

[Janoz]

OnTracK schreef op maandag 25 januari 2021 @ 12:53:
[...]
Tsja, ik kwam op Bio-informatica. Dus ik vind het geen vreemde vraag.

Hmm, als ik in incognito-mode google naar BI krijg ik 3 pagina's die over Business Intelligence gaan muv 1 over bi-sexualiteit en twee over het voorvoegsel . Gebruik ik mijn normale browser dan is het alleen maar Business Intelligence

[SymbolicFrank]

In dat geval sluit ik me bij @Kalentum aan: dat is weer zo'n nietszeggend kapstokbegrip.

[Janoz]

@avotar Wat bedoel je precies met omdenken? Beide gebieden hebben namelijk een behoorlijke overlap. Ik ben dan ook wel benieuwd waar jij vind dat die andere denkwijze zit en waarom dat omdenken vereist.

Is het omdat je bij klasieke sql vaak op zoek bent naar een specifiek stuk data, terwijl je bij BI veel meer aan het aggregeren bent? Is het het verschil tussen SQL en NO-SQL oplossingen? Is het het de-normalizeren? Als je aangeeft wat je precies wilt omdenken is het voor ons ook makkelijker om aan te geven hoe het moet.

[80000]

@avotar Ja dat herken ik wel, toen ik 12 jaar geleden met BI in aanraking kwam en daarvoor alleen met SQL en procedureel PL/SQL (en andere procedurele talen) kende, was dat wel een omslag.

In onze organisatie, zag je ook dat de meesten wel de omslag maakten, maar een enkeling bleef maar "sequentieel/procedureel" denken en oplossingen op die manier zoeken. Ik weet niet of ik het daarmee goed beschrijf of jouw probleem raak, maar zoals Janoz zegt, aggregatie is denk ik hier de key word voor BI en dan op welke dimensie wil je dit bereiken.

Ik zelf heb toen maar een goed boek genomen, die wat dieper gaat dan alleen maar de star schema theorie behandelden: http://chrisadamson.com/mastering-data-warehouse-aggregates.
Verder heb ik de achtergrond van de Kimball matrix gelezen (het is maar een hulpmiddel), maar misschien dat het je helpt om een beeld te vormen.

[SymbolicFrank]

Wat is het doel? Er zijn zoveel verschillende manieren om daar mee om te gaan en zoveel verschillende scenario's, dat het me heel moeilijk lijkt om dat te generaliseren.

Een populaire toepassing is data mining: kijken of je uit je klantenbestand en gebruikersdata kunt bepalen wat je klanten er mee doen, zodat je gericht reclame kunt maken en nieuwe diensten aanbieden. Maar het kan ook zijn dat je data moet ophalen uit verschillende bronnen om een mooie managementrapportage / dashboard te kunnen maken. Hoe ga je dat aanpakken? Via imports en exports periodiek een nieuwe database vullen en daar queries op draaien? Proberen om al die databases over te hevelen naar 1 grote database? Queries draaien over verschillende databases?

De reden dat NoSQL databases (en vergelijkbare key-value oplossingen, zoals bij de eerste Azure) bestaan, is omdat SQL databases slecht schalen. De gebruikte databases zijn zelden allemaal hetzelfde. En je moet ook de juiste rechten hebben om queries op al die databases te mogen draaien.

Het is meestal dus vooral een politiek probleem, gecombineerd met het bouwen van allerlei verschillende interfaces om aan je data te kunnen komen. Daarna kun je alsnog die query uitvoeren. Of je moet er een programma voor schrijven. En je moet dat mogelijk voor iedere vraagstelling opnieuw in kaart brengen.

[Mr. HTTP]

avotar schreef op maandag 25 januari 2021 @ 07:20:
Weten jullie hier toevallig sites en/of trainingen voor die mij hierbij kunnen helpen?

Verdiep je eens in de wereld rondom Grafana, Influx en Prometheus.

How Bloomberg's Central Telemetry Team Drives Value

SQL and Business Analytics

Data Driven Decision Making Meets Finance - Natalie Kortum (Decision Sciences Leader)
[YouTube: https://www.youtube.com/watch?v=jH2B3sl9_8c]

"Why Do Businesses Fail At Machine Learning?" by Cassie Kozyrkov from Google

Als je eenmaal weet welke termen er gebruikt worden en wat je nou precies wil bewerkstelligen is de informatiestroom eindeloos.

[Voor 41% gewijzigd door Mr. HTTP op 25-01-2021 20:03]

[SymbolicFrank]

Het klinkt leuk en staat mooi op je CV. Wissel het af met wat Cloud Computing en iedereen is blij. Voeg wat Blockchain toe zoals gewenst.

Walk the walk, talk the talk.

Technisch geen inhoud, maar dat boeit niet.

[Voor 9% gewijzigd door SymbolicFrank op 26-01-2021 00:51]

[gekkie]

Ik zie niet zo goed in wat die andere denkwijze dan precies zou moeten inhouden, behalve dan misschien dat het mode is (en vaak niet eens zo noodzakelijk) om "realtime" inzicht te hebben in allerhande zaken ipv eens in de zoveel tijd een rapport gegenereerd te krijgen.
BI is toch min of meer het inzichtelijk maken (en soms nieuwe inzichten op doen) uit bestaande of nieuw te vergaren data, door te aggregeren en te combineren en vervolgens te visualiseren. Of je bron dan no-sql of sql, een stapel csv files, log files of nog ruwere en minder gestructureerde data is maakt daar ansich toch weinig voor uit.
Nou weet ik niet wat je oorspronkelijke denkwijze is, als je denk dat deze zou moeten veranderen, maar ik zie vooral veel oude wijn in nieuwe zakken (wat sneller gegenereerd en wat gelikter qua presentatie, maar inhoudelijk slaat wat uit BI komt nog steeds vaak genoeg de plank mis op dezelfde wijzen zoals het altijd al heeft gedaan).

Kortom iets uitgebreidere input van hoe jij tegen de zaken aankijkt lijkt me handig.

[Voor 5% gewijzigd door gekkie op 26-01-2021 01:01]

[Woy]

SymbolicFrank schreef op dinsdag 26 januari 2021 @ 00:49:
Het klinkt leuk en staat mooi op je CV. Wissel het af met wat Cloud Computing en iedereen is blij. Voeg wat Blockchain toe zoals gewenst.

Walk the walk, talk the talk.

Technisch geen inhoud, maar dat boeit niet.

Ach kom op zeg, je weet eerst niet wat BI is, dan kom je met een onsamenhangend klok/klepel verhaal, en dan probeer je het af te doen als een buzzword. Prima dat het niet jouw line of work is, maar blijf dan gewoon buiten het topic, want op deze manier voeg je ieder geval niets constructiefs toe.

[Voor 5% gewijzigd door Woy op 26-01-2021 08:29]

[Hydra]

SymbolicFrank schreef op dinsdag 26 januari 2021 @ 00:49:
Technisch geen inhoud

Dit beschrijft je eigen posts ook erg goed. Ik denk niet dat OP erg gediend is met iemand die dit soort dingen gaat verkondigen.

Als je OP niet kan of wil helpen, zeg dan gewoon niks.

[Hydra]

avotar schreef op maandag 25 januari 2021 @ 07:20:
Weten jullie hier toevallig sites en/of trainingen voor die mij hierbij kunnen helpen?

Coursera heeft een hoop: https://www.coursera.org/...y=business%20intelligence
Udemy heeft ze ook: https://www.udemy.com/cou...ence-analyst-course-2018/

Heb er zelf geen ervaring mee, maar er is genoeg te vinden kwa cursussen.

[SymbolicFrank]

Ok. Hoe ziet een gemiddeld BI systeem er uit?

[Palomar]

Wat wil je precies weten? Je zou om te beginnen kunnen zoeken op 'dimensioneel modelleren', dat geeft al veel inzicht in de 'andere denkwijze'.

[SymbolicFrank]

Ik heb twintig jaar geleden bij een bedrijf gewerkt waar ze 45 groepjes met een eigen database hadden waar je alleen op verzoek data uit kon krijgen. Bij een project voor een bank 6 jaar geleden was het niet veel beter.

Aan de andere kant moet bij ASML alles in een Oracle database. Maar omdat het al snel een jaar duurt om zo'n project officieel aan te vragen, gebruiken de meeste projecten een Access of MySQL database, want die kun je zelf maken. En uiteraard moet je daar ook toegang voor iedere database aanvragen, als je hem kunt vinden. Je mag zelden queries draaien, je kunt meestal periodieke exports krijgen.

Het is wel heel leuk om te bedenken hoe je dat zelf in zou richten als al die beperkingen er niet waren. Voor grote bedrijven of bedrijven die iets doen met persoonsgegevens moeten alle servers in eigen beheer blijven. Als je alles op 1 locatie opslaat gaat het hele bedrijf plat als de netwerkverbinding wegvalt. En moeten de bestaande systemen van die enorme, nieuwe data-opslag gebruik maken, of moeten die allemaal vervangen worden? Want anders heb je toch weer een berg imports en exports, maar dan andersom.

Maar het lijkt me heel leuk en leerzaam om eens een tijdje bij Google, Amazon of Microsoft aan dat soort producten te werken.

[scosec]

Net een beetje wat je wil leren.. Er zijn zoveel opties. Wil je leren modelleren of wil je een modern data warehouse leren ontwikkelen? Puur voor de hobby of bedrijfsmatig?

Ik zit in de Microsoft hoek waarin wij ons bestaande datawarehouse hebben ontwikkeld op basis van het kimball model (dimensions en facts). Daarnaast gebruiken we SQL Server Integration Services (SSIS) voor ETL/ELT doeleinden.

Nu zou je kunnen zeggen dat deze methodes verouderd zijn aangezien er voor enterprise een verschuiving plaatsvind naar de cloud waarin je gebruik kun maken van technieken als PowerBI, Synapse en Datafactory.

[RobIII]

SymbolicFrank schreef op dinsdag 26 januari 2021 @ 11:51:
Ik heb twintig jaar geleden bij een bedrijf gewerkt waar ze 45 groepjes met een eigen database hadden waar je alleen op verzoek data uit kon krijgen. Bij een project voor een bank 6 jaar geleden was het niet veel beter.

Wil je aub proberen @avotar's topic niet te kapen met totaal irrelevant en ongerelateerd gemijmer? Je reacties hier in dit topic zijn nou niet bepaald behulpzaam en leiden het topic steeds af.

Als je het begrip en totale vakgebied niet kent, prima, geeft niks, maar verdiep je er dan ergens in - dit topic is daar niet de plek voor.

[Voor 11% gewijzigd door RobIII op 26-01-2021 12:38]

[avotar]

Allereerst, bedankt voor alle reacties.
Sorry dat ik nog geen gelegenheid heb gehad om te reageren.

Ik zal even wat meer achtergrond informatie geven, want in tegenstelling tot wat hierboven door sommigen beweerd wordt, heb ik absoluut geen behoefte aan het pimpen van mijn CV.
Mijn CV spreekt voor zich.

Nee, bij ons gebruiken we sinds een jaar of 2 het pakket QlikSense, een behoorlijk krachtige rapportage tool. Vergelijkbaar met Microsoft PowerBI of Tableau.

Nu ben ik al sinds '99 met SQL aan de gang en vanwege mijn achtergrond ben ik dus ook een van de leads voor Qlik.
Wat je er verder ook van vind, dit is wat we gebruiken en voor iemand die vroeger rapportjes en formulieren moest bouwen met Oracle Reports 2.3 of tegenwoordig met Excel is dit een verademing

Maar ik merk dat ik mezelf qua modeleren (wat je met dit pakket feitelijk doet om de data op voorhand aan elkaar te knopen) in de weg zet omdat ik, zoals bv ook @80000 benoemde, te veel SQL denk en te weinig in ster diagrammen of hoe ze dat ook noemen.


En nu ik budget heb voor trainingen, dacht ik dat ik mezelf eens ging trakteren op wat leuks in plaats van het mezelf weer leren (wat natuurlijk altijd nog kan en waarvoor ik hier al heel wat inspiratie gevonden heb).
Ik wil ook voorkomen dat ik in een of ander sql beginners klasje terecht kom. Daar voel ik me dan weer net te groot voor.

[TurnTheLightsOn]

BI vergt inderdaad een andere aanpak/manier van denken dan hoe je een ERP-database bouwt/opzet. Voor BI ga je meer denken in Dimensional Data Modeling terwijl je bij ERP meer transactioneel denkt.

Qlik doet daar nog een schepje bovenop door in je datamodel enkel relaties (automatisch) te leggen tussen tabellen op basis van gemeenschappelijke veldnamen. Als je dus 2 gemeenshcappelijke dimensies hebt in 2 tabellen, krijg je een synthetic key (die dan weer nefast is voor performance).

Dus als je twee fact-tabellen hebt en wat dimensies daarrond moet je met een link-table gaan werken etc.

Qua datamodellering zijn er dan ook nog paar tips & trics. Zoals master calendar enzo...

Er zijn verschillende bedrijven die hier trainingen in geven, hangt af van je budget maar ook op maat (op je eigen dataset) is perfect mogelijk (DM me gerust ).

[80000]

avotar schreef op dinsdag 26 januari 2021 @ 15:11:
... Oracle Reports 2.3 ...

Noem mij maar ook opa, want dat heb ik op een blauwe maandag ook eens gedaan.

avotar schreef op dinsdag 26 januari 2021 @ 15:11:
Maar ik merk dat ik mezelf qua modeleren (wat je met dit pakket feitelijk doet om de data op voorhand aan elkaar te knopen) in de weg zet omdat ik, zoals bv ook @80000 benoemde, te veel SQL denk en te weinig in ster diagrammen of hoe ze dat ook noemen.

En nu ik budget heb voor trainingen, dacht ik dat ik mezelf eens ging trakteren op wat leuks in plaats van het mezelf weer leren (wat natuurlijk altijd nog kan en waarvoor ik hier al heel wat inspiratie gevonden heb).
Ik wil ook voorkomen dat ik in een of ander sql beginners klasje terecht kom. Daar voel ik me dan weer net te groot voor.

Ik blijf nog steeds bij mijn advies een cursus over de theorie van Kimbal modellering en over performance en tuning van ster schemas. Met zo'n lange Oracle SQL kennis, denk ik dat je waarde (performance) van een ster schema (basale ster = 1 fact tabel en 1 dimensie tabel) vs relationeel schema snel zal begrijpen.

Voor de duidelijkheid: In de basis is een query op een ster schema ook maar een SQL statement wat je echt zo kan opdreunen.

Opa vertelt:
Ik was bij een project betrokken, waar alle business processes, verschillende ERP's in een analytisch schema gestoken moesten worden (ster diagramen, snowflakes, kpi's e.d waar nodig) voor rapportage all in met behulp van Oracle BI.
Gaandeweg, bleek er 1 of andere kleine business unit al een Qlik licentie te hebben en jaren vooruit betaald. Nog een andere business unit wilde graag Power BI gebruiken, ipv van Oracle BI.

De board heeft dit allemaal approved en we hebben de business units gewoon op het Oracle analytisch schema toegang gegeven en happy reporting met hun tool (ziet er ook leuker uit dan Oracle BI).

Veel belangrijker: omdat ze hetzelfde schema (met conforming dimensies en facts) gebruikten was het resultaat dat ieder tool ook dezelfde cijfers rapporteerden, geen onderlinge ruzies meer tussen de units en hoger management wie nou gelijk had.

Ik probeer maar te zeggen dat de kracht in het model zit, niet in de tool.