Cookies op Tweakers

Tweakers is onderdeel van DPG Media en maakt gebruik van cookies, JavaScript en vergelijkbare technologie om je onder andere een optimale gebruikerservaring te bieden. Ook kan Tweakers hierdoor het gedrag van bezoekers vastleggen en analyseren. Door gebruik te maken van deze website, of door op 'Cookies accepteren' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt? Bekijk dan ons cookiebeleid.

Meer informatie
Toon posts:

BI voor dummies (en SQL-opa's)

Pagina: 1
Acties:

  • avotar
  • Registratie: augustus 2006
  • Laatst online: 22-06 11:23

avotar

P0werd by Black Coffee

Topicstarter
Ik ben nu een jaar of wat naast mijn normale werk bezig met BI.
Alleen merk ik dat BI een net andere denkwijze vereist dan bijvoorbeeld relationele SQL.

Helaas ben ik de laatste 20 jaar (ja, opa verteld) bezig geweest met SQL en PL/SQL.
Ik moet dus gaan omdenken.

Weten jullie hier toevallig sites en/of trainingen voor die mij hierbij kunnen helpen?

"The H in Engineering stands for Happiness...... | "Arrogance has to be earned. Tell me what you've done to earn yours." - House MD


  • Outerspace
  • Registratie: februari 2002
  • Laatst online: 21:44

Outerspace

Moderator General Chat

AFX Ghey Edition by HlpDsK

Dit topic past niet echt in Tweakers Lounge, maar eerder in Devschuur of PFSL. Wel zou ik je topic uitbreiden met wat je allemaal al hebt gevonden, waarom die keuze mogelijk niks was en wat je dan wel allemaal wilt.

Je topic is daarom verplaatst.

[Voor 10% gewijzigd door Outerspace op 25-01-2021 08:40]

Jack of all trades | Screener | Tweakers Gallery | Spotify!


  • Woy
  • Registratie: april 2000
  • Niet online

Woy

Moderator Devschuur®
@avotar zou je iets meer toe kunnen lichten wat je precies zoekt en wat je zelf al gezocht en gevonden hebt?

“Build a man a fire, and he'll be warm for a day. Set a man on fire, and he'll be warm for the rest of his life.”


  • Kalentum
  • Registratie: juni 2004
  • Laatst online: 22:09
@avotar Ik ben benieuwd waar je dan tegen aanloopt... BI is nogal een vaag gedefinieerd begrip.

PVoutput


  • SymbolicFrank
  • Registratie: november 2010
  • Laatst online: 00:26
Wat is BI?

  • Janoz
  • Registratie: oktober 2000
  • Laatst online: 00:03

Janoz

Moderator Devschuur®

!litemod

Euhm... Wikipedia: Business intelligence

Knap dat je met bv Google niet op deze informatie hebt kunnen komen...

Ken Thompson's famous line from V6 UNIX is equaly applicable to this post:
'You are not expected to understand this'


  • OnTracK
  • Registratie: oktober 2002
  • Laatst online: 23:57
Janoz schreef op maandag 25 januari 2021 @ 12:48:
[...]


Euhm... Wikipedia: Business intelligence

Knap dat je met bv Google niet op deze informatie hebt kunnen komen...
Tsja, ik kwam op Bio-informatica. En ik ken het ook nog als Bedrijfskundige Informatica. Dus ik vind het geen vreemde vraag.

[Voor 6% gewijzigd door OnTracK op 25-01-2021 12:56]

Not everybody wins, and certainly not everybody wins all the time.
But once you get into your boat, push off and tie into your shoes.
Then you have indeed won far more than those who have never tried.


  • Janoz
  • Registratie: oktober 2000
  • Laatst online: 00:03

Janoz

Moderator Devschuur®

!litemod

OnTracK schreef op maandag 25 januari 2021 @ 12:53:
[...]
Tsja, ik kwam op Bio-informatica. Dus ik vind het geen vreemde vraag.
Hmm, als ik in incognito-mode google naar BI krijg ik 3 pagina's die over Business Intelligence gaan muv 1 over bi-sexualiteit en twee over het voorvoegsel . Gebruik ik mijn normale browser dan is het alleen maar Business Intelligence

Ken Thompson's famous line from V6 UNIX is equaly applicable to this post:
'You are not expected to understand this'


  • SymbolicFrank
  • Registratie: november 2010
  • Laatst online: 00:26
In dat geval sluit ik me bij @Kalentum aan: dat is weer zo'n nietszeggend kapstokbegrip.

  • Janoz
  • Registratie: oktober 2000
  • Laatst online: 00:03

Janoz

Moderator Devschuur®

!litemod

@avotar Wat bedoel je precies met omdenken? Beide gebieden hebben namelijk een behoorlijke overlap. Ik ben dan ook wel benieuwd waar jij vind dat die andere denkwijze zit en waarom dat omdenken vereist.

Is het omdat je bij klasieke sql vaak op zoek bent naar een specifiek stuk data, terwijl je bij BI veel meer aan het aggregeren bent? Is het het verschil tussen SQL en NO-SQL oplossingen? Is het het de-normalizeren? Als je aangeeft wat je precies wilt omdenken is het voor ons ook makkelijker om aan te geven hoe het moet.

Ken Thompson's famous line from V6 UNIX is equaly applicable to this post:
'You are not expected to understand this'


  • 80000
  • Registratie: januari 2002
  • Laatst online: 00:25

80000

mrox

@avotar Ja dat herken ik wel, toen ik 12 jaar geleden met BI in aanraking kwam en daarvoor alleen met SQL en procedureel PL/SQL (en andere procedurele talen) kende, was dat wel een omslag.

In onze organisatie, zag je ook dat de meesten wel de omslag maakten, maar een enkeling bleef maar "sequentieel/procedureel" denken en oplossingen op die manier zoeken. Ik weet niet of ik het daarmee goed beschrijf of jouw probleem raak, maar zoals Janoz zegt, aggregatie is denk ik hier de key word voor BI en dan op welke dimensie wil je dit bereiken.

Ik zelf heb toen maar een goed boek genomen, die wat dieper gaat dan alleen maar de star schema theorie behandelden: http://chrisadamson.com/mastering-data-warehouse-aggregates.
Verder heb ik de achtergrond van de Kimball matrix gelezen (het is maar een hulpmiddel), maar misschien dat het je helpt om een beeld te vormen.

  • SymbolicFrank
  • Registratie: november 2010
  • Laatst online: 00:26
Wat is het doel? Er zijn zoveel verschillende manieren om daar mee om te gaan en zoveel verschillende scenario's, dat het me heel moeilijk lijkt om dat te generaliseren.

Een populaire toepassing is data mining: kijken of je uit je klantenbestand en gebruikersdata kunt bepalen wat je klanten er mee doen, zodat je gericht reclame kunt maken en nieuwe diensten aanbieden. Maar het kan ook zijn dat je data moet ophalen uit verschillende bronnen om een mooie managementrapportage / dashboard te kunnen maken. Hoe ga je dat aanpakken? Via imports en exports periodiek een nieuwe database vullen en daar queries op draaien? Proberen om al die databases over te hevelen naar 1 grote database? Queries draaien over verschillende databases?

De reden dat NoSQL databases (en vergelijkbare key-value oplossingen, zoals bij de eerste Azure) bestaan, is omdat SQL databases slecht schalen. De gebruikte databases zijn zelden allemaal hetzelfde. En je moet ook de juiste rechten hebben om queries op al die databases te mogen draaien.

Het is meestal dus vooral een politiek probleem, gecombineerd met het bouwen van allerlei verschillende interfaces om aan je data te kunnen komen. Daarna kun je alsnog die query uitvoeren. Of je moet er een programma voor schrijven. En je moet dat mogelijk voor iedere vraagstelling opnieuw in kaart brengen.

  • Mr. HTTP
  • Registratie: november 2020
  • Laatst online: 20-06 17:00
avotar schreef op maandag 25 januari 2021 @ 07:20:
Weten jullie hier toevallig sites en/of trainingen voor die mij hierbij kunnen helpen?
Verdiep je eens in de wereld rondom Grafana, Influx en Prometheus.

How Bloomberg's Central Telemetry Team Drives Value


SQL and Business Analytics


Data Driven Decision Making Meets Finance - Natalie Kortum (Decision Sciences Leader)
[YouTube: https://www.youtube.com/watch?v=jH2B3sl9_8c]

"Why Do Businesses Fail At Machine Learning?" by Cassie Kozyrkov from Google


Als je eenmaal weet welke termen er gebruikt worden en wat je nou precies wil bewerkstelligen is de informatiestroom eindeloos.

[Voor 41% gewijzigd door Mr. HTTP op 25-01-2021 20:03]


  • SymbolicFrank
  • Registratie: november 2010
  • Laatst online: 00:26
Het klinkt leuk en staat mooi op je CV. Wissel het af met wat Cloud Computing en iedereen is blij. Voeg wat Blockchain toe zoals gewenst.

Walk the walk, talk the talk.

Technisch geen inhoud, maar dat boeit niet.

[Voor 9% gewijzigd door SymbolicFrank op 26-01-2021 00:51]


  • gekkie
  • Registratie: april 2000
  • Laatst online: 00:21
Ik zie niet zo goed in wat die andere denkwijze dan precies zou moeten inhouden, behalve dan misschien dat het mode is (en vaak niet eens zo noodzakelijk) om "realtime" inzicht te hebben in allerhande zaken ipv eens in de zoveel tijd een rapport gegenereerd te krijgen.
BI is toch min of meer het inzichtelijk maken (en soms nieuwe inzichten op doen) uit bestaande of nieuw te vergaren data, door te aggregeren en te combineren en vervolgens te visualiseren. Of je bron dan no-sql of sql, een stapel csv files, log files of nog ruwere en minder gestructureerde data is maakt daar ansich toch weinig voor uit.
Nou weet ik niet wat je oorspronkelijke denkwijze is, als je denk dat deze zou moeten veranderen, maar ik zie vooral veel oude wijn in nieuwe zakken (wat sneller gegenereerd en wat gelikter qua presentatie, maar inhoudelijk slaat wat uit BI komt nog steeds vaak genoeg de plank mis op dezelfde wijzen zoals het altijd al heeft gedaan).

Kortom iets uitgebreidere input van hoe jij tegen de zaken aankijkt lijkt me handig.

[Voor 5% gewijzigd door gekkie op 26-01-2021 01:01]


  • Woy
  • Registratie: april 2000
  • Niet online

Woy

Moderator Devschuur®
SymbolicFrank schreef op dinsdag 26 januari 2021 @ 00:49:
Het klinkt leuk en staat mooi op je CV. Wissel het af met wat Cloud Computing en iedereen is blij. Voeg wat Blockchain toe zoals gewenst.

Walk the walk, talk the talk.

Technisch geen inhoud, maar dat boeit niet.
Ach kom op zeg, je weet eerst niet wat BI is, dan kom je met een onsamenhangend klok/klepel verhaal, en dan probeer je het af te doen als een buzzword. Prima dat het niet jouw line of work is, maar blijf dan gewoon buiten het topic, want op deze manier voeg je ieder geval niets constructiefs toe.

[Voor 5% gewijzigd door Woy op 26-01-2021 08:29]

“Build a man a fire, and he'll be warm for a day. Set a man on fire, and he'll be warm for the rest of his life.”


  • Hydra
  • Registratie: september 2000
  • Laatst online: 23:53
Dit beschrijft je eigen posts ook erg goed. Ik denk niet dat OP erg gediend is met iemand die dit soort dingen gaat verkondigen.

Als je OP niet kan of wil helpen, zeg dan gewoon niks.

https://niels.nu


  • Hydra
  • Registratie: september 2000
  • Laatst online: 23:53
avotar schreef op maandag 25 januari 2021 @ 07:20:
Weten jullie hier toevallig sites en/of trainingen voor die mij hierbij kunnen helpen?
Coursera heeft een hoop: https://www.coursera.org/...y=business%20intelligence
Udemy heeft ze ook: https://www.udemy.com/cou...ence-analyst-course-2018/

Heb er zelf geen ervaring mee, maar er is genoeg te vinden kwa cursussen.

https://niels.nu


  • SymbolicFrank
  • Registratie: november 2010
  • Laatst online: 00:26
Ok. Hoe ziet een gemiddeld BI systeem er uit?

  • Palomar
  • Registratie: februari 2000
  • Niet online
Wat wil je precies weten? Je zou om te beginnen kunnen zoeken op 'dimensioneel modelleren', dat geeft al veel inzicht in de 'andere denkwijze'.

  • SymbolicFrank
  • Registratie: november 2010
  • Laatst online: 00:26
Ik heb twintig jaar geleden bij een bedrijf gewerkt waar ze 45 groepjes met een eigen database hadden waar je alleen op verzoek data uit kon krijgen. Bij een project voor een bank 6 jaar geleden was het niet veel beter.

Aan de andere kant moet bij ASML alles in een Oracle database. Maar omdat het al snel een jaar duurt om zo'n project officieel aan te vragen, gebruiken de meeste projecten een Access of MySQL database, want die kun je zelf maken. En uiteraard moet je daar ook toegang voor iedere database aanvragen, als je hem kunt vinden. Je mag zelden queries draaien, je kunt meestal periodieke exports krijgen.

Het is wel heel leuk om te bedenken hoe je dat zelf in zou richten als al die beperkingen er niet waren. Voor grote bedrijven of bedrijven die iets doen met persoonsgegevens moeten alle servers in eigen beheer blijven. Als je alles op 1 locatie opslaat gaat het hele bedrijf plat als de netwerkverbinding wegvalt. En moeten de bestaande systemen van die enorme, nieuwe data-opslag gebruik maken, of moeten die allemaal vervangen worden? Want anders heb je toch weer een berg imports en exports, maar dan andersom.

Maar het lijkt me heel leuk en leerzaam om eens een tijdje bij Google, Amazon of Microsoft aan dat soort producten te werken.

  • scosec
  • Registratie: februari 2016
  • Laatst online: 21-06 23:07
Net een beetje wat je wil leren.. Er zijn zoveel opties. Wil je leren modelleren of wil je een modern data warehouse leren ontwikkelen? Puur voor de hobby of bedrijfsmatig?

Ik zit in de Microsoft hoek waarin wij ons bestaande datawarehouse hebben ontwikkeld op basis van het kimball model (dimensions en facts). Daarnaast gebruiken we SQL Server Integration Services (SSIS) voor ETL/ELT doeleinden.

Nu zou je kunnen zeggen dat deze methodes verouderd zijn aangezien er voor enterprise een verschuiving plaatsvind naar de cloud waarin je gebruik kun maken van technieken als PowerBI, Synapse en Datafactory.

  • RobIII
  • Registratie: december 2001
  • Laatst online: 00:11

RobIII

Admin Devschuur®

^ Romeinse Ⅲ ja!

SymbolicFrank schreef op dinsdag 26 januari 2021 @ 11:51:
Ik heb twintig jaar geleden bij een bedrijf gewerkt waar ze 45 groepjes met een eigen database hadden waar je alleen op verzoek data uit kon krijgen. Bij een project voor een bank 6 jaar geleden was het niet veel beter.
Wil je aub proberen @avotar's topic niet te kapen met totaal irrelevant en ongerelateerd gemijmer? Je reacties hier in dit topic zijn nou niet bepaald behulpzaam en leiden het topic steeds af.

Als je het begrip en totale vakgebied niet kent, prima, geeft niks, maar verdiep je er dan ergens in - dit topic is daar niet de plek voor.

[Voor 11% gewijzigd door RobIII op 26-01-2021 12:38]

There are only two hard problems in distributed systems: 2. Exactly-once delivery 1. Guaranteed order of messages 2. Exactly-once delivery.

Roses are red Violets are blue, Unexpected ‘{‘ on line 32.

Over mij


  • avotar
  • Registratie: augustus 2006
  • Laatst online: 22-06 11:23

avotar

P0werd by Black Coffee

Topicstarter
Allereerst, bedankt voor alle reacties.
Sorry dat ik nog geen gelegenheid heb gehad om te reageren.

Ik zal even wat meer achtergrond informatie geven, want in tegenstelling tot wat hierboven door sommigen beweerd wordt, heb ik absoluut geen behoefte aan het pimpen van mijn CV.
Mijn CV spreekt voor zich.

Nee, bij ons gebruiken we sinds een jaar of 2 het pakket QlikSense, een behoorlijk krachtige rapportage tool. Vergelijkbaar met Microsoft PowerBI of Tableau.

Nu ben ik al sinds '99 met SQL aan de gang en vanwege mijn achtergrond ben ik dus ook een van de leads voor Qlik.
Wat je er verder ook van vind, dit is wat we gebruiken en voor iemand die vroeger rapportjes en formulieren moest bouwen met Oracle Reports 2.3 of tegenwoordig met Excel is dit een verademing ;)

Maar ik merk dat ik mezelf qua modeleren (wat je met dit pakket feitelijk doet om de data op voorhand aan elkaar te knopen) in de weg zet omdat ik, zoals bv ook @80000 benoemde, te veel SQL denk en te weinig in ster diagrammen of hoe ze dat ook noemen.


En nu ik budget heb voor trainingen, dacht ik dat ik mezelf eens ging trakteren op wat leuks in plaats van het mezelf weer leren (wat natuurlijk altijd nog kan en waarvoor ik hier al heel wat inspiratie gevonden heb).
Ik wil ook voorkomen dat ik in een of ander sql beginners klasje terecht kom. Daar voel ik me dan weer net te groot voor.

"The H in Engineering stands for Happiness...... | "Arrogance has to be earned. Tell me what you've done to earn yours." - House MD


  • TurnTheLightsOn
  • Registratie: augustus 2020
  • Laatst online: 03-05 15:00
BI vergt inderdaad een andere aanpak/manier van denken dan hoe je een ERP-database bouwt/opzet. Voor BI ga je meer denken in Dimensional Data Modeling terwijl je bij ERP meer transactioneel denkt.

Qlik doet daar nog een schepje bovenop door in je datamodel enkel relaties (automatisch) te leggen tussen tabellen op basis van gemeenschappelijke veldnamen. Als je dus 2 gemeenshcappelijke dimensies hebt in 2 tabellen, krijg je een synthetic key (die dan weer nefast is voor performance).

Dus als je twee fact-tabellen hebt en wat dimensies daarrond moet je met een link-table gaan werken etc.

Qua datamodellering zijn er dan ook nog paar tips & trics. Zoals master calendar enzo...

Er zijn verschillende bedrijven die hier trainingen in geven, hangt af van je budget maar ook op maat (op je eigen dataset) is perfect mogelijk (DM me gerust ;)).

  • 80000
  • Registratie: januari 2002
  • Laatst online: 00:25

80000

mrox

Noem mij maar ook opa, want dat heb ik op een blauwe maandag ook eens gedaan. 8)
avotar schreef op dinsdag 26 januari 2021 @ 15:11:
Maar ik merk dat ik mezelf qua modeleren (wat je met dit pakket feitelijk doet om de data op voorhand aan elkaar te knopen) in de weg zet omdat ik, zoals bv ook @80000 benoemde, te veel SQL denk en te weinig in ster diagrammen of hoe ze dat ook noemen.

En nu ik budget heb voor trainingen, dacht ik dat ik mezelf eens ging trakteren op wat leuks in plaats van het mezelf weer leren (wat natuurlijk altijd nog kan en waarvoor ik hier al heel wat inspiratie gevonden heb).
Ik wil ook voorkomen dat ik in een of ander sql beginners klasje terecht kom. Daar voel ik me dan weer net te groot voor.
Ik blijf nog steeds bij mijn advies een cursus over de theorie van Kimbal modellering en over performance en tuning van ster schemas. Met zo'n lange Oracle SQL kennis, denk ik dat je waarde (performance) van een ster schema (basale ster = 1 fact tabel en 1 dimensie tabel) vs relationeel schema snel zal begrijpen.

Voor de duidelijkheid: In de basis is een query op een ster schema ook maar een SQL statement wat je echt zo kan opdreunen.

Opa vertelt:
Ik was bij een project betrokken, waar alle business processes, verschillende ERP's in een analytisch schema gestoken moesten worden (ster diagramen, snowflakes, kpi's e.d waar nodig) voor rapportage all in met behulp van Oracle BI.
Gaandeweg, bleek er 1 of andere kleine business unit al een Qlik licentie te hebben en jaren vooruit betaald. Nog een andere business unit wilde graag Power BI gebruiken, ipv van Oracle BI.

De board heeft dit allemaal approved en we hebben de business units gewoon op het Oracle analytisch schema toegang gegeven en happy reporting met hun tool (ziet er ook leuker uit dan Oracle BI).

Veel belangrijker: omdat ze hetzelfde schema (met conforming dimensies en facts) gebruikten was het resultaat dat ieder tool ook dezelfde cijfers rapporteerden, geen onderlinge ruzies meer tussen de units en hoger management wie nou gelijk had.

Ik probeer maar te zeggen dat de kracht in het model zit, niet in de tool.
Pagina: 1


Apple iPad Pro (2021) 11" Wi-Fi, 8GB ram Microsoft Xbox Series X LG CX Google Pixel 5a 5G Sony XH90 / XH92 Samsung Galaxy S21 5G Sony PlayStation 5 Nintendo Switch Lite

Tweakers vormt samen met Hardware Info, AutoTrack, Gaspedaal.nl, Nationale Vacaturebank, Intermediair en Independer DPG Online Services B.V.
Alle rechten voorbehouden © 1998 - 2021 Hosting door True