[Beginner] welke taal leren voor rapportagesoftware?

[killerflappy]

Ik wil graag beginnen met programmeren.

Uiteindelijk wil ik een soort rapportage tool maken.
Deze rapportages doen we nu in Excel, maar dit is omslachtig en langzaam. Ook kan Excel niet goed overweg met webservices.

Ik zoek dus een taal om software te programmeren voor rapportages.
De software moet in ieder geval overweg kunnen met ODBC-koppeling, webservices en SQL-databases.

Hoe langer ik zoek des te meer ik twijfelen over de juiste programmeertaal.
Op dit moment denk ik aan C#, maar krijg dan ook weer waarschuwingen dat ik eerst beter een makkelijkere taal moet leren.

Kan iemand mij in de goede richting sturen, zodat ik op termijn een rapportagetool kan maken?

[Hydra]

killerflappy schreef op donderdag 1 december 2016 @ 15:11:
Hoe langer ik zoek des te meer ik twijfelen over de juiste programmeertaal.
Op dit moment denk ik aan C#, maar krijg dan ook weer waarschuwingen dat ik eerst beter een makkelijkere taal moet leren.

Veel makkelijker dan C# (of Java, bijna identiek) wordt het niet. Dus het is prima om mee te beginnen. Een andere hoek waar je naar kunt kijken is Python. Ik zou gewoon zelf eens kijken welke van die talen het meeste 'klikt'.

[NeOTheMaTriXM]

Ik zou Microsoft Access adviseren, geeft je de mogelijkheid om de zware belasting op de serverside te leggen, die daarvoor gemaakt zijn (SQL database) ipv dat je dat aan de clientside (Excel) hebt, die is gemaakt voor gebruiks gemak.

Hoe je geen programmeer taal te leren, hooguit wat SQL statements (maar die moest je sowieso leren als je het via C#/Java/Python/whatever wou doen).

Tevens kan je dit ook gelijk netjes presenteren via Access.

Ik weet van een oud collega's die soms wel eens 2 a 3GB aan excel sheets had dat het wel eens een half uur (en ook meer!) kon duren om 1 kleine wijziging door te voeren.

Hij had het daarna omgebouwd naar Access, en de zelfde handeling duurde toen nog maar een paar seconde, en volgens mij was dit zelfs nog met een Access database (dus op de client), als je dit met een SQL backend doet zou het helemaal als een speer moeten gaan.

[DJMaze]

Microsoft Access is leuk om mee te beginnen, maar laat niet je bedrijf er vanaf hangen!
Het is een prima gulle widdenweg tussen het hopeloze Excel en een (R)DBMS.

Maar zodra je het meer en meer gaat gebruiken in je bedrijf dan kom je op punt waarbij het niet meer volstaat.
De keuze is dan opnieuw bouwen of de Access DB opnieuw opbouwen.

Ik moest vroeger regelmatig bij bedrijven langs omdat hun Access DB "stuk" was.
Eigenlijk kwam dat omdat er meer dan 1 persoon tegelijk via een SMB share er in werkten.

Na 3x langs te zijn geweest toch maar aangeraden om even geld te investeren in ICT.

Eigenlijk is dus je taak veel meer dan alleen maar een taal leren...

[Morrar]

Als je wilt programmeren zou ik Python of R aanraden.

Python is breed inzetbaar en qua syntax vrij snel in te komen (op https://www.codecademy.com kun je de basis oppakken). Zeker als je al eens iets geprogrammeerd hebt is het denk ik eenvoudiger dan R. Als je op Windows werkt kan ik je de Anaconda distributie aanraden (https://www.continuum.io/downloads). Met ipython notebook kun je heel makkelijk data exploratie en rapportage doen met bijvoorbeeld numpy en pandas. Voor het doen van analyses zou ik de packages scikit-learn en statsmodels aanraden en voor het plotten kun je matplotlib of seaborn gebruiken. Je notebooks kun je ook vrij eenvoudig met anderen delen. Als alternatief zou je ook HTML rapportages kunnen maken met plot.ly. Python kan met het pyodbc package verbinden met ODBC bronnen en via requests webservices aanroepen (REST services tenminste, als het SOAP moet zijn is er waarschijnlijk wel een beter package).

Je kunt ook voor R kiezen. Ik vind het ontwerp en de syntax van R iets minder strak dan Python, maar voor het doen van echte hardcore statistiek is R wel prima. Vrijwel alle soorten analyses zijn aanwezig als package en daarin is R veel verder dan andere talen. Verder kun je best mooie rapportages bouwen met bijvoorbeeld rmarkdown of knitr i.c.m. ggplot of googleviz. Als het interactief moet zijn kun je ook nog kijken naar Shiny applicaties. Als IDE zou ik trouwen RStudio aanraden: https://www.rstudio.com/. R kan met het RODBC package verbinden met ODBC bronnen. Webservices heb ik in R niet veel gebruikt, omdat mijn voorkeur dan naar Python uitging.

Als het je alleen om rapportage gaat en niet zozeer om programmeren zou je ook nog kunnen kijken naar Tableau of wellicht Microsoft's Power BI. Voordeel van leren programmeren is dat je ook veel meer flexibel bent qua data prep, analyses en eventueel machine learning.

Mocht je ook nog in de echte big data willen duiken (als in 100-en miljoenen records) dan zou ik eerder Scala, Java of Python kiezen. Voor minder dan 100 miljoen records kan je met Python of R nog wel uit de voeten.

[ Voor 9% gewijzigd door Morrar op 01-12-2016 20:02 ]

[killerflappy]

Wow! Bedankt voor de reacties!

Ik heb de rapportages al eens gemaakt in de BI tool Qlikview. Maar om dit in de organisatie door te voeren is prijstechnisch niet interessant. Daarbij wil ik de programmeertaal ook in de toekomst voor andere doeleinden gaan gebruiken. Overigens voldeden Tableau en Power BI niet. Wel getest.

Access klinkt als een stapje vooruit ten opzichte van Excel, maar dan gaan we weer een wildgroei aan rapportages maken denk ik.

Logischerwijs zou ik alle programmeertalen uitgebreid kunnen proberen, maar dat is niet erg

Het verhaal van Python schrikt me een beetje af. Dit zijn wel erg veel componenten. Of heeft bijvoorbeeld C# dit ook en moet ik mij verder verdiepen? Wat zijn de voor- en nadelen tegenover C# ?

Big data is overigens niet van toepassing.

HTML, PHP en andere talen om websites te bouwen zijn uitgesloten denk ik?

[The Eagle]

Om wat voor rapportages op wat voor bronsystemen gaat het? Is het er slechts eentje, ofmeer, en wat voor gegevens zitten daar dan in? Als Tableau en PowerBI al niet voldeden, dan denk ik aan vele verschillende datasources waar je eigenlijk met een ETL tool de data uit zou moeten halen, transformeren / platslaan, en dan zou moeten rapporteren. En zijn het relatief redelijk complexe BI vraagstukken. Correct me if I'm wrong

SQL zou ik sowieso aan beginnen; ieder DBMS heeft zo zijn dialect maar de basis is het zelfde. En relatief makkelijk te keren. Die webservices, das een ander verhaal: dan praat je tegen API's en das meestal simpelweg met loopjes data ophalen. Dat kunnen de meeste talen wel.
Ohja, en ODBC is vies want het slaat usernames en passwords in plain text op

Ik denk dat je eerst ff aan moet geven waarop je wilt rapporteren en vanuit waar. Dan kunnen we zeker een beter advies geven

[Morrar]

killerflappy schreef op donderdag 1 december 2016 @ 21:15:
Het verhaal van Python schrikt me een beetje af. Dit zijn wel erg veel componenten. Of heeft bijvoorbeeld C# dit ook en moet ik mij verder verdiepen? Wat zijn de voor- en nadelen tegenover C# ?

...

HTML, PHP en andere talen om websites te bouwen zijn uitgesloten denk ik?

Veel componenten / packages zitten standaard al bij Anaconda. De rest kun je meestal eenvoudig installeren met het command "conda install <package>" of "pip install <package>". Dat is niet heel complex.

Met plotly kun je vrij eenvoudig online / HTML rapportages maken. Plotly kun je via Python gebruiken, maar dat is wel wat werk. Je kunt ook eerst even hun site bekijken: https://plot.ly/

[killerflappy]

The Eagle schreef op donderdag 1 december 2016 @ 21:25:
Om wat voor rapportages op wat voor bronsystemen gaat het? Is het er slechts eentje, ofmeer, en wat voor gegevens zitten daar dan in? Als Tableau en PowerBI al niet voldeden, dan denk ik aan vele verschillende datasources waar je eigenlijk met een ETL tool de data uit zou moeten halen, transformeren / platslaan, en dan zou moeten rapporteren. En zijn het relatief redelijk complexe BI vraagstukken. Correct me if I'm wrong

SQL zou ik sowieso aan beginnen; ieder DBMS heeft zo zijn dialect maar de basis is het zelfde. En relatief makkelijk te keren. Die webservices, das een ander verhaal: dan praat je tegen API's en das meestal simpelweg met loopjes data ophalen. Dat kunnen de meeste talen wel.
Ohja, en ODBC is vies want het slaat usernames en passwords in plain text op

Ik denk dat je eerst ff aan moet geven waarop je wilt rapporteren en vanuit waar. Dan kunnen we zeker een beter advies geven

Zeer bruikbare informatie, bedankt.

De bronsystemen bestaan uit lokale SQL-databases, ODBC-koppelingen Web services en een Access-database.

De complexiteit valt in mijn ogen wel mee. Ik heb de in Qlikview op 7 tabbladen alle dynamische rapporten kunnen generen. Het gaat bijvoorbeeld om het verbruik van auto's. De kilometers van een week worden gedeeld door de liters van die week. Dit per auto. En dit is weer per merk en/of land te filteren. Een ander voorbeeld is de gemiddelde lostijd. Hier zijn ook weer verschillende filters op los te laten, zoals klant, land en chauffeur. Ik ben niet bekend met ETL-tools. Heb je misschien een voorbeeld?

Ik ben bekend met SQL. Voor web services kan een leverancier hulp bieden. ODBC is te vervangen door OLE DB denk ik?

[The Eagle]

Je begrijpt me niet helemaal. Met bronsystemen bedoel ik bijvoorbeeld de tool om de km registratie bij te houden, de (database van) het HR systeem, het financiele systeem, de urenregistratie, etc. En dan met name de databronnen die er onder liggen. Een webservice is GEEN bron, maar slechts een interface Een ODBC koppeling is, de naam zegt het al, een koppelingsmechanisme.

Hoeveel bronnen heb je totaal, en hoeveel heb je er per rapportage nodig? En wat zijn die bronnen exact?

[killerflappy]

The Eagle schreef op vrijdag 2 december 2016 @ 19:48:
Je begrijpt me niet helemaal. Met bronsystemen bedoel ik bijvoorbeeld de tool om de km registratie bij te houden, de (database van) het HR systeem, het financiele systeem, de urenregistratie, etc. En dan met name de databronnen die er onder liggen. Een webservice is GEEN bron, maar slechts een interface Een ODBC koppeling is, de naam zegt het al, een koppelingsmechanisme.

Hoeveel bronnen heb je totaal, en hoeveel heb je er per rapportage nodig? En wat zijn die bronnen exact?

Inderdaad had ik je verkeerd begrepen. Ik kan wegens bedrijfspolicy niet de gehele software-infrastructuur bespreken. Wel kan ik de bronsystemen beschrijven.

De kilometerregistratie gebeurd door middel van een boordcomputersysteem. Deze bezit gegeven zoals lossingen, kilometers enzenz. Deze bron is te benaderen via webservices.

Deze meeste gegevens van dit boordcomputersysteem worden geïmporteerd in een urenpakket. Daar worden de gegeven aangepast naar werkelijkheid. Dit is de belangrijkste bron voor de rapportages. Via Excel hebben wij al veel bestanden met een ODBC-koppeling naar deze SQL-database die lokaal op een server staat.

Het financiele systeem is lokaal geïnstalleerd client/server met een SQLbase database. Ook hiervan zijn veel rapporten in Excel gemaakt door middel van een ODBC-koppeling naar de SQLbase database.

Voor tankingen hebben we de registratie van de thuispomp in een Access-database. Tankingen onderweg worden door de betreffende dieselleverancier via webservices aangeboden.

Het HR systeem is (nog) niet relevant.

De variëteit maakt het best complex denk ik. Om te beginnen zou ik de rapportages willen maken met de database van het urenpakket. We zijn goed bekend met deze database.

Daarna wil ik gaan uitbreiden tot de verrbuiksrapportage. Deze maakt gelijktijdig gebruik van het urenpakket (voor kilometers) en de 2 databases met tankingen.

Om alle rapporten te ontwikkelen moeten hooguit 3 databases tegelijk worden aangesproken. Eventueel met de verwijzing naar een tabel met stamgegevens.

[The Eagle]

Complex? Vrij simpele omgeving als je het mij vraagt. Maar met bijna 15 jaar enterprise ERP, DB en infra ervaring heb ik denk ik al iets meer gezien dan jij

Ik neem aan dat het allemaal MSSQL DB's zijn? Of heb je ook andere smaken?

Je hebt globaal twee opties: of je trekt al je data dagelijks uit je bronsystemen in een verzameldatabase, of je koppelt de boel aan elkaar, bijv met DB links. Dan kun je op DB niveau met elkaar communiceren en rechstreeks gegevens aanspreken.
Voor de webservices zou ik gewoon een dagelijkse interface laten lopen die de gegevens ophaalt. Dat wil je ook niet real time trouwens. Ik kan je zo een situatie geven waarbij realtime tankgegevens jouw financiele administratie overhoop gooien als je wilt

Maar als je het spul vanaf een centrale DB kunt trekken dan scheelt je dat een hoop rapportagekoppelingen. Qlikview is daar goed in, maar duur. En dus moet je zelf de gegevens bij elkaar vegen en er op rapporteren.
Vraag je beheerdrs maar eens of ze wat DB koppelingen voor je kunnen maken en speel daar mee. Goede oefeining

[killerflappy]

The Eagle schreef op zaterdag 3 december 2016 @ 13:15:
Complex? Vrij simpele omgeving als je het mij vraagt. Maar met bijna 15 jaar enterprise ERP, DB en infra ervaring heb ik denk ik al iets meer gezien dan jij

Ik neem aan dat het allemaal MSSQL DB's zijn? Of heb je ook andere smaken?

Je hebt globaal twee opties: of je trekt al je data dagelijks uit je bronsystemen in een verzameldatabase, of je koppelt de boel aan elkaar, bijv met DB links. Dan kun je op DB niveau met elkaar communiceren en rechstreeks gegevens aanspreken.
Voor de webservices zou ik gewoon een dagelijkse interface laten lopen die de gegevens ophaalt. Dat wil je ook niet real time trouwens. Ik kan je zo een situatie geven waarbij realtime tankgegevens jouw financiele administratie overhoop gooien als je wilt

Maar als je het spul vanaf een centrale DB kunt trekken dan scheelt je dat een hoop rapportagekoppelingen. Qlikview is daar goed in, maar duur. En dus moet je zelf de gegevens bij elkaar vegen en er op rapporteren.
Vraag je beheerdrs maar eens of ze wat DB koppelingen voor je kunnen maken en speel daar mee. Goede oefeining

Inderdaad lijken het allemaal MSSQL DB's.

DB links lijkt me lastig aangezien het in de meeste gevallen om gesloten systemen gaat.
Het samenvoegen van de databases in een nieuwe database lijkt mij zeer interessant. Ik heb alleen geen idee hoe. Kun je me een richting wijzen?

En dan komen we weer terug op de vraag: welke programmeertaal voor het maken van rapportages met GUI?

Ik denk nog steeds naar een cursus C#. En dan later richten op bv. ADO.NET of LINQ to SQL.

[Morrar]

killerflappy schreef op zaterdag 3 december 2016 @ 13:31:
[...]


Inderdaad lijken het allemaal MSSQL DB's.

DB links lijkt me lastig aangezien het in de meeste gevallen om gesloten systemen gaat.
Het samenvoegen van de databases in een nieuwe database lijkt mij zeer interessant. Ik heb alleen geen idee hoe. Kun je me een richting wijzen?

En dan komen we weer terug op de vraag: welke programmeertaal voor het maken van rapportages met GUI?

Ik denk nog steeds naar een cursus C#. En dan later richten op bv. ADO.NET.

Eerlijk gezegd is het benaderen van databases nog het makkelijkste aan deze klus. SQL afvuren via ODBC of een driver is eigenlijk vrij simpel in elke taal.

Ik vraag me meer af wat de requirements zijn voor de rapportages; wil je gewoon simpele tabellen eruit gooien met cijfertjes of moeten er ook grafieken e.d. gemaakt worden? Moet het interactief zijn of niet? Een HTML pagina met een tabel in elkaar knutselen is niet zo lastig te programmeren, maar als je zelf code moet gaan schrijven om grafieken mee te maken wordt het heel erg tijd rovend. Heeft C# daar standaard uitbreidingen voor of niet? *

Dus wat zijn je requirements en waarom voldeed bijvoorbeeld Tableau of Power BI niet?


* In R kan dit bijvoorbeeld extreem simpel met R markdown: YouTube: R Markdown with RStudio. Markdown documenten kun je als HTML op een server knallen waar iedereen bij kan of je kunt een PDF laten maken en rondmailen.

[ Voor 3% gewijzigd door Morrar op 03-12-2016 16:30 ]

[killerflappy]

Morrar schreef op zaterdag 3 december 2016 @ 16:22:
[...]


Eerlijk gezegd is het benaderen van databases nog het makkelijkste aan deze klus. SQL afvuren via ODBC of een driver is eigenlijk vrij simpel in elke taal.

Ik vraag me meer af wat de requirements zijn voor de rapportages; wil je gewoon simpele tabellen eruit gooien met cijfertjes of moeten er ook grafieken e.d. gemaakt worden? Moet het interactief zijn of niet? Een HTML pagina met een tabel in elkaar knutselen is niet zo lastig te programmeren, maar als je zelf code moet gaan schrijven om grafieken mee te maken wordt het heel erg tijd rovend. Heeft C# daar standaard uitbreidingen voor of niet? *

Dus wat zijn je requirements en waarom voldeed bijvoorbeeld Tableau of Power BI niet?


* In R kan dit bijvoorbeeld extreem simpel met R markdown: YouTube: R Markdown with RStudio. Markdown documenten kun je als HTML op een server knallen waar iedereen bij kan of je kunt een PDF laten maken en rondmailen.

Het gebruik van de data via ODBC doen we al in Excel. Lijkt me ook de kleinste uitdaging.
Het gaat hoofdzakelijk om de tabellen. Interactief door bv een selectie per land, klant, type voertuig en dat soort dingen moet wel kunnen. Over het maken van grafieken heb ik nog niet nagedacht. Lijkt me wel een toevoeging. Dit kan ook in Visual C#.

Is HTML echt geschikt voor grote interactieve tabellen met grafieken? Kan deze manier bv ook gebruik maken van webservices en odbc?

Tableau hebben we uitvoerig getest. Het resultaat was een stuk onoverzichtelijk dan Qlikview. Tableau had ook een paar onmogelijkheden. Iets met een startdatum per jaar meen in mij te herinner. Tableau is qua kosten vergelijkbaar met Qlikview. Power BI gaf problemen met de sortering. De datums kunnen niet goed per week gegroepeerd worden. Met standaard draaitabellen kon dit wel.

Overigens kom ik nu weer op het punt dat ik door de bomen het bos niet meer zie.
Python lijkt me te veel een scripttaal. RStudio lijkt op de overige BI tools die veel geld kosten voor een paar tabellen. C# lijkt bruikbaar voor meer dan alleen rapportages.

[Morrar]

Python is inderdaad een scripttaal, net als R overigens. Beiden zijn gratis. RStudio is een editor om R code in te schrijven en is gratis te gebruiken, al zijn er volgens mij ook commerciële opties voor.

Met zowel R als Python kun je vanalles; Python is qua inzetbaarheid het breedste. R is qua staristische analyses het meest geavanceerde pakket dat je momenteel kunt krijgen.

Net als bijvoorbeeld Python is C# volgens mij een programmeertaal toch? VisualStudio is de IDE ervoor, net zoals PyCharm dat is voor Python of RStudio voor R.

Je lijkt een sterke voorkeur voor C# te hebben, dus ik zou daar gewoon mee beginnen als ik jou was. Ga gewoon aan de slag en kijk waar je tegen aan loopt.

In alle genoemde talen kun je denk ik bereiken wat je wilt. Het ene zal wat meer werk zijn in de ene taal en het andere weer wat makkelijker. Dus pak gewoon degene die je het meeste ziet zitten.

Voordeel is ook dat als je eenmaal in een taal kunt programmeren, de rest ook makkelijker op te pakken is.

[The Eagle]

Als het om statistieken gaa zou ik toch echt voor R kiezen. Wordt ook veel in de big data hoek gebruikt, terwijl python meer een relatief simpele scripttaal voor mn scripting onder Linux is (imo dan).
Als je R kent en kunt, kun je tegenwoordig overal zo terecht. Python is leuk voor dr bij.
R ondersteunt ook het maken van dasboards etc, inclusief grafische overviews. Is bij python een stukje lastiger

[ Voor 16% gewijzigd door The Eagle op 04-12-2016 20:03 ]

[scosec]

Als je voor reporting gaat kun je ook SQL server i.c.m. SSRS gebruiken. Prima combinatie als je het mij vraagt.

[Verwijderd]

Mijn eerste gedachte was Python-Pandas

scosec schreef op maandag 5 december 2016 @ 08:39:
Als je voor reporting gaat kun je ook SQL server i.c.m. SSRS gebruiken. Prima combinatie als je het mij vraagt.

SSRS zou kunnen mits ze de juiste licentie hebben op hun SQL server.

[killerflappy]

Verwijderd schreef op maandag 5 december 2016 @ 08:58:
Mijn eerste gedachte was Python-Pandas


[...]
SSRS zou kunnen mits ze de juiste licentie hebben op hun SQL server.

Ik beschik over een SQL server 2014 standard. Deze heeft volgens verschillende sites ook de SSRS.

Dit maakt het interessant. Ik lijk nu ergens te komen met SSRS en Python/R
Ik wil gewoon maar beginnen met SSRS en daarna R.

De laatste uitdaging: Vermoedelijk kan ik een en ander vereenvoudigen door ETL (platslaan?) toe te passen. Het idee is dan om alle relevante data (web services, SQL, Access, Excel) te combineren in 1 database waarop analyses kunnen worden losgelaten d.m.v. SSRS, R of Excel.

Ik heb alleen geen idee met welke software ik deze database voor analyses automatisch kan samenstellen/vullen. Kan iemand me een richting wijzen?

[Verwijderd]

wat betreft je laatste vraag; kijk eens of de bron een .xls of .csv kan exporteren via een API o.i.d. Dat bestand zou je dan via een Python script in een cronjob elke nacht kunnen importeren in je database. (vast niet veiligste manier overigens)

Cronjobs zijn sowieso wel interessant om even te bekijken

[Moyue83]

Hey Killerflappy,

Ik denk dat je vooral jezelf de vraag eens moet stellen wat je precies wil bereiken.
Wil je gewoon de taak gedaan krijgen, dan zou ik kiezen voor een BI tool, Wil je echter vooral iets bijleren qua taal, dan kan je de andere opties bekijken R of python ).

je hebt eigenlijk verschillende takken:

- Data Science ( is de wetenschap om nieuwe patronen te zoeken binnen de aangeleverde data, dit bevat ook data cleansing ( uitkuisen van de data ), voorspellingen ahdv bvb decission trees, machine learning, deep learning etc en wordt vooral Python met zijn bijgeleverde pakketten & de programmeertaal R gebruikt )

- BI ( business intelligence ) => zorgt voor een platform dat ervoor zorgt dat je jouw model datamodel in een voor de niet technische mens verstaanbaar model kan gieten zodat iedereen zelf heel gemakkelijk aan de hand van "drag & drop" zijn analyses & rapporten kan bouwen.

Als je alleen alleen maar 1 html rapport wilt maken, en je hebt al een SQL server, bekijk dan de optie van SQL Server Reporting services eens ( SSRS ) wat perfect deze functionalteit ondersteund. en met een beetje geluk dien je zelfs nog geen nieuw pakket aan te kopen. Hiervoor dien je alleen maar SQL te kennen. de rest is Drag & Drop.

Een extra puntje hierover:
wil je hier professioneel mee verder ( data science ) , en je hebt een master ( IT of wiskunde ) diploma, dan kies je best voor python & R. ( bachelors nemen ze hier wel voor aan als je geluk hebt, maar grotendeels zullen dit masters zijn )

Zoniet, dan kies je best voor een BI ( hier hebben ze ook liever masters ) maar bachelors nemen ze hier al sneller aan dan voor data science. ( hier moet je gewoon realistisch in zijn )
tenzij een bepaalde taal je gewoon hard interesseert, maar dan is dit topic eigenlijk compleet overbodig

[killerflappy]

Moyue83 schreef op maandag 5 december 2016 @ 10:20:
Hey Killerflappy,

Ik denk dat je vooral jezelf de vraag eens moet stellen wat je precies wil bereiken.
Wil je gewoon de taak gedaan krijgen, dan zou ik kiezen voor een BI tool, Wil je echter vooral iets bijleren qua taal, dan kan je de andere opties bekijken R of python ).

je hebt eigenlijk verschillende takken:

- Data Science ( is de wetenschap om nieuwe patronen te zoeken binnen de aangeleverde data, dit bevat ook data cleansing ( uitkuisen van de data ), voorspellingen ahdv bvb decission trees, machine learning, deep learning etc en wordt vooral Python met zijn bijgeleverde pakketten & de programmeertaal R gebruikt )

- BI ( business intelligence ) => zorgt voor een platform dat ervoor zorgt dat je jouw model datamodel in een voor de niet technische mens verstaanbaar model kan gieten zodat iedereen zelf heel gemakkelijk aan de hand van "drag & drop" zijn analyses & rapporten kan bouwen.

Als je alleen alleen maar 1 html rapport wilt maken, en je hebt al een SQL server, bekijk dan de optie van SQL Server Reporting services eens ( SSRS ) wat perfect deze functionalteit ondersteund. en met een beetje geluk dien je zelfs nog geen nieuw pakket aan te kopen. Hiervoor dien je alleen maar SQL te kennen. de rest is Drag & Drop.

Een extra puntje hierover:
wil je hier professioneel mee verder ( data science ) , en je hebt een master ( IT of wiskunde ) diploma, dan kies je best voor python & R. ( bachelors nemen ze hier wel voor aan als je geluk hebt, maar grotendeels zullen dit masters zijn )

Zoniet, dan kies je best voor een BI ( hier hebben ze ook liever masters ) maar bachelors nemen ze hier al sneller aan dan voor data science. ( hier moet je gewoon realistisch in zijn )
tenzij een bepaalde taal je gewoon hard interesseert, maar dan is dit topic eigenlijk compleet overbodig

Hi Moyue83,

Bedankt voor je opsomming. Dit is verhelderend. Ik zoek overigens geen opleiding voor een baan, maar een oplossing voor een vraagstuk op mijn werk. Hiervoor zal ik ongetwijfeld wel moeten verdiepen in bepaalde onderwerpen.

De BI tools werkte inderdaad goed, maar zijn te kostbaar. 10.000+ euro voor 7 dynamische rapporten.
Data Science gaat nog te ver en ik denk ook dat R te complex is voor deze aantal rapporten.

Wij hebben al een SQL server 2014 standard, maar hiervan kan nog geen rapport worden gemaakt, omdat deze SQL server niet alle data bevat. Er zijn een aantal externe bronnen (web services, SQL, Access en Excel) .

Uit de informatie via deze topic ben ik er achter gekomen dat we het best eerst een database kunnen maken van alle relevante data uit de verschillende datasources. Dit zal het maken van rapportages vereenvoudigen.

Hoe zo'n database gemaakt en automatisch gevuld kan worden is de laatste vraag. Ik moet mij vermoedelijk verdiepen in de MS SQL server. Via ETL de bruikbare tabellen van de datamarts automatisch (job scheduler in SQL?) in een datawarehouse laden via dataintegration services?

[Morrar]

Hoe je de integratie gaat opzetten hangt nogal van de externe bron af lijkt me:

SQL:
Als dit servers zijn die je gewoon kunt benaderen kun je deze vrij eenvoudig met batch jobs synchroniseren met je op te zetten data warehouse. Wellicht kun je ze ook direct benaderen bij het maken van de rapportage.

Access:
Waarschijnlijk zelfde verhaal als SQL, als dit servers zijn die benaderbaar zijn.

Webservices:
Welke tooling gebruik je voor deze servics? Waarschijnlijk prima als job in een scheduler te plaatsen. Output kan direct het data warehouse in of anders importeren via bestanden.

Excel:
Als dit data is die handmatig klaargezet wordt, dan wordt het lastig dit automatisch te integreren (wat als iemand bijvoorbeeld de data niet op de juiste tijd of op de juiste plek klaarzet). Hier zul je dus een handmatige procedure voor moeten opzetten, inclusief een plan voor wat er moet gebeuren als de data niet beschikbaar zijn voor je rapportages.

[Moyue83]

SQL Server Integration services is daar een goede oplossing voor ( SSIS )
deze bevat verschillende connectors voor het laden & transformen van data.

[Question Mark]

killerflappy schreef op donderdag 1 december 2016 @ 15:11:
Ik zoek dus een taal om software te programmeren voor rapportages.
De software moet in ieder geval overweg kunnen met ODBC-koppeling, webservices en SQL-databases.

Ik zou dit niet zelf gaan programmeren, maar gewoon in PowerBi importeren.

Da's een rapportagetool van MS (als je Office 365 gebruikt heb je al licenties). PowerBI kent momenteel al 45 connectors naar applicaties, databases, files, etc.

Power BI Desktop – Expanding list of Enterprise Data Connectors



Ik zou mij dan ook niet gaan focussen op zelf programmeren, maar meer leren werken met PowerBI (of welke al bestaande rapportagetool dan ook). Binnen PowerBI zul je ook nog wel het een en ander moeten schrijven of scripten voor écht goede rapportages.

Microsoft Virtual Academy - Power BI Courses

[ Voor 5% gewijzigd door Question Mark op 05-12-2016 12:54 ]

[killerflappy]

Bedankt Morrar en Moyue83. Met die combinatie moet ik mij gaan verdiepen.

Ook Question mark bedankt. Zoals aangegeven valt Power BI af door een probleem met groeperen van data naar weken. Ik zie dat met power BI ook gebruik kan maken van web services. Dat biedt wel interessant mogelijkheden.

The Eagle erg bedankt voor je inbreng.

Ik ga me eerst maar is verdiepen in het samenstellen van een BI-database in SQL waarin de datamarts worden gecombineerd.

Nadat ik de fundamentals weer heb doorgenomen kan in met onderstaande aan de slag. Niet voor cetrificering maar als hult bij het opzetten van de database voor BI.

70-463: Implementing a Data Warehouse with Microsoft SQL Server 2012/2014
70-466: Implementing Data Models and Reports with Microsoft SQL Server
70-467: Designing Business Intelligence Solutions with Microsoft SQL Server

[Question Mark]

killerflappy schreef op maandag 5 december 2016 @ 14:10:
Ook Question mark bedankt. Zoals aangegeven valt Power BI af door een probleem met groeperen van data naar weken.

Welk probleem dan? Binnen PowerBI kun je namelijk zelf nog prima data gaan grouperen, ondanks dat data niet juist gegroepeerd staat in je databron.

Zie onderstaande link voor een voorbeeld:

Common query tasks in Power BI

[killerflappy]

Question Mark schreef op maandag 5 december 2016 @ 15:15:
[...]

Welk probleem dan? Binnen PowerBI kun je namelijk zelf nog prima data gaan grouperen, ondanks dat data niet juist gegroepeerd staat in je databron.

Zie onderstaande link voor een voorbeeld:

Common query tasks in Power BI

Ga ik mee testen.

[The Eagle]

Er staat me bij dat PowerBI de onhebbelijkheid had/heeft dat je voor het draaien van rapportages een MS account moest of moet hebben. Wat op zich geen probleem hoeft te zijn, tenzij degenen die de rapporten moeten generen of bekijken er geen hebben of kunnen krijgen.
Iig niet echt geschikt voor publiekelijk toegankelijke rapportages

[Montaner]

Om wat te beginnen met SSIS zou ik hier eens naar kijken:
http://www.sqlservercentral.com/stairway/72494/

Het is vrij oud, maar er is niet bijzonder veel veranderd aan de basis. Wellicht staat er nog wat op pluralsight. Je kan daar 3 maanden gratis krijgen door een account aan te maken (of in te loggen met je bestaand hotmail/outlook adres) op de visual studio site van Microsoft: www.visualstudio.com

[killerflappy]

trix0r schreef op dinsdag 6 december 2016 @ 08:57:
Om wat te beginnen met SSIS zou ik hier eens naar kijken:
http://www.sqlservercentral.com/stairway/72494/

Het is vrij oud, maar er is niet bijzonder veel veranderd aan de basis. Wellicht staat er nog wat op pluralsight. Je kan daar 3 maanden gratis krijgen door een account aan te maken (of in te loggen met je bestaand hotmail/outlook adres) op de visual studio site van Microsoft: www.visualstudio.com

Bedankt!
Ik heb een abonnement genomen op Pluralsight.
De site was ook een goede aanvulling.

Het lukt om de datawarehouse te vullen met de data uit de datamarts. De datawarehouse is maar 1,5 GB.
Nu wil ik dat de datawarehouse direct update na een update van één van de datamarts.
Is dit mogelijk, of kan ik dan beter SSAS onderzoeken/gebruiken?

[Montaner]

killerflappy schreef op dinsdag 13 december 2016 @ 10:17:
[...]


Bedankt!
Ik heb een abonnement genomen op Pluralsight.
De site was ook een goede aanvulling.

Het lukt om de datawarehouse te vullen met de data uit de datamarts. De datawarehouse is maar 1,5 GB.
Nu wil ik dat de datawarehouse direct update na een update van één van de datamarts.
Is dit mogelijk, of kan ik dan beter SSAS onderzoeken/gebruiken?

Vanaf SQL 2014 (2008 heeft het ook, maar volgens mij is dat niet heel geweldig) kan je kijken naar CDC (change data capture). Via oudere versies kan je eventueel nog aan log shipping doen. SQL 2016 zal hier verder en beter mee zijn.

Het stukje CDC komt wel terug in de theorie van de Microsoft cursus van SSIS die je aangaf, maar je implementeert het niet tijdens de cursus.

[ Voor 3% gewijzigd door Montaner op 13-12-2016 10:25 ]

[killerflappy]

trix0r schreef op dinsdag 13 december 2016 @ 10:23:
[...]

Vanaf SQL 2014 (2008 heeft het ook, maar volgens mij is dat niet heel geweldig) kan je kijken naar CDC (change data capture). Via oudere versies kan je eventueel nog aan log shipping doen. SQL 2016 zal hier verder en beter mee zijn.

Het stukje CDC komt wel terug in de theorie van de Microsoft cursus van SSIS die je aangaf, maar je implementeert het niet tijdens de cursus.

CDC is zeker interessant.

Maar wat is het verschil nu met SSAS? Het komt op mij over dan SSIS de data en organiseert in een datawarehouse en SSAS alleen een bepaalde manier van toegang biedt op de datamarts, klopt dat?

[Montaner]

killerflappy schreef op dinsdag 13 december 2016 @ 11:19:
[...]


CDC is zeker interessant.

Maar wat is het verschil nu met SSAS? Het komt op mij over dan SSIS de data en organiseert in een datawarehouse en SSAS alleen een bepaalde manier van toegang biedt op de datamarts, klopt dat?

De naam zegt het eigenlijk al. Het is niet alleen toegang bieden tot, maar een analyse loslaten op de data, inclusief berekening e.d. over grote datasets, over gegevens die zijn vergaard vanuit bv. meerdere databases. Zie het even simpelweg als een grote pivot table waarmee je meerdere dimensies kan berekenen en presenteren.

Voor reporting kan je beter naar SSRS kijken.

[ Voor 3% gewijzigd door Montaner op 13-12-2016 11:29 ]