Data Analist met SQL kennis

[forceg]

Hallo allemaal,

Is er een Data Analist die op dagelijks basis met SQL werkt? Ben momenteel aan het oriënteren op SQL cursussen, zie dat er veel wordt aangeboden. Hoor graag van je hoe je SQL eigen hebt gemaakt. Tutorial online, offline opleiding etc.

Tnx.

[MGSNK]

Hoe ver reikt je huidige kennis niveau? Om wat voor SQL gaat het?
Oracle, MySQL, SQL Server?

Er zijn echt behoorlijk veel gratis tutorials waar je de basics mee kan leren.

[forceg]

Beginner level.

Wat is het verschil tussen Oracle, My SQL en SQL Server? Wat is het meest gebruikte als Data Analist?

[Gé Brander]

Wat versta jij onder data analyst. Als we dat duidelijk hebben, de definitie verschilt nogal eens per persoon, dan kunnen we je wellicht helpen.

http://www.mastersindatascience.org/careers/data-analyst/

What Kind of Degree Will I Need?

Most candidates for entry-level jobs will need a bachelor’s degree in math, statistics computer science, information management, finance or economics. All of these subjects place a heavy emphasis on statistical and analytical skills.

To climb the career ladder or transition to the role of a data scientist, you will probably be required to earn a master’s degree or graduate certificate in a similar field.

Note: We discuss the possibilities of self-education in our section on Data Scientist Qualifications.

Ik denk dat Oracle, SQL Server of andere niet uit mogen maken in de opleiding tot Data Analyst.
Hierboven staat redelijk goed beschreven welke capaciteiten je moet hebben.

[ Voor 83% gewijzigd door Gé Brander op 27-08-2017 17:20 ]

[whoami]

forceg schreef op zondag 27 augustus 2017 @ 17:08:
Beginner level.

Wat is het verschil tussen Oracle, My SQL en SQL Server? Wat is het meest gebruikte als Data Analist?

Ieder DBMS heeft zijn eigen SQL dialect. Echter, in de basis is het vrijwel allemaal hetzelfde; het is belangrijk dat je de basis statements kent en set-based kunt denken. De syntax nuances komen wel eens je met een specifiek DBMS werkt.

Maar wat versta je onder 'data analyst' ? Werkt een data analyst niet eerder met tools zoals PowerBI of ClickView ?
Met SQL ga je data gaan ophalen of manipuleren, maar analyse van data is volgens mij meer dan dat. Vandaar dat ik denk dat een analyst volgens mij eerder met tools zoals deze (PowerBI; clickview, ...) werkt

[ Voor 25% gewijzigd door whoami op 27-08-2017 19:38 ]

[MGSNK]

Syntax verschillen inderdaad, ik vind de verschillen toch wel behoorlijk na het opdoen van de basis kennis (en daar kom je al heel snel als je enige affiniteit hebt)
Dus het is wel handig om te weten op welk platform je gaat werken.
Zoals iemand anders al aangaf, wen functie omschrijving of wat context kan helpen je beter te adviseren, desnoods via DM als het wat gevoelige informatie is.

[forceg]

Naar mijn (voorlopige) inziens is een data analyst iemand die databases bevraagt adhv SQL om tot inzichten te komen. Het doel binnen een commerciële organisatie zou zijn de business ondersteunen met inzichten waarop zij kunnen sturen.

Eerlijk gezegd heb ik geen idee welk platform. Wil mezelf nieuwe vaardigheden aanleren, SQL staat hoog op mijn lijst. Zie mezelf als een beginner, enig tip richting is altijd gewaardeerd

[armageddon_2k1]

SQL is maar 1 manier van data aanboren natuurlijk, dus je legt jezelf al heel erg vast. Je gaat er dan vanuit dat de data ook via SQL te bevragen is. Het zou ook zo maar 2TB aan CSV bestanden kunnen zijn. Of een NoSQL database. En zo kan je nog wel doorgaan. Ik zou het toch wat ruimer zien.

SQL is natuurlijk een goede basis om mee te beginnen, zeker om te leren denken in genormaliseerde data, relaties, tabellen, indices etc.

[Gropah]

Het hangt er erg vanaf wat voor data analist je bent/wilt worden, ik zou SQL meer als een manier zien om je data in te laden. Als je daadwerkelijk als data analist aan de slag wilt moet je (imo) verder kijken dan de directe data die je al hebt en de statistiek die je daar over kunt doen, en verbanden tussen al bestaande data gaan leggen (en statisch onderbouwen) om nieuwe data te genereren uit data die je al hebt.

Ik zou dan ook eerder gaan kijken naar frameworks zoals apache spark en flink om massale hoeveelheden data te verwerken om die nieuwe verbanden makkelijker te kunnen vinden, analyseren en onderbouwen.

[CurlyMo]

Wat je zou kunnen doen is open data pakken van de overheid en daar eens wat analyses op los laten. Bijvoorbeeld de Basisregistratie Adressen en Gebouwen (BAG). NLExtract heeft een PostgreSQL dump van de landelijke BAG beschikbaar die je direct in kan laden in een PostgreSQL database. Probeer dan vervolgens een alle woningen te achterhalen in je woonplaats. Of zoek de woonplaats met de minste woningen. Of het aantal woningen per woonplaats. Een andere optie is de Basisregistratie Grootschalige Topografie (BGT). Dat is de volledige Nederlandse topografie op gedetailleerd niveau.

http://data.nlextract.nl/bgt/postgis/
http://data.nlextract.nl/bag/postgis/
https://data.overheid.nl/

Een logisch model van de BAG kan je bijvoorbeeld bij de Gemeente Amsterdam vinden:
https://www.amsterdam.nl/...a/bag-index/relaties-bag/

Je kan jezelf ook wel SQL leren door bijvoorbeeld een gastenboek in elkaar te draaien, maar dan mis je de omvang van de data die bij deze functies vaak om de hoek komen kijken.

armageddon_2k1 schreef op zondag 27 augustus 2017 @ 17:40:
Het zou ook zo maar 2TB aan CSV bestanden kunnen zijn.

Die je ook gewoon zou kunnen dumpen in een database zodat je efficiënter kan analyseren Eventueel de CSV via een Foreign Data Wrapper virtualiseren. Volgens mij ondersteunen zowel Oracle als PostgreSQL dat.

[armageddon_2k1]

Gropah schreef op zondag 27 augustus 2017 @ 19:22:
...en verbanden tussen al bestaande data gaan leggen (en statisch onderbouwen) om nieuwe data te genereren uit data die je al hebt...

Gropah slaat hier de spijker op z'n kop. Een goede data analist weet de date goed wiskundig te analyseren en te onderbouwen. Dit is misschien wel het allermoeilijkste en daar worden ontzettend veel fouten in gemaakt. Kijk alleen al naar hoe moeilijk het is om significantie uit te leggen, danwel te berekenen, aan leken. Hoe snel er fouten worden gemaakt in logica en conclusies.

Het gaat dus verder dan SQL. Dat is slechts een middel. Je zou ook moeten kijken naar dingen als statistiek, inferentie, logica, etc.

[CurlyMo]

armageddon_2k1 schreef op zondag 27 augustus 2017 @ 20:35:
[...]
Een goede data analist weet de data goed wiskundig te analyseren en te onderbouwen.

Dan bekijk je het tevens wel heel wiskundig

Volgens mij is het voornamelijk (grote hoeveelheden) data omzetten naar informatie vanuit domein kennis. Dat kan natuurlijk ook gewoon beschrijvende statistiek zijn.

[incaz]

Voor data-analyse lijkt het me zeker belangrijk om de relationele manier van denken eigen te maken, en het denken in sets, en begrijpen wat nulls en joins zijn.

Maar tegelijkertijd ben je als het goed is niet veel bezig met het uitschrijven van queries, en gebruik je betere tools die op basis van een net opgezette relationele database zonder queries je informatie kunnen geven, denk aan tools als Tableau (daar heb ik mee gewerkt, zo leuk!) of misschien SiSense ofzo (hoewel i dat niet ken en niet weet of er veel gebruik van gemaakt wordt.)
Als je dan al queries maakt, dan vaak redelijk eenvoudige die een brede dataset naar je tool hengelen, waarbinnen je die dan kunt versmallen.

En als je statistische data moet verwerken, R. (En een basis in de statistiek lijkt me zeker ook niet verkeerd.)

Coursera heeft trouwens ook wel wat data-visualisation courses. (En hee, ik zie dat ze er nu meerdere hebben met Tableau. Interessant.)

Ik zou dus zeker wel wat SQL leren en er wat mee werken, maar als je inderdaad data-analyst wil worden zou ik niet te lang blijven hangen bij SQL en alle ins en outs ervan leren, want die zijn niet zo gek belangrijk. (Onderdelen die je zo goed als niet nodig zult hebben zijn bv triggers en stored procedures. Als je dat wilt weten, prima natuurlijk, maar in de praktijk is dat het domein van de DBA en de devs, niet van de data-analist.)

[Gropah]

Dit is allemaal erg interessant, maar de vraag is of @forceg wil weten hoe hij een data analist kan zijn, of dat hij SQL wil leren en denkt dat alleen data analisten dat goed kunnen waardoor hij om een data analist vroeg. Wellicht kan hij dat toelichten?

[CurlyMo]

forceg schreef op zondag 27 augustus 2017 @ 17:35:
Het doel binnen een commerciële organisatie zou zijn de business ondersteunen met inzichten waarop zij kunnen sturen.

Ook zou ik dit graag wat meer toegelicht zien. Kan je iets over de data zeggen en wat je wil opleveren? Concreet voorbeeld?

[armageddon_2k1]

CurlyMo schreef op zondag 27 augustus 2017 @ 20:51:
[...]

Dan bekijk je het tevens wel heel wiskundig

Volgens mij is het voornamelijk (grote hoeveelheden) data omzetten naar informatie vanuit domein kennis. Dat kan natuurlijk ook gewoon beschrijvende statistiek zijn.

Oh? Weet je dat de meest basale dingen al fout gaan als je de achtergrond niet weet? Een gemiddelde berekenen zegt namelijk niks als je niet weet wat voor distributie het is. Als ie niet normaal of uniform verdeeld is is het zelfs heel gevaarlijk om daar conclusies aan te verbinden. Een mediaan is veel beter. Je moet dus eerst de normaliteit testen, wat al niet zo simpel is. Dit is 1 vd vrij bazale dingen die fout gedaan worden.
Daarnaast is het vergelijken van data ook al niet zo simpel. In het naieve geval worden soms puur gemiddeldes vergeleken zonder uberhaubt naar varianties te kijken wat soms veel en veel relevanter is.
Zo zijn er nog wel wat voorbeelden te verzinnen

[ Voor 19% gewijzigd door armageddon_2k1 op 27-08-2017 21:27 ]

[CurlyMo]

armageddon_2k1 schreef op zondag 27 augustus 2017 @ 21:26:
[...]
Oh? Weet je dat de meest basale dingen al fout gaan als je de achtergrond niet weet?

Ik zeg niet dat je geen gelijk hebt, maar dan wel in de context van de wiskunde. Echter hoeft data-analyse niet wiskundig te zijn. Daarom gaf ik als voorbeeld al de beschrijvende statistiek.

[chengbondkwok]

forceg schreef op zondag 27 augustus 2017 @ 16:59:
Hallo allemaal,

Is er een Data Analist die op dagelijks basis met SQL werkt? Ben momenteel aan het oriënteren op SQL cursussen, zie dat er veel wordt aangeboden. Hoor graag van je hoe je SQL eigen hebt gemaakt. Tutorial online, offline opleiding etc.

Tnx.

Ik gebruik MySQL in mijn rol als data analist bij Tweakers. Ik heb hiervoor drie maanden geleden een tweedaagse cursus SQL gedaan, en verder vooral trial and error. Ik heb een omgeving gekregen waarin ik kan queryen met read only rechten, zodat ik geen DROP TABLE kan doen en ik de devvers te vriend kan houden Na de cursus is het vooral veel gebruiken en trial and error (en stackoverflow) .

Je zou je moeten afvragen waar je SQL voor nodig gaat hebben.
- Gaat het meer tijd opleveren? (In mijn geval hoefde ik niet elke keer development in te schakelen, wat weer tijd scheelt)
- Staat er data in die je niet in een ander systeem kan vinden? (Sommige gegevens sturen we niet naar onze webanalytics systemen)

Verder gebruik ik R voor correlaties en statistische testjes om verschillende variabelen te toetsen. Voornamelijk zit ik in Excel om berekeningen te maken en of in Excel gemaakte dashboards door te sturen naar stakeholders. Voor een versimpelde presentatie gaat de data in Powerpoint. Heel basic eigenlijk en geen fancy tooling zoals PowerBI en Tableau.

[Morrar]

Ongeveer 3 jaar aan het werk als analist; SQL gebruik ik bijna dagelijks, maar meestal alleen om data bij elkaar te krijgen. Daarna gaat het direct R of Python in om een analyse of model mee te voeden. Geavanceerde data prep dingen zou ik liever niet in SQL doen, tenzij het niet anders kan.

In SQL doe ik meestal alleen 1) het aan elkaar joinen van tabellen 2) het selecteren van kolommen cases, o.a. door samplen van grote datasets 3) soms een enkele hercodering of vullen van ontbrekende waardes 4) berekenen van de meest eenvoudige statistieken, zoals tellingen of gemiddelden. Dit zijn zaken die denk ik in de meeste SQL cursussen wel aan bod komen, zie bijvoorbeeld codecademy.

Ik kende SQL overigens al van eerdere werkzaamheden als webdeveloper. Voor mij werkte het overigens het beste om er gewoon mee aan de slag te gaan. Installeer bijvoorbeeld PostgreSQL en maak een testdatabase. Laadt wat publiek beschikbare data (bijvoorbeeld CBS, Kaggle of KNMI data) en ga daarop oefenen.

Wil je echt dieper de analyse kant op dan zou ik R of Python aanraden. Python is wat breder inzetbaar en R is wat verder qua statistische modellen (mijn mening in het kort).

Tools als Tableau (prijzig) en PowerBI zijn vooral geschikt om snel descriptieve statistieken en dashboards mee te maken (vind management leuk). Voor modelleerwerk heb je er weinig aan. In Python (bv Jupiyter notebooks) en R (bv R Markdown en Shiny) kun je ook rapportages en dashboards bouwen, maar dat is (veel) meer werk.

Overigens zijn tools als Knime, RapidMiner en SPSS Modeller ook nog het overwegen waard als je een visuele modelleer ongeving zoekt. Deze kun je ook vrij eenvoudig koppelen aan relationele databases.

[ Voor 25% gewijzigd door Morrar op 28-08-2017 01:18 ]

[Harrie_]

* ervaringsdeskundige meldt zich...

Als data-analist zul je vooral te maken krijgen met MSSQL-databases. Mijn advies is dan ook om dit boek te downloaden kopen en vervolgens een certificaat MSCA 461 te halen. Je heb dan voldoende kennis en achtergrond om daadwerkelijk als data-analist aan de slag te gaan...

[CurlyMo]

Harrie_ schreef op maandag 28 augustus 2017 @ 08:29:
* ervaringsdeskundige meldt zich...

Als data-analist zul je vooral te maken krijgen met MSSQL-databases.

Kan je je generalisatie kunnen toelichten? Het enige wat ik in mijn omgeving zie is namelijk Oracle en PostgreSQL.

[Harrie_]

CurlyMo schreef op maandag 28 augustus 2017 @ 09:24:
[...]

Kan je je generalisatie kunnen toelichten? Het enige wat ik in mijn omgeving zie is namelijk Oracle en PostgreSQL.

Werkte in het verleden voor een grote organisatie waardoor ik vooral bij andere grote organisaties terecht kwam waar alles toch voornamelijk MS-based was, van daaruit kom je dan vanzelf weer veel MSSQL tegen. Verder kom je dan grote ERP-paketten tegen waarbij het voornamelijk SAP en Dynamics zijn die op enterprise-niveau de markt domineren. Dynamics vind je natuurlijk standaard gekoppeld met MSSQL en hoewel er bij SAP meerdere mogelijkheden zijn (omdat SAP standaard SQL gebruikt en geen dialecten) kom je deze ook verassend vaak in combinatie met MSSQL tegen.

Nu werk ik voor een wat kleiner bedrijf en kom van daaruit ook weer bij kleinere klanten terecht. Wat ik hier vooral zie is MS SBS i.c.m. MSSQL.

Maar goed, ik kan me voorstellen dat je bij andere bedrijven / sectoren wellicht weer geen MSSQL tegenkomt. Neemt niet weg dat een MSCA-certificaat niet geheel onhandig is om je kennis op het (niet alleen transact maar ook gewoon native SQL) gebied te kunnen staven.

[Hydra]

forceg schreef op zondag 27 augustus 2017 @ 17:08:
Wat is het verschil tussen Oracle, My SQL en SQL Server? Wat is het meest gebruikte als Data Analist?

Dat is volledig afhankelijk van wat het bedrijf gebruikt. Maar in de basis is het hetzelfde, er zitten kleine verschillen in de dialecten zolang je niet in Oracle (bijvoorbeeld) specifieke zaken duikt. En die specifieke zaken kun je wel leren als je eenmaal begonnen bent.

Verder is het vooral een kwestie van ook wat zinnigs kunnen doen met die data. SQL queries met wat joins uit verschillende tabellen kan je je wel in een paar weken eigen maken. Maar uit die data ook daadwerkelijk informatie halen en dit mooi en overzichtelijk kunnen tonen, dat is de volgende stap.

Harrie_ schreef op maandag 28 augustus 2017 @ 08:29:
* ervaringsdeskundige meldt zich...

Als data-analist zul je vooral te maken krijgen met MSSQL-databases.

Nooit van selection bias gehoord? Wat je zegt is kul; als je je specialiseert op Oracle zul je vooral met Oracle te maken krijgen. Gek he?

Het is voor de TS ronduit onzinnig om zich nu al op een dergelijk systeem vast te leggen.

[ Voor 13% gewijzigd door Hydra op 28-08-2017 11:54 ]

[Harrie_]

Hydra schreef op maandag 28 augustus 2017 @ 11:52:
Nooit van selection bias gehoord? Wat je zegt is kul; als je je specialiseert op Oracle zul je vooral met Oracle te maken krijgen. Gek he?

Noted, misschien wat kort door de bocht. Ik heb nog in een aanvullende post toegelicht hoe ik tot die uitspraak kwam.

_{OT: als je hetgeen wat ik zeg niet vind kloppen staat het natuurlijk vrij om dat te melden, ik vind wel dat je daarbij iets minder lomp/aanvallend uit de hoek mag komen}

[Hydra]

Harrie_ schreef op maandag 28 augustus 2017 @ 12:38:
_{OT: als je hetgeen wat ik zeg niet vind kloppen staat het natuurlijk vrij om dat te melden, ik vind wel dat je daarbij iets minder lomp/aanvallend uit de hoek mag komen}

Tja. Sorry. Maar je had zelf ook wel ff kunnen bedenken dat als iemand je om advies vraagt die persoon slecht en goed advies vaak niet kan onderscheiden. Je noemt jezelf "ervaringsdeskundige" en je hebt daarbij dat stukje tekst ook niet gewijzigd. Dit terwijl volgens mij vrij algemeen bekend is dat tussen Oracle en MS SQL Oracle toch echt het grootste marktaandeel heeft.

Daarbij komt nog eens dat je iemand die de basis van SQL wil leren niet in de richting van 1 bepaalde vendor wil duwen en helemaal niet in de richting van een vendor specifieke certificering. Dat kost alleen maar tijd en geld en je weet helemaal niet of 'ie hierna niet in een Oracle shop komt te werken.

Dus 'sorry' dat ik 'lomp' reageer maar dat heeft wat mij betreft wel echt een reden.

[Gé Brander]

Ach, als je gecertificeerd bent in het een (Oracle, MS of anders) dan doe je in ieder geval kennis op van de principes. Dat sommige dialecten die je aangeleerd zijn iets anders op de andere platformen doet er dan niet zo heel veel toe. Je snapt de principes en zal snel je weg kunnen vinden in de andere platformen met een beetje inzet.