Big data engineer vs backend developer taken / raakvlakken

[hotboy]

Hallo, ik ben benieuwd naar hoe vergelijkbaar deze 2 functies zijn qua programmeer werkzaamheden.
Heeft iemand toevallig ervaring met beide die weet of ze veel raakvlakken hebben? Zou een backender redelijk makkelijk kunnen overstappen naar een big data functie? Moet je wiskunde kennis op een 'heel' hoog niveau zijn om big data werkzaamheden uit te voeren?

Sowieso is programmeren in het algemeen een raakvlak maar ik bedoel behalve dat. Bijvoorbeeld als backend developer heb je typisch te maken met user authenticatie, SQL queries, data modellering werkzaamheden enz.

[ Voor 22% gewijzigd door hotboy op 26-01-2014 15:14 ]

[Verwijderd]

Als je je afvraagt of je als "backend developer" een geschikte kandidaat bent voor een vacature die vraagt om een "big data engineer": nee.

Er komen ook beheerskills bij kijken om infrastructuur te installeren en configureren. Daarbij is het bij grote hoeveelheden data belangrijk om in te zien dat je niet zomaar overstapt oo "iets anders". Je bent min of meer getrouwd met de architecturele keuzes die zijn of worden gemaakt.

Je krijgt te maken met technieken om zaken te scheiden waardoor je kunt opschalen. Dat is iets waar zomaar een backend developer lang niet altijd mee te maken krijgt. Je moet dan minstens met geclusterde systemen hebben gewerkt, bijvoorbeeld voor high availability, performance en/of risk mitigating.

Ik ken zat developers die je echt niet met big data hoeft te laten werken. Er zijn er met de juiste skills, maar daar horen ook de skills bij om systemen beheerbaar te houden. Developers kiezen vaak te snel voor nieuwe technieken en gaan voorbij aan het idee dat spullen 5 jaar moeten blijven draaien en dat ook daarna nog iets met de data moet kunnen worden gedaan.

En nee, wiskunde is niet heel belangrijk. Analytisch denkvermogen wel. Als iemand goed is in wiskunde dan is dat een indicatie dat iemand de capaciteit bezit om logisch na te denken. Het is natuurlijk niet 1 op 1 te matchen, maar als iemand slecht is in wiskunde moet hij waarschijnlijk niet met big data werken.

Dus in het kort, ik denk dat iemand om als "big data engineer" te kunnen functioneren moet beschikken over een behoorlijke berg skills op het gebied van development en beheer, en daarbij de ervaring met grote datasets (duh). Enige wiskundige kennis kan heel goed van pas komen.

[pedorus]

Verwijderd schreef op zondag 26 januari 2014 @ 15:36:
Ik ken zat developers die je echt niet met big data hoeft te laten werken. Er zijn er met de juiste skills, maar daar horen ook de skills bij om systemen beheerbaar te houden. Developers kiezen vaak te snel voor nieuwe technieken en gaan voorbij aan het idee dat spullen 5 jaar moeten blijven draaien en dat ook daarna nog iets met de data moet kunnen worden gedaan.

Ik vind het vreemd om hier de nadruk op te leggen. Veel van de technieken bestaan nog niet eens 5 jaar als stable version, dus ik snap de context niet. Voorbeeldje: We gebruiken nu bijvoorbeeld Kafka 0.8. Dit is nog steeds niet in stabiele versie, maar wel een logische beslissing als 'big data' oplossing. Dat kan over 5 jaar nog steeds draaien, maar wellicht zijn we dan wel geupgrade naar 1.0 oid.

hotboy schreef op zondag 26 januari 2014 @ 15:11:
Hallo, ik ben benieuwd naar hoe vergelijkbaar deze 2 functies zijn qua programmeer werkzaamheden.
Heeft iemand toevallig ervaring met beide die weet of ze veel raakvlakken hebben?

Dit klinkt een beetje alsof je de vraag op MBO/HBO-niveau stelt, alsof er een soort standaard set niet erg veranderde werkzaamheden bij die functies hoort. Ik zou denken dat een big data engineer, wat natuurlijk ook vooral een buzzword is, op een hoger niveau beslissingen kan nemen dan standaard programmeer werkzaamheden. Bij uitstek dus iemand op WO-denkniveau (dat is niet perse hetzelfde als daadwerkelijk universiteit afgerond), die nieuwe technieken snel kan oppakken. Bij uitstek iemand die snapt hoe je grote hoeveelheden data behapbaar kan maken.

Anders gezegd: Of dat overlapt met een backend developer hangt er sterk vanaf wat die backend developer precies doet.

[Hydra]

Is die vacature voor "big data engineer" wel een developer functie uberhaupt? Klinkt meer als een beheersfunctie.

Een developer die te maken heeft met 'big data' zal waarschijnlijk een meer gespecialiseerde back-end developer zijn, met ervaring met zaken als Hadoop, Map-Reduce en talen als R bijvoorbeeld.