Systeemontwerp leren op junior niveau of focussen op datamodellering?

Samenvatting

Datamodellering en systeemontwerp staan centraal voor een junior data engineer met 1,5 jaar ervaring in ETL met Prefect.

Datamodellering en systeemontwerp: de situatie

Een junior data engineer beschrijft op Reddit een herkenbare keuze: tijd besteden aan systeemontwerp of verder verdiepen in datamodellering. De ontwikkelaar werkt 1,5 jaar in het vak, bouwt vooral ETL-processen met Prefect en krijgt van anderen te horen dat het niveau al richting medior gaat.

De technische basis bestaat uit SQL en Python, aangevuld met ervaring in BigQuery en Snowflake. Voor datamodellering las de schrijver The Data Warehouse Toolkit. Ook DDIA en Fundamentals of Data Engineering kwamen aan bod, maar de kennis uit die boeken blijft niet altijd hangen.

Dat laatste vormt de kern van de vraag. Lezen levert volgens de schrijver geen zeker gevoel van beheersing op. De discussie gaat daarom niet alleen over welk onderwerp prioriteit krijgt, maar ook over de manier waarop theoretische kennis beklijft.

Waarom datamodellering en systeemontwerp tellen

Datamodellering sluit rechtstreeks aan op het werk in een datawarehouse. Keuzes rond tabellen, relaties en de vorm van transformaties bepalen hoe downstream-gebruikers gegevens terugvinden en combineren. De ervaring met BigQuery en Snowflake geeft de schrijver al een concrete omgeving om zulke keuzes te oefenen.

Systeemontwerp kijkt naar een ander niveau. Daar draait het om de opbouw van een gegevensplatform en de samenhang tussen processen, opslag en verwerking. Voor iemand die vooral ETL ontwikkelt, vormt dat een aanvulling op de dagelijkse praktijk, geen vervanging ervan.

De bron beschrijft geen universele volgorde. Wel laat de vraag zien dat boeken alleen niet genoeg houvast geven wanneer de leerstof losstaat van eigen werk. Een model of architectuur die voortkomt uit een bestaande Prefect-pipeline biedt een directere toets dan nog een boekhoofdstuk lezen.

Concrete takeaway voor BI-professionals

Kies één bestaande ETL-pipeline in Prefect en werk die uit als oefencasus: teken de datastroom, modelleer de tabellen voor BigQuery of Snowflake en noteer per keuze het alternatief. Gebruik daarna systeemontwerp om dezelfde pipeline op procesniveau te beschrijven. Zo vergelijk je beide onderwerpen op basis van eigen werk, in plaats van alleen op herinneringen uit DDIA.