Microsoft: Dataflow Gen2 goedkoper, maar meer CUs nodig

Samenvatting

Dataflow Gen2 gebruikt in een SQL-workload ongeveer 20 keer meer CUs, ondanks Microsofts benchmark met lagere kosten dan Gen1.

Dataflow Gen2 vraagt veel meer CUs in praktijk

Een gebruiker op Reddit beschrijft een migratie van dataflows Gen1 naar Gen2. In een vrij gewone SQL-ingestieworkload loopt het verbruik volgens die ervaring op tot ongeveer twintig keer zoveel CUs, waardoor de kosten onaanvaardbaar worden.

Microsoft publiceerde benchmarks waarin Dataflow Gen2 sneller en goedkoper uitkomt dan Gen1. De praktijkervaring in deze casus wijkt daar vrijwel volledig van af. De gebruiker overweegt daarom de workload onder te brengen in een copyjob of pipeline.

Waarom Dataflow Gen2 nader onderzoek vraagt

De tegenstelling zit niet alleen in prijs, maar ook in de gekozen testcontext. Een benchmark kan een ander datavolume, patroon of verwerkingspad gebruiken dan een productie-workload met SQL-ingestie. Daardoor volstaat een gunstig benchmarkresultaat niet om de kosten van een migratie vooraf vast te leggen.

Voor teams die Gen1-dataflows vervangen, ontstaat een concrete vergelijkingsvraag: levert Gen2 bij hun eigen verwerking voldoende snelheid op tegenover het extra CU-verbruik? Copyjobs en pipelines vormen in de beschreven situatie alternatieven, maar de bron bevat geen meting van hun prestaties of kosten. Die gegevens moeten dus uit de eigen omgeving komen.

De casus laat ook zien dat capaciteit een aparte controlepost vormt naast functionele compatibiliteit. Een migratie kan technisch slagen en toch financieel ongeschikt uitpakken.

Dataflow Gen2: concrete takeaway

Meet vóór de migratie het CU-verbruik van een representatieve SQL-workload in Gen2 en leg dat naast de huidige Gen1-meting. Vergelijk daarna dezelfde workload met een copyjob of pipeline. Gebruik Microsofts benchmarks als referentie, niet als vervanging voor een test met je eigen dataflows.