Databricks: Apache Spark 4.3 nu beschikbaar in Runtime 19

Samenvatting

Databricks maakt Apache Spark 4.3 beschikbaar in Runtime 19, met stateful streaming en een P99-latentie onder 150 ms.

Apache Spark 4.3 in Databricks Runtime 19

Apache Spark 4.3 brengt stateful processing naar Real-Time Mode. Streamingaggregaties, deduplicatie en aangepaste stateful verwerking draaien daar via de vertrouwde Structured Streaming-API’s. In drie representatieve benchmarks bleef de end-to-end P99-latentie onder 150 milliseconden.

De release voegt ook SCD Type 2 Auto CDC toe. Daarmee kunnen teams wijzigingen in records volgen via Python, SQL en Spark Connect, zonder voor iedere historische gegevensstroom eigen change-processinglogica te bouwen. Project Feather verlaagt daarnaast de uitvoeringskosten van geschikte queries op kleine datasets. Verbeteringen in Spark Connect, JDBC, Python en SQL vullen het pakket aan.

Wat Apache Spark 4.3 betekent voor streaming en analytics

De belangrijkste verschuiving zit in het combineren van contextbewuste streaming met batchverwerking, analytics en AI binnen één open engine. Voor ondersteunde workloads is daardoor geen aparte streamingengine nodig om milliseconde-latentie te bereiken. Dat vereenvoudigt de technische vergelijking voor teams die nu streaminglogica over meerdere engines verdelen.

Spark 4.3 verbreedt bovendien de mogelijkheden in SQL. VARIANT-transformaties, JSON_TABLE, temporal joins en een preview van nanoseconde-timestamps richten zich op geneste en tijdsgevoelige gegevens. De release volgt ook een kwartaalritme: Databricks gaat van één feature-release per zes maanden naar één per drie maanden.

Concrete takeaway voor Apache Spark 4.3

Test eerst stateful workloads in Real-Time Mode tegen de eigen latency-eisen en controleer of ze binnen de ondersteunde scenario’s vallen. Plan daarnaast evaluaties per kwartaal, omdat nieuwe Spark-functies vanaf Runtime 19 vaker beschikbaar komen.