Streaming data naar Apache Iceberg met Snowflake

Samenvatting

Snowflake streamt met Snowpipe Streaming data naar Apache Iceberg met meer dan één miljoen transacties per seconde.

Snowpipe Streaming en Apache Iceberg

Snowflake beschrijft een demonstratie waarin Snowpark Container Services synthetische testdata genereert en via de Snowpipe Streaming SDK naar Snowflake-managed Iceberg-tabellen stuurt. De volledige testopstelling, inclusief opstarten, end-to-end-test, doorvoermeting en afbouw, was in een halve dag klaar.

De architectuur draait binnen de infrastructuur van Snowflake. Containers in Snowpark Container Services produceren de belasting, terwijl de SDK de gegevens naar Iceberg streamt. Parquet-bestanden en Iceberg-metadata worden door Snowflake beheerd. Zodra records aankomen, past Snowflake rolgebaseerde toegangscontrole, lineage en masking toe. De gegevens zijn binnen enkele seconden opvraagbaar.

Apache Iceberg als opslagkeuze

De demonstratie vermijdt een aparte inrichting van S3-buckets, EKS-clusters, Kafka-topics, IAM-beleid en externe goedkeuringen. Snowpipe Streaming vereist Snowpark Container Services niet: de SDK kan ook op een laptop, EC2-instantie of Kubernetes-pod draaien. SPCS verkort in dit voorbeeld vooral de voorbereiding doordat Snowflake de infrastructuur beheert.

Snowflake noemt drie paden voor productiegebruik. Teams kunnen Iceberg combineren met een externe S3-volume, Iceberg op Snowflake-opslag gebruiken of kiezen voor native Snowflake-tabellen. De code blijft volgens het artikel gelijk wanneer een team later van beheerde opslag naar een externe S3-volume overstapt. Iceberg biedt daarbij een open opslagformaat, terwijl Snowflake de catalogus en governance kan beheren.

Concrete takeaway voor Snowflake-teams

Gebruik het GitHub-repository om de streamingtest eerst met Snowflake-managed Iceberg uit te voeren. Meet daarna de doorvoer en test de beschikbare SDK-opties voor Java, Python, Node en REST. Leg vóór een productiegang vast of externe S3-opslag, Snowflake-opslag of native tabellen passen bij de gewenste leesmogelijkheden en beheergrenzen.