Snowflake: Snowpipe Streaming bereikt 41 GB/s met Elastic Channels

Samenvatting

Snowpipe Streaming haalt 41 GB/s met Elastic Channels, terwijl Snowflake de schaalverdeling van de ingestie beheert.

Snowpipe Streaming en Elastic Channels: wat er gebeurt

Snowflake maakte Elastic Channels algemeen beschikbaar voor Snowpipe Streaming en testte de prestaties met een synthetische dataset voor resortverkopen. Het bedrijf verhoogde het aantal onafhankelijke producenten tot een totale doorvoer van 41 GB per seconde.

De benchmark gebruikte een native Snowflake FDN-tabel en een door Snowflake beheerde Apache Iceberg-tabel als bestemming. Snowflake onderzocht daarbij hoe de doorvoer en actualiteit van gegevens veranderden naarmate de belasting toenam.

Snowpipe Streaming: waarom dit belangrijk is

Elastic Channels nemen het beheer van kanaallevenscycli en offsets over. Dat verschilt van de bestaande Snowpipe Streaming-aanpak, waarbij clients zelf kanalen, offsets, metadata en schema-afstemming moesten beheren.

De keuze hangt samen met de vereiste leveringsgarantie. Snowpipe Streaming ondersteunt exactly-once-semantiek en strikte berichtvolgorde voor onder meer change data capture, financiële transacties en voorraadbeheer. Elastic Channels richten zich op datastromen waarvoor at-least-once-levering volstaat, zoals telemetrie, IoT-netwerken en loganalyse.

Snowflake koppelt dit aan een architectuur die in 2025 verscheen. Clients sturen JSON-payloads naar Snowflake, waarna server-side PIPE-objecten de gegevens asynchroon verwerken. Daarmee verschuift een deel van het reken- en geheugenwerk van de client naar de ingestielaag van Snowflake.

Snowpipe Streaming: concrete takeaway

Breng per ingestiepijplijn eerst de vereiste leveringsgarantie in kaart. Kies Elastic Channels voor stromen waarbij at-least-once volstaat en controleer daarnaast of de bestemming een native Snowflake-tabel of een beheerde Apache Iceberg-tabel wordt.