dbt en ClickHouse: GitOps workflow bouwen bij Twilio

Samenvatting

ClickHouse en dbt vervangen bij Twilio drie systemen door één GitOps-pijplijn voor Voice Insights.

ClickHouse en dbt bij Twilio

Tijdens dbt Summit 2026 legden Marek Radonsky en Pavan Kotikalapudi van Twilio uit hoe het Voice & Video Insights-team zijn dataverwerking heeft herbouwd. De dienst verwerkt volgens Twilio meer dan 2,5 biljoen interacties per jaar en levert klanten bijna realtime analyses van gesprekken en conferenties.

Jarenlang gebruikte Twilio Kafka voor ingestie, Spark Streaming voor transformaties en Elasticsearch voor de Twilio-console en REST-API’s. Het team bracht ingestie, transformatie en uitlevering samen in ClickHouse. Materialized views namen daarbij werk over dat eerder in aangepaste Spark Scala-applicaties zat.

De workflow verschoof stapsgewijs van gedeelde documenten met DDL-wijzigingen naar GitOps. Met dbt, de open-source dbt-clickhouse-adapter, GitHub en Argo Workflows beheert Twilio schema’s als code en voert het team transformaties, tests en lineage uit. Een groot dbt-project werd opgesplitst per productgebied, met een gedeelde laag voor logica die meerdere gebieden gebruiken.

Waarom ClickHouse en dbt belangrijk zijn

De casus laat zien welke operationele gevolgen een verspreide datapijplijn heeft. Twilio verving drie afzonderlijke systemen door ClickHouse en veranderde aangepaste Spark-code in SQL-modellen en materialized views. Daardoor verlopen productieaanpassingen versiegestuurd en gecontroleerd, in plaats van via directe wijzigingen op het cluster.

De testaanpak sluit nauw aan op deze werkwijze. Engineers starten echte ClickHouse-testcontainers voor lokale en CI-integratietests en kunnen per Git-branch een previewomgeving met een deel van de productiedata maken. dbt-artifacts leveren automatisch lineage op, waardoor handmatig bijgehouden architectuurdiagrammen verdwijnen.

Concrete takeaway voor ClickHouse en dbt

Behandel ClickHouse-schema’s en dbt-modellen als code: versieer wijzigingen in Git, test ze met echte ClickHouse-containers en richt previewomgevingen per branch in voordat je een vergelijkbare migratie uitvoert.