Obie Insurance: maandafsluiting van 25 naar 2 uur met dbt

Samenvatting

Obie Insurance verkort de maandafsluiting van ruim 25 uur naar ongeveer 2 uur met dbt State en een vernieuwd lake house.

dbt State en lake house: wat er gebeurt

Obie Insurance bouwde zijn dataomgeving opnieuw op nadat logica over vier repositories was verdeeld en pipelines via crontabs, systemd-timers, Prefect en Snowflake-taken slechts één keer per dag draaiden. Senior data engineers Tyson Doberneck en Matthew Karan brachten alles samen in één dbt-project, met een lake house op Apache Iceberg en catalogusgekoppelde databases in Snowflake.

De nieuwe inrichting leverde een productiebouwsucces van 99 procent op. Door modelhergebruik met dbt State bespaarde Obie ongeveer 40 procent op kosten. De revenue-operationsafdeling verkortte de maandafsluiting van meer dan 25 uur naar ongeveer 2 uur.

Obie Insurance en dbt: waarom dit belangrijk is

De case laat zien dat orchestration niet losstaat van modelontwerp. dbt State verhoogt het hergebruik van modellen, maar alleen als het team zorgvuldig omgaat met modellen die door de klok veranderen. Obie ontdekte dat de instelling evaluate_volatile_sql op true een volledige herbouw bij iedere run kan afdwingen voor logica die bijvoorbeeld de huidige datum vergelijkt met een vervaldatum.

Het team verplaatste zulke klokafhankelijke kolommen naar een view. De overige modelonderdelen bleven daardoor beschikbaar voor hergebruik. Die ingreep koppelt kostenbeheersing direct aan technische details in SQL en modelstructuur.

Obie breidde de herbouw verder uit met automatische tabelontdekking in Snowflake, zelfgehoste dbt-documentatie en YAML-beschrijvingen op kolomniveau via dbt-osmosis. Die documentatie voedt ook een interne Slack-bot voor foutanalyse, die volgens het team ongeveer 75 procent van de weg naar een oplossing aflegt.

dbt State: concrete takeaway

Controleer bij een dbt-project welke modellen door tijdsfuncties veranderen. Verplaats klokafhankelijke velden naar een view en meet daarna afzonderlijk hergebruik, bouwsucces en kosten. Zo voorkom je dat één dynamische kolom de volledige pipeline opnieuw laat draaien.