Keep: éénpersoons datateam bouwt realtime bankinfrastructuur met dbt

Samenvatting

dbt ondersteunt bij Keep realtime kredietbesluiten die van één werkdag naar minder dan 60 seconden gingen.

dbt en realtime kredietbesluiten

Tijdens dbt Summit 2026 beschreef Scott Ziolko, hoofd data bij Keep, hoe hij als enige data-specialist de kredietbeoordeling van de fintech opnieuw inrichtte. Keep bedient Canadese kleine bedrijven met bankdiensten, creditcards, kredietlimieten en kapitaalleningen.

Het oude proces draaide op losse spreadsheets. Medewerkers downloadden bankgegevens, bewerkten bestanden handmatig en leverden binnen één werkdag een beslissing. ’s Nachts, in het weekend en op feestdagen liep niets door. Keep verwerkt nu kredietbesluiten in minder dan 60 seconden, de klok rond.

De stack bestaat uit Artie voor realtime change data capture, Snowflake voor orkestratie en rekenwerk, en dbt voor modelgovernance. Artie kopieert wijzigingen vanuit Postgres en MongoDB met een vertraging van minder dan een seconde naar Snowflake. Daar bewaart Keep zowel een exacte productiekopie als een wijzigingsgeschiedenis.

Keep, Snowflake en de architectuurkeuzes

Ziolko bouwde geen aparte dataplatformorganisatie of bereikbaarheidsdienst op. Hij is het datateam, met informele ondersteuning van enkele technisch onderlegde engineers en een underwritingteam van zeven personen. Die beperkte capaciteit stuurde de architectuurkeuzes.

Batchmodellen met dbt bieden eenvoud en controleerbaarheid, maar verwerken geen realtime wijzigingen. Zelfgebouwde streaming levert wel snelheid, maar maakt de oplossing complexer. Keep koos daarom voor dbt, Snowflake Dynamic Tables en Artie, met een gedeeltelijke concessie op controleerbaarheid.

Aan de gebruikerskant koos Keep Streamlit en Snowflake als midden tussen vrije spreadsheets en volledig maatwerk met strakke governance. De eerdere bestanden maakten analyse over de volledige kredietportefeuille vrijwel onmogelijk. De nieuwe inrichting koppelt operationele verwerking aan modellen die centraal beheerd worden.

Concrete takeaway voor dbt-gebruikers

Breng bij realtime krediet- of risicoprocessen eerst de trade-offs per laag in kaart: gegevensbeweging, compute, modellering en gebruikersinterface. Keep laat zien dat een klein team die lagen kan verdelen over Artie, Snowflake, dbt en Streamlit, in plaats van alles zelf te bouwen. Controleer daarbij expliciet welke observability je opgeeft voor snelheid.