Verisk: datamodernisering van mainframe naar AI-ondersteuning

Samenvatting

Verisk moderniseert een mainframeketen in vier stappen, van Snowflake en notebooks naar dbt met versiebeheer, lineage en datatests.

Verisk en dbt: van mainframe naar dagelijkse vernieuwing

Tijdens dbt Summit 2026 beschreven data engineers van Verisk Analytics hoe het underwritingteam een decennialange mainframeketen moderniseerde. Verisk verwerkt gegevens van honderden verzekeraars, die hun systemen vertalen naar een vast formaat op basis van een handleiding van duizend pagina’s. Actuariële teams gebruiken die gegevens voor prijsbeslissingen die bij toezichthouders worden ingediend.

De oorspronkelijke omgeving bevatte tabellen met enkele miljarden rijen en honderden kolommen. Het mainframe werkte goed, maar de herkomst van een getal bleef moeilijk te reconstrueren wanneer regels diep in ongedocumenteerde logica zaten.

De eerste cloudstap combineerde Snowflake met Jupyter-notebooks. Daarmee kreeg het team versiebeheer en meer zicht op de bedrijfslogica, maar de notebooks pasten minder goed bij dagelijkse productie. Native Snowflake-objecten zoals streams, tasks en dynamic tables brachten dagelijkse vernieuwing, maar lieten honderden handmatig te coördineren objecten achter.

Waarom Verisk en dbt relevant zijn

De casus laat zien hoe elke moderniseringsstap een bestaand probleem oploste en tegelijk een nieuw beheerprobleem creëerde. Snowflake leverde de opslag en uitvoeromgeving; dbt bracht modellen, peer review, zelfdocumenterende lineage en tests samen in één projectstructuur.

Dat verschil raakt direct aan controleerbaarheid. Een schemawijziging of mislukte taak vroeg eerder om handmatig zoeken in querygeschiedenis. Met dbt kan een test de pijplijn stoppen voordat foutieve gegevens een actuarieel proces bereiken. Voor gereguleerde prijsbeslissingen is die controle geen extra rapportagefunctie, maar onderdeel van de gegevensketen.

Verisk en dbt: concrete takeaway

Breng bij een modernisering niet alleen tabellen en rekentijd in kaart, maar ook de herkomst van regels, de overgang tussen omgevingen en de controles vóór publicatie. Gebruik de Verisk-casus als toets: lost een nieuwe technologie alleen het huidige knelpunt op, of beheert ze ook het volgende coördinatieprobleem?