Context engineering: resultaten van gecontroleerd experiment

Samenvatting

Context engineering verlaagt met dbt MCP de kosten met 48,5% en de looptijd met 43,2% in een gecontroleerd experiment.

Context engineering: wat dbt testte

dbt onderzocht hoe één AI-skill klantcontext verzamelt via vier methoden. Het experiment omvatte 80 runs op echte klantdata en vergeleek kosten, snelheid en kwaliteit van de uitvoer.

De aanpak haalde een vooraf gemaakte samenvatting uit het datawarehouse via de dbt MCP-server. Die samenvatting verkleinde het datavolume twintig keer en bracht het tokengebruik voor Gong-transcripten terug van tienduizenden tokens naar enkele honderden. In de gecontroleerde vergelijking daalden de kosten met 48,5% en de looptijd met 43,2%.

Waarom context engineering telt

AI-skills binnen Fivetran en dbt Labs halen context rechtstreeks uit tools zoals Gong, Salesforce en Slack. Daardoor delen alle gebruikers en skills dezelfde API-limieten. Een drukke workflow kan dus ruimte wegnemen voor andere toepassingen.

De directe aanpak kent nog twee problemen. MCP-connectors bieden alleen de filters die de leverancier heeft gebouwd; Gong heeft bijvoorbeeld geen filter op accountnaam. Agents moeten dan extra systemen raadplegen of grote hoeveelheden gesprekken lezen. Daarnaast herhalen skill-auteurs dezelfde ophaallogica, telkens met kleine verschillen.

Context engineering verplaatst een deel van dat werk naar het warehouse. Dat maakt de context vooraf beschikbaar voor agents, maar de kwaliteit is niet gelijk aan die van het volledige transcript. De samenvatting behield de meeste datums, getallen en vervolgstappen, maar miste beslissingen en functietitels.

Context engineering: concrete takeaway

Meet AI-skills niet alleen op uitvoerkwaliteit. Vergelijk ook tokengebruik, kosten en looptijd, en controleer expliciet welke informatie uit een samenvatting verdwijnt. Gebruik een warehouse-samenvatting via dbt MCP wanneer de taak vooral vaste feiten en vervolgstappen nodig heeft; kies de volledige broncontext wanneer beslissingen of functietitels doorslaggevend zijn.