Contextvensters weten niet wat waar blijft: ik bouwde een validatielaag

Samenvatting

Contextvensters onthouden het verleden, maar een validatielaag controleert of hun aannames nog kloppen.

Contextvensters krijgen een validatielaag

De auteur bouwde in pure Python een reproduceerbare benchmark met twee deterministische uitvoerders. Beide voeren hetzelfde werk uit, maar één controleert vóór elke actie of de gebruikte afhankelijkheid nog geldig is; de andere merkt verouderde informatie pas op wanneer de actie mislukt. De repository bevat geen API’s of LLM’s en werkt met echte getallen.

Het verschil zit in verspild werk. De uitvoerder zonder geldigheidscontrole voert eerst een actie uit die al gedoemd is te mislukken. Bij een krap resourcebudget kan die extra stap de volledige taak laten falen.

Waarom validatie van contextvensters telt

Een contextvenster kan alle gebeurtenissen uit het verleden bewaren en toch een verkeerd beeld van het heden geven. Dat is geen geheugenfout: de informatie staat nog steeds in de context, maar de werkelijkheid veranderde intussen. In het voorbeeld stijgt een vluchtprijs van $420 naar $610 nadat het plan is gemaakt. De baseline gaat door met de oude prijs en ontdekt het probleem pas bij het boeken. De validity-aware uitvoerder controleert eerst, ziet dat de aanname niet meer klopt en plant opnieuw.

De benchmark corrigeert ook een aanname van de auteur. Een sweep met 96 configuraties liet niet de vorm van de graaf, maar de omvang van de configuratie als belangrijkste factor voor verspild werk zien. De auteur paste het experiment daarop aan in plaats van de oorspronkelijke hypothese te behouden.

Voor BI-systemen en analytische agents ligt hier een concrete ontwerpkeuze: een contextlaag die gebeurtenissen opslaat is niet hetzelfde als een uitvoeringslaag die de actualiteit van afhankelijkheden controleert. Vooral plannen met prijzen, beschikbaarheid of andere veranderlijke waarden lopen anders door op verouderde aannames.

Concrete takeaway voor contextvensters

Voeg vóór elke actie een controle toe op de geldigheid van de gebruikte afhankelijkheden. Test daarnaast met een deterministische benchmark hoeveel werk een systeem verspilt wanneer het pas na een mislukte actie replannet.