Eén prompt wijzigen beïnvloedt 50 andere — ik bouwde een afhankelijkheidsgrafiek

Samenvatting

Afhankelijkheidsgrafiek voor prompts bepaalt welke downstream-agents opnieuw moeten worden geëvalueerd na één wijziging.

Prompt dependency graph brengt gevolgen in kaart

De auteur bouwde in pure Python een afhankelijkheidsgrafiek voor composable prompts. De methode onderscheidt Reachable, alle downstream-componenten van een gewijzigde promptsectie, en Candidate, de kleinere evaluatieset met directe afhankelijkheden plus hun afnemers.

De aanpak werd getest op een synthetisch systeem met 55 nodes. Bij een wijziging in de base-policy kwam de Candidate-set uit op 24 van 45 bereikbare nodes, een beperking van 47 procent. Een wijziging in tone raakte alle 55 nodes, terwijl format de set beperkte tot 35.

Prompt dependency graph maakt hertesten gerichter

De aanleiding was een wijziging van één zin in een gedeelde base-policy: de refundtermijn veranderde van 30 dagen naar 14. Die sectie werd gebruikt door een supportagent, salesagent en interne analyst-agent. Volledige hertests waren duur, maar vooraf inschatten welke agents afhankelijk waren bleef onzeker.

De grafiek levert een structureel antwoord op basis van afhankelijkheden, vergelijkbaar met change impact analysis uit traditionele software-engineering. Dat onderscheidt deze methode van een gok op basis van bekende promptgebruikers. Tegelijk geeft de grafiek alleen aan wat geëvalueerd moet worden. Ze voorspelt niet welk onderdeel daadwerkelijk faalt; daarvoor blijft uitvoering van de evaluatie nodig.

De uitkomst varieerde sterk per wijziging. Section-aware tracking beperkte de evaluatieset in de experimenten met 0 tot 85 procent. Soms ontstond dus nauwelijks beperking, soms wel. De structuur van de promptketen bepaalt de uitkomst.

Concrete takeaway voor prompt dependency graph

Leg gedeelde promptsecties en hun afnemers expliciet vast voordat je wijzigingen publiceert. Gebruik de Reachable-set als bovengrens en de Candidate-set om de eerste hertests af te bakenen, maar behandel die selectie niet als bewijs dat andere agents veilig zijn. Plan na elke wijziging een daadwerkelijke evaluatie van de geselecteerde keten.