Spec-gedreven testautomatisering: deel 1

Samenvatting

Spec-gedreven testautomatisering onderzoekt waarom een groene test suite toch geen zekerheid geeft over softwarekwaliteit.

Spec-gedreven testautomatisering: wat er gebeurt

Towards Data Science bespreekt in deel 1 van een serie de beperkingen van een test suite die uitsluitend groene resultaten laat zien. Alle tests kunnen slagen, terwijl de software nog steeds niet voldoet aan het bedoelde gedrag of de onderliggende specificatie.

De centrale vraag draait daarom niet alleen om de uitvoering van tests, maar ook om de kwaliteit van de verwachtingen waarop die tests zijn gebaseerd. Spec-gedreven testautomatisering vertrekt vanuit expliciete specificaties en gebruikt die als referentie voor het ontwerpen en beoordelen van tests.

Een groen resultaat is dus een signaal over de testuitvoering, niet automatisch over de juistheid van het product.

Waarom spec-gedreven testautomatisering belangrijk is

De insteek raakt een bekend probleem in testautomatisering: teams kunnen veel vertrouwen ontlenen aan geslaagde controles zonder na te gaan of die controles het juiste gedrag afdekken. Een test suite die een verkeerde of onvolledige verwachting vastlegt, kan consequent groen blijven.

Voor BI-professionals is dat onderscheid ook relevant bij dataproducten, rapportages en analytische software. Een test kan bijvoorbeeld controleren of een berekening technisch werkt, terwijl de specificatie achter die berekening niet klopt. De fout zit dan niet in het testresultaat, maar in wat het team heeft gekozen om te testen.

Spec-gedreven werken verschuift de aandacht naar de relatie tussen specificatie, test en uitkomst. Dat maakt de test suite controleerbaar op inhoud, in plaats van alleen op status. Het artikel vormt het eerste deel van de bespreking en werkt vanuit die kritische vraag verder.

Concrete takeaway

Beoordeel een groene test suite niet alleen op geslaagde tests. Leg per test vast welke specificatie het gewenste gedrag beschrijft en controleer eerst of die specificatie volledig en correct is. Zonder die stap zegt een groene pipeline vooral dat de bestaande controles zijn geslaagd.