Temperatuur 0: niet-determinisme verklaard

Samenvatting

Temperatuur 0 maakt LLM-uitvoer niet volledig deterministisch: identieke completions kunnen na ongeveer honderd tokens uiteenlopen.

Temperatuur 0 en LLM-uitvoer

Het artikel legt uit waarom een LLM bij temperatuur 0 niet altijd dezelfde tekst produceert. Zelfs wanneer een model telkens dezelfde invoer krijgt, kan de keuze voor de volgende token op een bepaald moment omslaan.

De auteur presenteert een formule van één regel die beschrijft hoe vaak de top token wisselt. Dat kleine verschil blijft niet lokaal: na ongeveer honderd tokens kunnen twee completions die identiek begonnen, duidelijk uit elkaar lopen.

Waarom niet-determinisme bij temperatuur 0 belangrijk is

Temperatuur 0 geldt vaak als praktische shorthand voor vaste modeluitvoer. Het artikel maakt duidelijk dat die aanname te sterk is. De instelling beperkt variatie, maar garandeert geen letterlijke herhaling van een volledige completion.

Dat onderscheid raakt tests, evaluaties en foutanalyses rond LLM-toepassingen. Een afwijkend antwoord hoeft niet automatisch te wijzen op een gewijzigde prompt of een defect in de toepassing. Een vroege wissel in de top token kan het vervolg al een andere richting geven.

De titel en het excerpt leggen geen specifieke oorzaak bij een bepaalde leverancier, modelversie of programmeerinterface. De uitleg blijft daarom bij het mechanisme: lokale onzekerheid in tokenkeuzes kan zich opstapelen over langere uitvoer.

Concrete takeaway voor temperatuur 0

Behandel temperatuur 0 niet als bewijs dat een LLM-test altijd exact reproduceerbare tekst oplevert. Vergelijk bij evaluaties niet alleen de volledige completion, maar leg ook vast waar vroege tokenkeuzes van elkaar afwijken en hoe lang de uitvoer is.