Transformers: noodzaak van positionele codering voor tijdreeksen

Samenvatting

Positionele codering geeft Transformers een gevoel voor volgorde in tijdreeksen, zodat zelfaandacht eerdere en latere metingen onderscheidt.

Positionele codering voor tijdreeksen: wat er gebeurt

Transformers verwerken reeksen met self-attention, maar die techniek bekijkt alle observaties tegelijk. Zonder extra informatie weet het model niet welke meting eerst kwam, welke later volgde of hoeveel tijd tussen twee observaties zit.

Dat verschil bepaalt de betekenis. Een temperatuur van 30 graden gisteren en 20 graden vandaag vertelt een ander verhaal dan 20 graden gisteren en 30 graden vandaag. De waarden zijn gelijk; alleen de volgorde verandert. Positional encoding voegt daarom positie-informatie toe aan de representaties die de Transformer verwerkt.

De auteur bouwt de uitleg op vanuit een reeks met temperaturen over vijf werkdagen. Elke meting start als één scalaire waarde. Een learned linear projection zet die waarde om in een vector met dimensie d_model. De resulterende embeddings bevatten informatie over de meting, maar nog niet vanzelf over haar plaats in de reeks.

Waarom positionele codering voor tijdreeksen telt

Voor BI-professionals die tijdreeksmodellen beoordelen, ligt hier een technische scheidslijn: een model kan de waarde van een observatie kennen zonder de tijdscontext te begrijpen. Self-attention lost relaties tussen observaties op, maar levert de volgorde niet automatisch mee.

Positionele codering vormt daarom geen losse versiering rond het model. Ze vult een ontbrekend onderdeel van de invoer aan. De auteur koppelt dit probleem aan taal, waar dog bites man iets anders betekent dan man bites dog. Tijdreeksen delen met taal dat de volgorde betekenis draagt, ook al verschillen beide soorten gegevens sterk.

De precieze technieken voor positionele codering zijn volgens het artikel in de loop van de tijd veranderd. Het onderliggende probleem blijft hetzelfde: de Transformer moet weten waar iedere observatie in de reeks staat.

Concrete takeaway voor positionele codering

Controleer bij ieder Transformer-model voor tijdreeksen twee stappen afzonderlijk: de omzetting van scalaire waarden naar embeddings en de toevoeging van positie-informatie. Als alleen de embeddinglaag aanwezig is, kent het model de meetwaarden wel, maar niet hun plaats in de reeks.