Samenvatting
Positional embeddings geven LLM’s informatie over woordvolgorde, zodat transformers zinnen niet als losse woorden behandelen.
Positional embeddings geven transformers volgorde-informatie
Transformers verwerken tokens via attention: elk token vergelijkt zijn vector met die van andere tokens. Die berekening gebruikt een dotproduct en houdt daardoor niet vanzelf bij welk token eerst kwam. Zonder extra positie-informatie lijken zinnen met dezelfde woorden op elkaar, ook als de betekenis verandert door een andere volgorde.
Het artikel laat dit zien met twee varianten waarin fox en dog van plaats wisselen. Zonder positional embeddings krijgt fox in beide gevallen dezelfde representatie. Het model ziet dan niet of de vos jaagt of wordt opgejaagd. De causal mask van GPT-modellen voegt wel enige volgorde-informatie toe, omdat een token alleen eerdere tokens mag zien, maar onderscheidt bijvoorbeeld geen korte en lange afstand tussen tokens.
De uitleg behandelt drie benaderingen: learned absolute positional embeddings, sinusoidal positional encoding en rotary position embeddings, meestal afgekort tot RoPE. Ook bevat het artikel een klein project waarin RoPE met code wordt opgebouwd en getest.
Waarom positional embeddings tellen voor LLM-architectuur
De keuze voor positiecodering bepaalt welk signaal een taalmodel naast tokeninhoud ontvangt. Learned embeddings koppelen iedere positie aan een aangeleerde vector, zoals bij GPT-2. Sinusoidal encoding gebruikt een vaste berekening. RoPE draait vectoren op basis van hun positie.
Dat onderscheid helpt BI-professionals die modeldocumentatie, experimenten of foutanalyses beoordelen. Een model kan woorden correct herkennen en toch een verkeerde interpretatie geven als de onderlinge volgorde onvoldoende wordt weergegeven. De uitleg maakt bovendien duidelijk waarom attention alleen niet hetzelfde is als begrip van grammaticale volgorde.
Concrete takeaway voor positional embeddings
Controleer bij een LLM-analyse eerst welke positional embeddings het model gebruikt en hoe de causal mask werkt. Test daarna zinnen waarin alleen de woordvolgorde verandert; zo zie je direct of het model het verschil tussen onderwerp en lijdend voorwerp behoudt.
Verdiep je kennis
ChatGPT en BI — Hoe AI je data-analyse verandert
Ontdek hoe ChatGPT en generatieve AI de wereld van business intelligence veranderen. Van SQL en DAX genereren tot data-a...
KennisbankAI in Power BI — Copilot, Smart Narratives en meer
Ontdek alle AI-functies in Power BI: van Copilot en Smart Narratives tot anomaliedetectie en Q&A. Compleet overzicht met...
KennisbankPredictive Analytics — Wat kan het voor jouw bedrijf?
Ontdek wat predictive analytics is, hoe het werkt en hoe je het inzet voor je bedrijf. Van de 4 niveaus van analytics to...