Volledige gids voor het ontcijferen van LLM modelnamen

Samenvatting

LLM-modelnamen onthullen de modelgrootte, actieve parameters, opslagprecisie en bestandsindeling van lokale AI-modellen.

LLM-modelnamen: wat elk onderdeel betekent

Een naam als Qwen3.8-27B-A3B-It-2507-gguf-q2ks-mixed-AutoRound lijkt ingewikkeld, maar elk onderdeel beschrijft een eigenschap van het model. De cijfers met een B geven het totale aantal parameters aan: 7B staat voor 7 miljard parameters, 14B voor 14 miljard en 35B voor 35 miljard.

De aanduiding A3B verwijst bij een Mixture-of-Experts-model naar ongeveer 3 miljard actieve parameters per token. Het model kan dus 35 miljard parameters bevatten, terwijl het per token slechts een deel daarvan gebruikt. Een dense model gebruikt tijdens inferentie vrijwel de volledige parameterset.

De naam geeft ook informatie over de afstemming en opslag. Base en Instruct verwijzen naar verschillende manieren waarop een model is getraind. FP16 en BF16 beschrijven de precisie waarmee parameters worden opgeslagen. Q4, Q5, Q6 en Q8 duiden kwantisatie aan, terwijl GGUF het bestandsformaat benoemt.

LLM-modelnamen en lokale modelkeuze

Parameteromvang heeft direct gevolgen voor lokaal gebruik, omdat grotere modellen doorgaans meer geheugen vragen. Bij MoE-modellen volstaat het totale parametergetal niet om de rekenlast te beoordelen: ook het actieve aantal parameters telt mee.

De gids maakt daarmee een onderscheid dat bij modelvergelijkingen snel verloren gaat. Een 35B-dense model gebruikt ongeveer 35 miljard parameters per token; een 35B-A3B-model heeft ongeveer 3 miljard actieve parameters per token. A3B betekent dus niet dat het model een 3B-model is.

Ook opslagkeuzes bepalen welke bestanden praktisch bruikbaar zijn. Kwantisatie verlaagt de precisie van parameters, terwijl toevoegingen achter Q4 extra informatie over de gekozen variant kunnen geven.

LLM-modelnamen: concrete takeaway

Lees vóór het downloaden eerst B, A3B, Base of Instruct, precisie, kwantisatie en GGUF. Vergelijk daarna het geheugen dat het totale model vraagt met de actieve parameters die de inferentie gebruikt.