Kimi K3-architectuur: efficiënt gebruik van 2.8T model

Samenvatting

Kimi K3-architectuur: het model telt 2,8 biljoen parameters, maar activeert per token ongeveer 104 miljard experts.

Kimi K3-architectuur en modelgrootte

Kimi K3 is een open model van Moonshot met 2,8 biljoen parameters en 896 experts. Per token gebruikt het model ongeveer 104 miljard parameters. De overige gewichten blijven wel in het GPU-geheugen beschikbaar.

Bij 4-bit precisie nemen de gewichten ongeveer 1,4 TB in beslag. Een NVIDIA Blackwell Ultra B300 bevat 288 GB geheugen; een DGX B300-node met acht GPU’s komt uit op ongeveer 2,3 TB. Voor productiesystemen worden de experts daarom over grotere systemen verdeeld, zoals een NVL72-rack met 72 Blackwell-GPU’s.

Op 24 oktober 2026 verscheen Kimi K3.1 Pro. Die versie gebruikt dezelfde K3-basis met extra post-training. De architectuuranalyse blijft daardoor van toepassing.

Waarom Kimi K3 relevant is

K3 laat zien dat modelgrootte en gebruikskosten niet rechtstreeks aan elkaar gekoppeld zijn. Moonshot meldt dat K3 per token meer dan drie keer goedkoper is dan Claude Fable 5 tegen lijstprijzen. Op de onafhankelijke Artificial Analysis-index staat K3 volgens de bron drie punten achter Claude Opus 5.5; Moonshot vergelijkt het model ook met GPT-6 Astra.

De kostenbesparing komt uit meerdere ontwerpkeuzes. Mixture of experts beperkt het actieve deel per token, terwijl linear attention het verwerken van lange invoer ondersteunt. Attention residuals, Stable LatentMoE en NoPE richten zich eveneens op de manier waarop het model informatie leest en experts aanroept.

Tijdens het schrijven van een antwoord vormt geheugen de beperking: iedere nieuwe token moet gewichten en contextinformatie ophalen. Dat maakt de overdracht tussen GPU’s een bepalend onderdeel van de uitvoering.

Concrete takeaway voor Kimi K3

Wie Kimi K3 lokaal of in productie wil draaien, moet eerst de totale geheugenbehoefte en GPU-verbindingen berekenen. Alleen het actieve parameter-aantal volstaat niet: alle 2,8 biljoen gewichten moeten beschikbaar blijven, naast de KV-cache en ruimte voor gelijktijdige verzoeken.