Qwen: trainingstijd met 6x verminderd op AI-runtime

Samenvatting

Qwen-trainingstijd daalt 6x op AI Runtime, van 7 uur en 44 minuten naar 1 uur en 17 minuten.

Qwen-training op AI Runtime

Databricks beschrijft hoe fine-tuning van het Qwen 3.8 27B-model op AI Runtime zes keer sneller werd. De trainingstijd daalde van 7 uur en 44 minuten naar 1 uur en 17 minuten op dezelfde vaste dataset.

De verbetering kwam niet door een hogere gemiddelde GPU-bezetting. Die stond bij de basistraining al op 98 procent. Databricks installeerde de juiste kernels en paste de datapijplijn aan. Met een torch trace werden vervolgens bewerkingen zichtbaar die in de standaardmeting verborgen bleven.

Het model gebruikt FSDP2 om gewichten en optimizerstatus over de GPU’s te verdelen. Activation checkpointing ruilt geheugenruimte in voor extra berekeningen, zodat een grotere batch per GPU past. De dataloader verwerkt batches tot maximaal 8192 tokens en gebruikt de dataset HuggingFaceH4/ultrachat_200k.

Waarom Qwen en torch trace belangrijk zijn

De casus laat zien waarom GPU-utilization geen volledige prestatiemeting vormt. De metric telt vooral mee of een GPU actief is, niet hoe effectief die activiteit bijdraagt aan de training. De baselinemeting kwam uit op 9.396 tokens per seconde, terwijl de trace onder meer veel aanroepen van aten::bmm, aten::mul en aten::copy_ liet zien.

Voor teams die grote taalmodellen trainen, ligt een alternatief voor oppervlakkige monitoring binnen dezelfde PyTorch-tooling: onderzoek de afzonderlijke operaties met een standaard torch trace. Dat maakt afwegingen rond kernels, geheugengebruik, batchgrootte en modelparallelisme concreet. De bron beschrijft geen vergelijking met andere runtimes; de winst komt uit gerichte metingen en aanpassingen binnen AI Runtime.

Concrete takeaway voor Qwen-training

Gebruik bij trage fine-tuning niet alleen het GPU-percentage als diagnose. Leg eerst een torch trace vast, controleer kernelkeuzes en datapijplijn, en meet daarna opnieuw de totale trainingstijd en tokens per seconde.