Lokale LLM: kosten voor gebruik op Apple Silicon gemeten

Samenvatting

Lokale LLM meet energiekosten op Apple Silicon die voorspellingen overtreffen.

Lokale LLM-energiekosten op Apple Silicon

Een recent onderzoek meet de energiekosten van het draaien van Large Language Models (LLMs) op Apple Silicon, specifiek op een M3 Ultra Mac Studio. Onderzocht werd het energieverbruik van vijf verschillende modellen met diepteanalyse per token. Hierbij werd gebruikgemaakt van de tool TokenWatt voor nauwkeurige metingen. De bevindingen toonden aan dat een 120-miljard-parameter model verrassend genoeg goedkoper per token presteert dan een kleiner model van een kwart van zijn omvang.

Waarom de energiekosten belangrijk zijn

Voor BI-professionals betekent dit een kritische heroverweging van de kostenstructuur bij het lokaal draaien van LLM's, vooral op hardware zoals Apple Silicon. Traditioneel werd verondersteld dat grotere modellen hogere operationele kosten zouden hebben; echter, deze studie wijst uit dat het energieverbruik niet alleen afhankelijk is van de grootte van het model, maar ook van de efficiëntie. Dit duidt op een potentiële besparing en mogelijke strategische verschuiving in hardware-keuzes.

Concrete takeaway

Voor BI-professionals is het essentieel om verder te kijken dan enkel de grootte van modellen bij hardware-investeringen. Overweeg de totale energiekosten en efficiëntie, vooral bij het inpassen van LLMs in lokale serveromgevingen waar Apple Silicon een optie is.