Kosten lokaal LLM: euro's per miljoen tokens

Samenvatting

Kosten lokaal LLM gebruik vallen soms lager uit dan cloud-API's.

Lokale LLM-kosten gemeten

Arsen Apostolov heeft de werkelijke elektriciteitskosten van acht lokale Large Language Models (LLM's) gemeten op een RTX 3090. Hij ontdekte dat vijf van de modellen lokaal goedkoper draaien dan een cloud-API. De kosten per miljoen output tokens werden berekend met echte energieverbruikmetingen, wat een eerlijker beeld geeft dan schattingen.

Relevantie voor BI-professionals

Het inzicht dat lokale LLM-runs goedkoper kunnen zijn dan cloudalternatieven is van belang voor organisaties met infrastructuurinvesteringen zoals krachtige GPU's. Dit zet een vraagteken bij de veronderstelling dat lokaal gebruik altijd duurder is. Het benadrukt een trend waarin eigen infrastructuur soms een aantrekkelijker financieel model kan bieden.

Advies voor BI-professionals

Professionals die overwegen om AI-modellen lokaal te draaien, moeten hun eigen kosten per token nauwkeurig meten in plaats van te vertrouwen op algemene aannames. Het kan lonend zijn om lokale infrastructuur verder te verkennen als onderdeel van de data-analyse strategie.