Fivetran: levert hogere prestaties met duurder coderingsmodel?

Samenvatting

Fivetran test drie OpenAI-modellen blind: duurdere modellen leverden geen duidelijk betere voorkeur op.

Fivetran en OpenAI-modellen: wat de test laat zien

Fivetran vergeleek GPT 5.6 Luna, Terra en Sol in Claude Code op de eigen codebase. De studie liep van 14 tot en met 25 september 2026; 39 engineers kregen willekeurig twee modellen toegewezen en gebruikten elk model een week.

Via een LiteLLM-proxy zagen deelnemers alleen modelaliassen. De proxy verwijderde namen van modellen en aanbieders uit antwoorden, zodat merkbekendheid en prijsverwachtingen de beoordeling niet konden sturen. Van de 39 deelnemers gebruikten 35 minstens één toegewezen model en testten 31 beide modellen.

OpenAI-modellen en prijs: waarom dit belangrijk is

Sol kreeg de voorkeur in beide vergelijkingen: 6 van 9 engineers verkozen Sol boven Luna en 7 van 10 boven Terra. Terra versloeg Luna met 5 tegen 3. De verschillen waren klein. Bij 12 van de 27 ingevulde eindbeoordelingen was de voorkeur zwak, en geen van de drie vergelijkingen lag duidelijk boven toeval.

De kosten liepen wel sterk uiteen. Terra kostte voor invoer tien keer zoveel als Luna; Sol kostte twintig keer zoveel. Een typische engineer besteedde ongeveer 5 dollar tijdens de Luna-week, 41 dollar tijdens de Terra-week en 168 dollar tijdens de Sol-week.

De test plaatst openbare benchmarks naast werk op een eigen codebase. Een model dat goed scoort op losse taken levert dus niet automatisch de beste ervaring op binnen de dagelijkse workflow. Tegelijk beperkt de kleine steekproef de zekerheid van de voorkeursscores.

Concrete takeaway voor Fivetran-gebruikers

Beoordeel codingmodellen op je eigen repositories en workflow, niet alleen op prijs of openbare benchmarks. Gebruik waar mogelijk een blinde vergelijking en registreer naast voorkeur ook uitgaven en pull-requestactiviteit. Zo zie je of een duurder model in jouw werkomgeving werkelijk meerwaarde levert.