top of page

Cachewinst bij Kimi bestaat pas als het werk terugkomt

44 minuten geleden
6 minuten om te lezen

De keuze tussen AI-modellen lijkt vaak een vergelijking van centen per miljoen tokens. Bij Kimi laat de actuele modelstand zien waarom die vergelijking tekortschiet. De werkelijke rekening ontstaat pas wanneer een antwoord door de controle komt, een agent zijn taak afmaakt en een medewerker niet opnieuw hoeft te beginnen.

Dat maakt de afweging interessanter dan een ranglijst. De vraag die nu telt: de gevoeligheid van K3-kosten voor een cachetreffer van 50, 70 of 90 procent. We zetten de sterkste kans en de belangrijkste tegenwerping naast elkaar, met een rekenvoorbeeld dat laat zien welke benutting de investering rechtvaardigt.

De verandering zit niet alleen in het model

Waarom een lage tokenprijs kan misleiden

Het sterkste argument voor deze route

De kostenkant verdient meer aandacht

Een rekenvoorbeeld voor 2027 tot en met 2029

Van een goede proef naar een houdbaar proces

Wat een bedrijf nu moet vastleggen

De conclusie volgt uit de uitkomst

In het kort

Moonshot positioneert Kimi K3 als een open mixture-of-expertsmodel met 2,8 biljoen totale parameters, waarvan 896 experts bestaan en zestien per token actief zijn. Het contextvenster bedraagt een miljoen tokens. Waar het om draait: de gevoeligheid van K3-kosten voor een cachetreffer van 50, 70 of 90 procent. De goedkoopste tokenroute is daardoor niet automatisch de goedkoopste bedrijfsroute. De relevante maat is de prijs per gecontroleerde, bruikbare uitkomst.

De verandering zit niet alleen in het model

De API-prijs vermeldt 0,30 dollar per miljoen invoertokens bij een cachetreffer, 3 dollar bij een misser en 15 dollar voor uitvoer. Moonshot noemt voor codewerk een cachetreffer boven 90 procent als leveranciersclaim. Dat percentage is geen eigenschap van het model alleen. Het hangt af van herhaalde systeemprompts, stabiele bestanden, de volgorde van context en de vraag hoe lang cachegegevens geldig blijven. Dat maakt dit een lastige afweging. De technische mogelijkheden nemen toe, terwijl de organisatie meer keuzes krijgt over versie, context, snelheid en kosten. Precies daardoor kan een ogenschijnlijk kleine modelinstelling de kwaliteit van een heel werkproces veranderen.

De officiële documentatie (stand 22 oktober 2026) beschrijft wat de leverancier aanbiedt en rekent, maar niet wat een specifieke Nederlandse organisatie ermee bespaart. Daarvoor zijn eigen taken, eigen foutgrenzen en eigen controletijd nodig. Je vindt die documentatie op https://www.kimi.com/en/blog/kimi-k3.

Waarom een lage tokenprijs kan misleiden

Een team met telkens hetzelfde grote codebestand kan veel besparen. Een adviesbureau met iedere keer een nieuw klantdossier ziet veel meer missers en betaalt daardoor een ander effectief invoertarief. Een token is meetbaar en verschijnt direct op de factuur. De tijd van een medewerker die een antwoord moet controleren, een fout moet herstellen of een klant moet terugbellen staat meestal in een ander systeem. Wie alleen de API-rekening bekijkt, ziet dus maar een deel van de kosten.

Een bruikbare vergelijking begint met dezelfde taak en dezelfde kwaliteitsgrens. Tel vervolgens alle invoer, uitvoer, cache, redeneertokens, gereedschappen en herhaalpogingen. Deel dat bedrag door het aantal uitkomsten dat zonder herstel door de controle komt. Pas dan ontstaat een prijs per succesvolle taak die tussen modellen te vergelijken is.

Daar komt beschikbaarheid bij. Een sneller antwoord heeft waarde als een medewerker erop wacht of een klant anders afhaakt. Voor nachtelijke batchverwerking is dezelfde snelheid vaak weinig waard. Batchkorting kan dan aantrekkelijker zijn dan een snellere en duurdere route.

Het sterkste argument voor deze route

Cacheoptimalisatie is zinvol wanneer zij uit loggegevens blijkt. Stabiele instructies vooraan plaatsen en veelgebruikte context hergebruiken kan de rekening verlagen zonder een goedkoper model te kiezen. Dat scenario verdient serieus aandacht, omdat niet ieder proces dezelfde foutkosten heeft. Een marketingconcept kan snel worden verworpen. Een verkeerde contractclausule of een onjuiste boeking kan veel meer herstelwerk veroorzaken.

De modelkeuze hoeft daarom niet voor de hele organisatie gelijk te zijn. Een smalle routering kan eenvoudige opdrachten naar een goedkoop model sturen en alleen moeilijke of risicovolle gevallen opschalen. Die opzet werkt alleen wanneer de organisatie vooraf meet wat moeilijk en risicovol betekent. Zonder die grens wordt opschalen willekeurig en verdwijnt de beloofde besparing.

Lees ook: https://www.debelegger.nl/post/openai-laat-zien-waarom-een-ai-agent-niet-over-zijn-eigen-toezicht-mag-beslissen

De kostenkant verdient meer aandacht

Een verkooppresentatie met 90 procent cachetreffers mag niet rechtstreeks in een begroting. De eigen hitratio moet per week en per product worden gemeten. Leveranciersbenchmarks blijven nuttig om mogelijkheden te verkennen, maar ze meten zelden de volledige workflow. Een hoge score zegt weinig over de kwaliteit van bronverwijzingen, de stabiliteit van JSON, de omgang met Nederlandse uitzonderingen of de tijd die een reviewer nodig heeft.

Ook cache en lange context vragen om discipline. Hergebruik kan de rekening sterk verlagen, maar alleen wanneer dezelfde context daadwerkelijk terugkomt. Een groot contextvenster voorkomt knipwerk, maar betaalt geen rente op ongebruikte informatie. De beste configuratie is vaak kleiner en voorspelbaarder dan de maximale technische limiet.

Ten slotte moet de economische eigenaar duidelijk zijn. De IT-afdeling ziet tokens en beschikbaarheid, de vakafdeling ziet controletijd en fouten, en finance ziet de totale kasuitgave. Wanneer die drie cijfers niet bij elkaar komen, kan een succesvolle proef alsnog een duur productieproces worden.

Een rekenvoorbeeld voor 2027 tot en met 2029

Het volgende voorbeeld is nadrukkelijk geen voorspelling. Stel dat de invoering $16,000 kost en dat een goedgekeurde taak gemiddeld $2.70 aan tijd of herstel voorkomt. De variabele model- en controlekosten bedragen $0.74 per taak. De omgekeerde formule is dan $16,000 gedeeld door $1.96. De investering is na ongeveer 8.164 goedgekeurde taken terugverdiend.

Voor het lage scenario is uitgegaan van trage ingebruikname en veel menselijke controle. Het middenscenario veronderstelt dat de workflow stabiel wordt en het aantal bruikbare taken jaarlijks groeit. Het hoge scenario veronderstelt meer volume en minder herstel, zonder de foutkosten weg te poetsen. De berekende nettowaarden voor 2027, 2028 en 2029 staan in de visual. Ze zijn kaswaarden vóór belasting en financiering.

De beslissende variabele is niet het totale aantal aanvragen, maar het aantal goedgekeurde uitkomsten. Wanneer slechts de helft van de antwoorden bruikbaar blijkt, verdubbelt grofweg het aantal aanvragen dat voor dezelfde zakelijke opbrengst nodig is. Daardoor kan een duurder model met een hogere slaagkans economisch winnen.

Van een goede proef naar een houdbaar proces

Een proef werkt vaak met enthousiaste medewerkers, schone voorbeelden en veel aandacht van ontwikkelaars. Productie is minder vriendelijk. Documenten zijn rommelig, gebruikers formuleren dezelfde opdracht anders en piekbelasting komt precies wanneer de vakafdeling haast heeft. Daarom hoort de evaluatie niet te stoppen na de eerste demonstratie. Meet per maand hoeveel taken zonder herstel slagen, hoeveel minuten controle nodig zijn en welke uitzonderingen telkens terugkomen.

Voor Kimi is bovendien belangrijk dat modelnamen, prijsroutes en beschikbaarheid kunnen veranderen. Bewaar daarom bij iedere aanvraag de datum, werkelijk gebruikte modelversie, hoeveelheid context, eventuele cachetreffer en gereedschapsaanroepen. Die gegevens maken later zichtbaar of een kostenstijging door meer gebruik, een duurdere route of slechtere kwaliteit kwam. Zonder die uitsplitsing wordt de rekening een totaalbedrag waar niemand meer een besluit uit kan afleiden.

Ook inkoopvoorwaarden tellen mee. Batchkorting, gereserveerde capaciteit of eigen hardware kan een lagere eenheidsprijs geven, maar maakt de organisatie minder flexibel. Een contract is pas goedkoop wanneer het volume werkelijk wordt benut. Een server is pas rendabel wanneer bezetting, energie, beheer en afschrijving samen lager blijven dan de vermeden cloudkosten. Dat is een kasstroomvraag, geen technisch prestigeproject.

Wat een bedrijf nu moet vastleggen

Leg eerst de actuele modelversie, prijslaag en peildatum vast. Maak vervolgens een set echte taken met duidelijke acceptatiecriteria. Meet de eerste poging, de herhaalpogingen, de controletijd en eventuele schade door fouten. Doe dit opnieuw wanneer een alias, versie, provider of quantisatie verandert.

Een productiecontract verdient daarnaast een limiet per taak, een log van de werkelijk gebruikte versie en een terugvalroute. Die terugvalroute moet vooraf zijn getest. Een tweede model dat bij een storing voor het eerst wordt aangeroepen, is geen continuïteitsplan maar een experiment op het slechtste moment.

De conclusie volgt uit de uitkomst

Dit is daarmee geen pleidooi voor de duurste of goedkoopste route. Het is een pleidooi om de economische maat op de goede plaats te zetten. Tokens zijn grondstof; een gecontroleerde beslissing, codewijziging of klantactie is het product.

De overtuiging wordt sterker wanneer dezelfde kwaliteit aantoonbaar met minder herhaalwerk wordt geleverd. Zij wordt zwakker wanneer de beloofde besparing alleen uit leveranciersprijzen komt en de controletijd buiten beeld blijft. Het bewijs om opnieuw te kijken is eenvoudig: een representatieve evaluatieset waarop kosten per goedgekeurde taak, doorlooptijd en foutschade drie maanden achtereen verbeteren.

Word abonnee van De Belegger en gebruik code GRAAG voor toegang tot onze analyses.
 
 
 

Opmerkingen

Beoordeeld met 0 uit 5 sterren.
Nog geen beoordelingen

Voeg een beoordeling toe
00:00 / 166:16:03

Net binnen..

Bedankt voor het abonneren!

bottom of page