GPT-caching loont alleen als de vaste prompt vast blijft
Sam Altman (archieffoto, 11 april 2025). Foto: Steve Jurvetson / Wikimedia Commons / CC BY 2.0; uitsnede door DenisMironov1. Bron en beeldverantwoording ·
In het kort
GPT-6 Astra, GPT-6.1 Sol en GPT-6 Luna laat zien dat een lage tokenprijs of veel context niet automatisch een goedkope productieoplossing oplevert. OpenAI vermeldt voor Astra $10 per miljoen inputtokens, $1 voor cached input en $12,50 voor een cache write. Sol staat op $2, $0,10 en $2,50, terwijl Luna $0,10, $0,01 en $0,125 kost. Alle drie bieden een contextvenster van 1,05 miljoen tokens. De beslissende factor is of de technische eigenschap herhaalpogingen, menselijk herstel en infrastructuur werkelijk verlaagt. De omgekeerde rekensom maakt zichtbaar hoeveel aantoonbare tijdwinst nodig is voordat de investering positief wordt.
De marketingzin is eenvoudig: meer context, een lagere cacheprijs of minder actieve parameters maakt kunstmatige intelligentie goedkoper. Voor een klantenservice die dezelfde handleiding en dezelfde antwoordregels honderden keren per dag meestuurt is dat hooguit het begin van de analyse. Een organisatie betaalt uiteindelijk voor een gecontroleerd resultaat, niet voor een indrukwekkende eigenschap op een modelkaart.
Promptcaching beloont herhaling van exact dezelfde vaste context. Zodra een team beleidsregels, voorbeelden of schemas op iedere aanvraag subtiel herschrijft, kan de cachetreffer wegvallen en komt de volledige inputrekening terug. Dat maakt de architectuur of tarieftabel relevant voor de begroting, maar alleen wanneer het werkproces hetzelfde gedrag vertoont. De eigen meting moet daarom exact vastleggen welke invoer terugkomt, hoeveel uitvoer ontstaat en welke correcties mensen nog uitvoeren.
Direct naar een onderdeel van dit artikel
Wat er nu werkelijk beschikbaar is
Volgens de OpenAI-modelvergelijking geldt op de peildatum het volgende: OpenAI vermeldt voor Astra $10 per miljoen inputtokens, $1 voor cached input en $12,50 voor een cache write. Sol staat op $2, $0,10 en $2,50, terwijl Luna $0,10, $0,01 en $0,125 kost. Alle drie bieden een contextvenster van 1,05 miljoen tokens.
Die feiten zijn nuttig, maar ze vormen nog geen onafhankelijke producttest. Leveranciers meten vaak onder vaste instellingen en publiceren resultaten die niet vanzelf iets zeggen over Nederlandse teksten, eigen systemen of de foutschade van een organisatie. Een model dat op een benchmark wint, kan in een specifieke workflow alsnog duurder zijn door verkeerde bronkeuze, ongeldige velden of extra controle.
Beschikbaarheid moet precies worden benoemd. Commerciële API-modellen, geen downloadbare gewichten. Een chatdienst, een publieke preview, een API en downloadbare gewichten geven elk een andere mate van controle. Ook een permissieve licentie neemt de plicht tot beveiliging, logging, gegevensminimalisatie en kwaliteitscontrole niet over.
De valkuil is dat een ontwikkelteam een lagere cached-inputprijs in het budget zet zonder de werkelijke hitratio te meten. Ook outputtokens, redeneertokens en toolkosten blijven buiten die korting. Daarom hoort de proef niet te eindigen bij een geslaagd voorbeeld. Neem representatieve moeilijke gevallen, een druk moment, een storing en een wijziging van het model of endpoint mee. Pas dan wordt duidelijk of de gekozen route bestand is tegen normaal bedrijfsgebruik.
Een goede testset bevat tussen twintig en honderd echte taken en een vooraf vastgelegde acceptatiegrens. Een antwoord telt alleen als het inhoudelijk klopt, de afgesproken vorm heeft, controleerbare bronnen gebruikt waar dat nodig is en geen inhoudelijke reparatie vraagt. Zo ontstaat een percentage geslaagde taken bij de eerste poging en een reële kostprijs per geaccepteerd resultaat.
Versiebeheer is daarbij geen administratief detail. Modellen, aliassen, runtimes en quantisaties kunnen veranderen. Bewaar een vaste regressieset en noteer model-ID, datum, promptversie en toolinstellingen. Zonder die gegevens is een kwaliteitsdaling achteraf nauwelijks te herleiden.
Waar de kostprijs ontstaat
De kale modelrekening bestaat uit meer dan input en output. Caching kan invoer verlagen, maar alleen bij een echte treffer. Tools kunnen aparte kosten rekenen. Bij lokale modellen verschuift de rekening naar hardware, energie, beheer en afschrijving. Daarboven komen de tijd voor integratie, beveiliging, evaluatie en menselijke controle.
Voor het rekenvoorbeeld nemen we een eenmalige inrichting van € 12.000 en terugkerende kosten van € 4.200 per jaar. Een aantoonbaar vrijgespeeld arbeidsuur waarderen we op € 65. De investering wordt in drie gelijke delen over 2027, 2028 en 2029 verdeeld. Financieringskosten, belastingen en inflatie laten we buiten beschouwing zodat de beslisregel eenvoudig controleerbaar blijft.
De formule is: netto kasbesparing per jaar is bespaarde uren per maand maal twaalf maal € 65, min € 4.200 en min een derde van € 12.000. De drempel is (€ 4.200 plus € 12.000 gedeeld door drie) gedeeld door twaalf maal € 65. Dat komt uit op 10,5 uur per maand.
Die uren tellen alleen wanneer zij werkelijk uit betaald werk verdwijnen of aantoonbaar extra productie mogelijk maken. Dezelfde verbetering mag niet tegelijk als tijdbesparing, foutreductie en extra omzet worden opgenomen. Ook niet-bestede capaciteit is geen voordeel. Een medewerker die sneller klaar is maar geen ander werk oppakt, creëert geen directe kasbesparing.
De omgekeerde berekening voorkomt koopdruk. Eerst wordt vastgesteld welke netto opbrengst nodig is, daarna pas welk model of welke infrastructuur daarbij past. Zo kan een organisatie besluiten dat een eenvoudigere router, betere documentselectie of strengere outputlimiet meer oplevert dan een duurder model.
De scenario’s voor drie jaren
In het lage scenario stijgt de gemeten tijdwinst van 4 uur per maand in 2027 naar 5 uur in 2028 en 6 uur in 2029. In het middenscenario zijn dat 14, 17 en 20 uur. Het hoge scenario gebruikt 32, 38 en 44 uur per maand. De verschillen verbeelden adoptie en procesverbetering, niet een voorspelde modelprijs.
De lage uitkomst laat zien wat er gebeurt wanneer een pilot technisch werkt maar weinig breed wordt gebruikt. Het middenscenario veronderstelt dat teams terugkerende taken standaardiseren en de foutcontrole beheersen. Het hoge scenario vraagt structureel volume, goede bronselectie en voldoende taken met een hoge uurwaarde. Zonder die voorwaarden is het hoge pad geen basisbegroting.
De bedragen zijn netto na de genoemde inrichting en terugkerende kosten, maar vóór belasting en financiering. API-tarieven kunnen wijzigen en lokaal stroomverbruik kan afwijken. Daarom horen ze ieder kwartaal opnieuw te worden ingevuld met facturen, loggegevens en werkelijk geaccepteerde taken.
Wanneer de keuze rationeel wordt
Voor een klantenservice die dezelfde handleiding en dezelfde antwoordregels honderden keren per dag meestuurt begint een verstandige proef met het meten van het huidige proces. Noteer per taak de menselijke doorlooptijd, het aantal fouten, de herstelminuten en de externe kosten. Daarna krijgt het model precies dezelfde taken. Alleen het verschil tussen beide routes kan aan de inzet worden toegeschreven.
Documentselectie is vaak de goedkoopste eerste verbetering. Verwijder duplicaten, oude versies en irrelevante bijlagen voordat het model draait. Leg bij ieder antwoord vast welke bronpassages zijn gebruikt. Daardoor dalen tokens en controlewerk tegelijk, zonder dat een grotere context automatisch als voordeel wordt geboekt.
Een router kan eenvoudige taken naar een klein of goedkoop model sturen en alleen risicovolle uitzonderingen escaleren. Dat is vaak robuuster dan alles door het krachtigste model te laten lopen. De router zelf moet wel worden getest, want verkeerd afgeprijsde taken kunnen fouten juist onzichtbaar maken.
Vier meetwaarden zijn voldoende om de eerste maand bestuurbaar te maken. Noteer de kosten per geaccepteerde taak, het percentage dat bij de eerste poging slaagt, de menselijke herstelminuten en de totale doorlooptijd. Bekijk het gemiddelde én de slechtste tien procent. Juist lange uitlopers veroorzaken gemiste deadlines en onverwachte personeelskosten. Een lager gemiddelde zonder verbetering van die staart kan voor tijdkritisch werk nog steeds een slechte keuze zijn.
Gebruik daarnaast een controlegroep. Laat een deel van de taken gedurende de proef via het bestaande proces lopen, zodat seizoensdrukte, nieuwe medewerkers of veranderde documentkwaliteit niet ten onrechte aan het model worden toegeschreven. Vergelijk dezelfde taaksoort en dezelfde acceptatiegrens. Pas wanneer het verschil enkele weken standhoudt, is opschalen verdedigbaar. Deze aanpak kost discipline, maar voorkomt dat één geslaagde demo wordt verward met een structureel verdienmodel.
Beveiliging en continuïteit verdienen een afzonderlijke begrotingsregel. Bepaal welke gegevens de omgeving mogen verlaten, wie logs kan zien, hoe lang invoer wordt bewaard en wat er gebeurt bij uitval. Een reserve-API of handmatige noodroute kost geld, maar kan bij tijdkritisch werk goedkoper zijn dan stilstand.
De conclusie volgt daarom niet uit één prijs of benchmark. OpenAI GPT kan economisch aantrekkelijk zijn wanneer de gemeten tijdwinst boven 10,5 uur per maand komt en de kwaliteit onder normale omstandigheden standhoudt. Onder die grens is optimaliseren van het bestaande proces, betere retrieval of een kleinere proef rationeler.
Wie lid is van De Belegger en vragen heeft over deze analyse kan de code GRAAG mailen aan info@debelegger.nl.
Opmerkingen