Nemotron gebruikt 12 miljard parameters en draagt er 120 mee

56 minuten geleden

6 minuten om te lezen

De keuze tussen AI-modellen lijkt vaak een vergelijking van centen per miljoen tokens. Bij NVIDIA Nemotron laat de actuele modelstand zien waarom die vergelijking tekortschiet. De werkelijke rekening ontstaat pas wanneer een antwoord door de controle komt, een agent zijn taak afmaakt en een medewerker niet opnieuw hoeft te beginnen.

Dat maakt de afweging interessanter dan een ranglijst. De vraag die nu telt: het verschil tussen actieve parameters, totale gewichten en werkelijk productiegeheugen. We zetten de sterkste kans en de belangrijkste tegenwerping naast elkaar, met een rekenvoorbeeld dat laat zien welke benutting de investering rechtvaardigt.

Direct naar een onderdeel van dit artikel

De verandering zit niet alleen in het model

Waarom een lage tokenprijs kan misleiden

Het sterkste argument voor deze route

De kostenkant verdient meer aandacht

Een rekenvoorbeeld voor 2027 tot en met 2029

Van een goede proef naar een houdbaar proces

Wat een bedrijf nu moet vastleggen

De conclusie volgt uit de uitkomst

In het kort

Nvidia presenteert Nemotron 3.5 Super VL 120B A12B als een vision-language-model voor agents, code, gereedschappen, documenten en video. De aanduiding A12B betekent dat per token ongeveer 12 miljard parameters actief zijn. Waar het om draait: het verschil tussen actieve parameters, totale gewichten en werkelijk productiegeheugen. De goedkoopste tokenroute is daardoor niet automatisch de goedkoopste bedrijfsroute. De relevante maat is de prijs per gecontroleerde, bruikbare uitkomst.

De verandering zit niet alleen in het model

Dat cijfer beschrijft rekenwerk, niet hoeveel gewichten moeten worden opgeslagen. Het volledige mixture-of-expertsmodel telt 120 miljard parameters. NVFP4 verlaagt het geheugenbeslag, maar contextcache, runtime en buffers komen daar nog bovenop. Het model staat in early access. Dat is iets anders dan algemene productieondersteuning. Beschikbaarheid, licentievoorwaarden, softwareversies en ondersteunde hardware moeten voor een echte uitrol nog expliciet worden gecontroleerd. Dat maakt dit een lastige afweging. De technische mogelijkheden nemen toe, terwijl de organisatie meer keuzes krijgt over versie, context, snelheid en kosten. Precies daardoor kan een ogenschijnlijk kleine modelinstelling de kwaliteit van een heel werkproces veranderen.

De officiële documentatie (stand 22 oktober 2026) beschrijft wat de leverancier aanbiedt en rekent, maar niet wat een specifieke Nederlandse organisatie ermee bespaart. Daarvoor zijn eigen taken, eigen foutgrenzen en eigen controletijd nodig. Je vindt die documentatie op https://build.nvidia.com/nvidia/nemotron-3.5-super-vl-120b-a12b/modelcard.

Waarom een lage tokenprijs kan misleiden

Een lage actieve parameterwaarde kan een snelle inferentie beloven, terwijl de machine toch alle experts beschikbaar moet houden. Daardoor kan een model theoretisch snel zijn en praktisch niet passen in de gekozen server. Een token is meetbaar en verschijnt direct op de factuur. De tijd van een medewerker die een antwoord moet controleren, een fout moet herstellen of een klant moet terugbellen staat meestal in een ander systeem. Wie alleen de API-rekening bekijkt, ziet dus maar een deel van de kosten.

Een bruikbare vergelijking begint met dezelfde taak en dezelfde kwaliteitsgrens. Tel vervolgens alle invoer, uitvoer, cache, redeneertokens, gereedschappen en herhaalpogingen. Deel dat bedrag door het aantal uitkomsten dat zonder herstel door de controle komt. Pas dan ontstaat een prijs per succesvolle taak die tussen modellen te vergelijken is.

Daar komt beschikbaarheid bij. Een sneller antwoord heeft waarde als een medewerker erop wacht of een klant anders afhaakt. Voor nachtelijke batchverwerking is dezelfde snelheid vaak weinig waard. Batchkorting kan dan aantrekkelijker zijn dan een snellere en duurdere route.

Het sterkste argument voor deze route

Voor organisaties met bestaande Nvidia-infrastructuur kan het model aantrekkelijk zijn, vooral wanneer beeld en tekst in één gecontroleerde omgeving samenkomen. Dat scenario verdient serieus aandacht, omdat niet ieder proces dezelfde foutkosten heeft. Een marketingconcept kan snel worden verworpen. Een verkeerde contractclausule of een onjuiste boeking kan veel meer herstelwerk veroorzaken.

De modelkeuze hoeft daarom niet voor de hele organisatie gelijk te zijn. Een smalle routering kan eenvoudige opdrachten naar een goedkoop model sturen en alleen moeilijke of risicovolle gevallen opschalen. Die opzet werkt alleen wanneer de organisatie vooraf meet wat moeilijk en risicovol betekent. Zonder die grens wordt opschalen willekeurig en verdwijnt de beloofde besparing.

Lees ook: https://www.debelegger.nl/post/nvidia-ontwerpt-hele-ai-fabrieken-en-toch-beslist-het-stroomnet

De kostenkant verdient meer aandacht

Een leverancierbenchmark bewijst nog niet dat documenten in het Nederlands correct worden gelezen of dat videoanalyse goedkoper is dan een smalle OCR-pijplijn. De taak bepaalt de waarde. Leveranciersbenchmarks blijven nuttig om mogelijkheden te verkennen, maar ze meten zelden de volledige workflow. Een hoge score zegt weinig over de kwaliteit van bronverwijzingen, de stabiliteit van JSON, de omgang met Nederlandse uitzonderingen of de tijd die een reviewer nodig heeft.

Ook cache en lange context vragen om discipline. Hergebruik kan de rekening sterk verlagen, maar alleen wanneer dezelfde context daadwerkelijk terugkomt. Een groot contextvenster voorkomt knipwerk, maar betaalt geen rente op ongebruikte informatie. De beste configuratie is vaak kleiner en voorspelbaarder dan de maximale technische limiet.

Ten slotte moet de economische eigenaar duidelijk zijn. De IT-afdeling ziet tokens en beschikbaarheid, de vakafdeling ziet controletijd en fouten, en finance ziet de totale kasuitgave. Wanneer die drie cijfers niet bij elkaar komen, kan een succesvolle proef alsnog een duur productieproces worden.

Een rekenvoorbeeld voor 2027 tot en met 2029

Het volgende voorbeeld is nadrukkelijk geen voorspelling. Stel dat de invoering $48,000 kost en dat een goedgekeurde taak gemiddeld $6.20 aan tijd of herstel voorkomt. De variabele model- en controlekosten bedragen $1.35 per taak. De omgekeerde formule is dan $48,000 gedeeld door $4.85. De investering is na ongeveer 9.897 goedgekeurde taken terugverdiend.

Voor het lage scenario is uitgegaan van trage ingebruikname en veel menselijke controle. Het middenscenario veronderstelt dat de workflow stabiel wordt en het aantal bruikbare taken jaarlijks groeit. Het hoge scenario veronderstelt meer volume en minder herstel, zonder de foutkosten weg te poetsen. De berekende nettowaarden voor 2027, 2028 en 2029 staan in de visual. Ze zijn kaswaarden vóór belasting en financiering.

De beslissende variabele is niet het totale aantal aanvragen, maar het aantal goedgekeurde uitkomsten. Wanneer slechts de helft van de antwoorden bruikbaar blijkt, verdubbelt grofweg het aantal aanvragen dat voor dezelfde zakelijke opbrengst nodig is. Daardoor kan een duurder model met een hogere slaagkans economisch winnen.

Van een goede proef naar een houdbaar proces

Een proef werkt vaak met enthousiaste medewerkers, schone voorbeelden en veel aandacht van ontwikkelaars. Productie is minder vriendelijk. Documenten zijn rommelig, gebruikers formuleren dezelfde opdracht anders en piekbelasting komt precies wanneer de vakafdeling haast heeft. Daarom hoort de evaluatie niet te stoppen na de eerste demonstratie. Meet per maand hoeveel taken zonder herstel slagen, hoeveel minuten controle nodig zijn en welke uitzonderingen telkens terugkomen.

Voor NVIDIA Nemotron is bovendien belangrijk dat modelnamen, prijsroutes en beschikbaarheid kunnen veranderen. Bewaar daarom bij iedere aanvraag de datum, werkelijk gebruikte modelversie, hoeveelheid context, eventuele cachetreffer en gereedschapsaanroepen. Die gegevens maken later zichtbaar of een kostenstijging door meer gebruik, een duurdere route of slechtere kwaliteit kwam. Zonder die uitsplitsing wordt de rekening een totaalbedrag waar niemand meer een besluit uit kan afleiden.

Ook inkoopvoorwaarden tellen mee. Batchkorting, gereserveerde capaciteit of eigen hardware kan een lagere eenheidsprijs geven, maar maakt de organisatie minder flexibel. Een contract is pas goedkoop wanneer het volume werkelijk wordt benut. Een server is pas rendabel wanneer bezetting, energie, beheer en afschrijving samen lager blijven dan de vermeden cloudkosten. Dat is een kasstroomvraag, geen technisch prestigeproject.

Wat een bedrijf nu moet vastleggen

Leg eerst de actuele modelversie, prijslaag en peildatum vast. Maak vervolgens een set echte taken met duidelijke acceptatiecriteria. Meet de eerste poging, de herhaalpogingen, de controletijd en eventuele schade door fouten. Doe dit opnieuw wanneer een alias, versie, provider of quantisatie verandert.

Een productiecontract verdient daarnaast een limiet per taak, een log van de werkelijk gebruikte versie en een terugvalroute. Die terugvalroute moet vooraf zijn getest. Een tweede model dat bij een storing voor het eerst wordt aangeroepen, is geen continuïteitsplan maar een experiment op het slechtste moment.

De conclusie volgt uit de uitkomst

Dit is daarmee geen pleidooi voor de duurste of goedkoopste route. Het is een pleidooi om de economische maat op de goede plaats te zetten. Tokens zijn grondstof; een gecontroleerde beslissing, codewijziging of klantactie is het product.

De overtuiging wordt sterker wanneer dezelfde kwaliteit aantoonbaar met minder herhaalwerk wordt geleverd. Zij wordt zwakker wanneer de beloofde besparing alleen uit leveranciersprijzen komt en de controletijd buiten beeld blijft. Het bewijs om opnieuw te kijken is eenvoudig: een representatieve evaluatieset waarop kosten per goedgekeurde taak, doorlooptijd en foutschade drie maanden achtereen verbeteren.