Software bepaalt hoe snel het zuinige Nemotron echt draait
Jensen Huang, oprichter en CEO van NVIDIA (archieffoto, 30 april 2026). Foto: Anders Eidesvik / Wikimedia Commons / CC BY-SA 4.0. Bron en beeldverantwoording ·
In het kort
Nemotron 3.5 Lightning 30B-A3B NVFP4 en Nemotron 3 Ultra laat zien dat een lage tokenprijs of veel context niet automatisch een goedkope productieoplossing oplevert. NVIDIA publiceerde in augustus 2026 Nemotron 3.5 Lightning 30B-A3B in NVFP4. De naam geeft 30 miljard totale en 3 miljard actieve parameters aan. Ook grotere Nemotron 3-modellen zijn als NVFP4-varianten beschikbaar, waaronder Ultra 550B-A55B. De beslissende factor is of de technische eigenschap herhaalpogingen, menselijk herstel en infrastructuur werkelijk verlaagt. De omgekeerde rekensom maakt zichtbaar hoeveel aantoonbare tijdwinst nodig is voordat de investering positief wordt.
De marketingzin is eenvoudig: meer context, een lagere cacheprijs of minder actieve parameters maakt kunstmatige intelligentie goedkoper. Voor een bedrijf dat een eigen agentplatform op NVIDIA-hardware wil draaien met meerdere gelijktijdige gebruikers is dat hooguit het begin van de analyse. Een organisatie betaalt uiteindelijk voor een gecontroleerd resultaat, niet voor een indrukwekkende eigenschap op een modelkaart.
NVFP4 verlaagt het gewichtgeheugen sterk, maar de winst verschijnt alleen wanneer GPU, kernels, inference-engine en operators de indeling efficiënt ondersteunen. Een fallback of omzetting kan de beloofde doorvoer terugnemen. Dat maakt de architectuur of tarieftabel relevant voor de begroting, maar alleen wanneer het werkproces hetzelfde gedrag vertoont. De eigen meting moet daarom exact vastleggen welke invoer terugkomt, hoeveel uitvoer ontstaat en welke correcties mensen nog uitvoeren.
Direct naar een onderdeel van dit artikel
Wat er nu werkelijk beschikbaar is
Volgens de NVIDIA-modelkaart voor Nemotron 3.5 Lightning geldt op de peildatum het volgende: NVIDIA publiceerde in augustus 2026 Nemotron 3.5 Lightning 30B-A3B in NVFP4. De naam geeft 30 miljard totale en 3 miljard actieve parameters aan. Ook grotere Nemotron 3-modellen zijn als NVFP4-varianten beschikbaar, waaronder Ultra 550B-A55B.
Die feiten zijn nuttig, maar ze vormen nog geen onafhankelijke producttest. Leveranciers meten vaak onder vaste instellingen en publiceren resultaten die niet vanzelf iets zeggen over Nederlandse teksten, eigen systemen of de foutschade van een organisatie. Een model dat op een benchmark wint, kan in een specifieke workflow alsnog duurder zijn door verkeerde bronkeuze, ongeldige velden of extra controle.
Beschikbaarheid moet precies worden benoemd. Open gewichten via NVIDIA-modelkaarten, runtime-ondersteuning vereist. Een chatdienst, een publieke preview, een API en downloadbare gewichten geven elk een andere mate van controle. Ook een permissieve licentie neemt de plicht tot beveiliging, logging, gegevensminimalisatie en kwaliteitscontrole niet over.
Dat een bestand in het GPU-geheugen past, bewijst niet dat er voldoende ruimte is voor contextcache, batching en meerdere gebruikers. Ook actieve parameters zijn niet hetzelfde als totale gewichten die geladen moeten worden. Daarom hoort de proef niet te eindigen bij een geslaagd voorbeeld. Neem representatieve moeilijke gevallen, een druk moment, een storing en een wijziging van het model of endpoint mee. Pas dan wordt duidelijk of de gekozen route bestand is tegen normaal bedrijfsgebruik.
Een goede testset bevat tussen twintig en honderd echte taken en een vooraf vastgelegde acceptatiegrens. Een antwoord telt alleen als het inhoudelijk klopt, de afgesproken vorm heeft, controleerbare bronnen gebruikt waar dat nodig is en geen inhoudelijke reparatie vraagt. Zo ontstaat een percentage geslaagde taken bij de eerste poging en een reële kostprijs per geaccepteerd resultaat.
Versiebeheer is daarbij geen administratief detail. Modellen, aliassen, runtimes en quantisaties kunnen veranderen. Bewaar een vaste regressieset en noteer model-ID, datum, promptversie en toolinstellingen. Zonder die gegevens is een kwaliteitsdaling achteraf nauwelijks te herleiden.
Waar de kostprijs ontstaat
De kale modelrekening bestaat uit meer dan input en output. Caching kan invoer verlagen, maar alleen bij een echte treffer. Tools kunnen aparte kosten rekenen. Bij lokale modellen verschuift de rekening naar hardware, energie, beheer en afschrijving. Daarboven komen de tijd voor integratie, beveiliging, evaluatie en menselijke controle.
Voor het rekenvoorbeeld nemen we een eenmalige inrichting van € 36.000 en terugkerende kosten van € 14.500 per jaar. Een aantoonbaar vrijgespeeld arbeidsuur waarderen we op € 80. De investering wordt in drie gelijke delen over 2027, 2028 en 2029 verdeeld. Financieringskosten, belastingen en inflatie laten we buiten beschouwing zodat de beslisregel eenvoudig controleerbaar blijft.
De formule is: netto kasbesparing per jaar is bespaarde uren per maand maal twaalf maal € 80, min € 14.500 en min een derde van € 36.000. De drempel is (€ 14.500 plus € 36.000 gedeeld door drie) gedeeld door twaalf maal € 80. Dat komt uit op 27,6 uur per maand.
Die uren tellen alleen wanneer zij werkelijk uit betaald werk verdwijnen of aantoonbaar extra productie mogelijk maken. Dezelfde verbetering mag niet tegelijk als tijdbesparing, foutreductie en extra omzet worden opgenomen. Ook niet-bestede capaciteit is geen voordeel. Een medewerker die sneller klaar is maar geen ander werk oppakt, creëert geen directe kasbesparing.
De omgekeerde berekening voorkomt koopdruk. Eerst wordt vastgesteld welke netto opbrengst nodig is, daarna pas welk model of welke infrastructuur daarbij past. Zo kan een organisatie besluiten dat een eenvoudigere router, betere documentselectie of strengere outputlimiet meer oplevert dan een duurder model.
De scenario’s voor drie jaren
In het lage scenario stijgt de gemeten tijdwinst van 16 uur per maand in 2027 naar 19 uur in 2028 en 22 uur in 2029. In het middenscenario zijn dat 46, 56 en 66 uur. Het hoge scenario gebruikt 96, 114 en 132 uur per maand. De verschillen verbeelden adoptie en procesverbetering, niet een voorspelde modelprijs.
De lage uitkomst laat zien wat er gebeurt wanneer een pilot technisch werkt maar weinig breed wordt gebruikt. Het middenscenario veronderstelt dat teams terugkerende taken standaardiseren en de foutcontrole beheersen. Het hoge scenario vraagt structureel volume, goede bronselectie en voldoende taken met een hoge uurwaarde. Zonder die voorwaarden is het hoge pad geen basisbegroting.
De bedragen zijn netto na de genoemde inrichting en terugkerende kosten, maar vóór belasting en financiering. API-tarieven kunnen wijzigen en lokaal stroomverbruik kan afwijken. Daarom horen ze ieder kwartaal opnieuw te worden ingevuld met facturen, loggegevens en werkelijk geaccepteerde taken.
Wanneer de keuze rationeel wordt
Voor een bedrijf dat een eigen agentplatform op NVIDIA-hardware wil draaien met meerdere gelijktijdige gebruikers begint een verstandige proef met het meten van het huidige proces. Noteer per taak de menselijke doorlooptijd, het aantal fouten, de herstelminuten en de externe kosten. Daarna krijgt het model precies dezelfde taken. Alleen het verschil tussen beide routes kan aan de inzet worden toegeschreven.
Documentselectie is vaak de goedkoopste eerste verbetering. Verwijder duplicaten, oude versies en irrelevante bijlagen voordat het model draait. Leg bij ieder antwoord vast welke bronpassages zijn gebruikt. Daardoor dalen tokens en controlewerk tegelijk, zonder dat een grotere context automatisch als voordeel wordt geboekt.
Een router kan eenvoudige taken naar een klein of goedkoop model sturen en alleen risicovolle uitzonderingen escaleren. Dat is vaak robuuster dan alles door het krachtigste model te laten lopen. De router zelf moet wel worden getest, want verkeerd afgeprijsde taken kunnen fouten juist onzichtbaar maken.
Vier meetwaarden zijn voldoende om de eerste maand bestuurbaar te maken. Noteer de kosten per geaccepteerde taak, het percentage dat bij de eerste poging slaagt, de menselijke herstelminuten en de totale doorlooptijd. Bekijk het gemiddelde én de slechtste tien procent. Juist lange uitlopers veroorzaken gemiste deadlines en onverwachte personeelskosten. Een lager gemiddelde zonder verbetering van die staart kan voor tijdkritisch werk nog steeds een slechte keuze zijn.
Gebruik daarnaast een controlegroep. Laat een deel van de taken gedurende de proef via het bestaande proces lopen, zodat seizoensdrukte, nieuwe medewerkers of veranderde documentkwaliteit niet ten onrechte aan het model worden toegeschreven. Vergelijk dezelfde taaksoort en dezelfde acceptatiegrens. Pas wanneer het verschil enkele weken standhoudt, is opschalen verdedigbaar. Deze aanpak kost discipline, maar voorkomt dat één geslaagde demo wordt verward met een structureel verdienmodel.
Beveiliging en continuïteit verdienen een afzonderlijke begrotingsregel. Bepaal welke gegevens de omgeving mogen verlaten, wie logs kan zien, hoe lang invoer wordt bewaard en wat er gebeurt bij uitval. Een reserve-API of handmatige noodroute kost geld, maar kan bij tijdkritisch werk goedkoper zijn dan stilstand.
De conclusie volgt daarom niet uit één prijs of benchmark. NVIDIA Nemotron kan economisch aantrekkelijk zijn wanneer de gemeten tijdwinst boven 27,6 uur per maand komt en de kwaliteit onder normale omstandigheden standhoudt. Onder die grens is optimaliseren van het bestaande proces, betere retrieval of een kleinere proef rationeler.
Wie lid is van De Belegger en vragen heeft over deze analyse kan de code GRAAG mailen aan info@debelegger.nl.
Opmerkingen