Nvidia maakt lokale AI kleiner, maar nog niet goedkoper
In het kort
NVIDIA heeft op 15 oktober Nemotron 3.5 Super VL en Nemotron 3.5 Bolt uitgebracht. Super richt zich op uitgebreide taken, terwijl Bolt een sterk gecomprimeerd model van ongeveer 24 GB beschikbaar maakt. Dat verlaagt de drempel voor lokale AI, maar zegt nog weinig over de kosten van een betrouwbaar afgeronde opdracht. In ons rekenvoorbeeld verdient een lokale installatie zich pas terug bij voldoende gebruik én beperkte extra correcties.
Een AI-model dat op een eigen computer past, geeft een bedrijf meer vrijheid. Documenten kunnen binnen de eigen omgeving blijven, een modelversie kan langer worden aangehouden en niet iedere vraag hoeft langs een externe dienst. Met de nieuwe Nemotron-modellen maakt NVIDIA die keuze opnieuw interessanter.
De afweging blijft alleen ingewikkelder dan het downloaden van gratis modelbestanden. Een lokaal systeem moet beschikbaar blijven, updates krijgen en het werk voldoende goed uitvoeren. Een medewerker die vijf minuten een fout moet herstellen, kan meer kosten dan tientallen modelaanroepen. Daarom verdient de vraag wat een opdracht uiteindelijk oplevert minstens zoveel aandacht als het aantal gigabytes.
Super en Bolt lossen verschillende problemen op
De officiële modelkaart van Nemotron 3.5 Super VL beschrijft een model met 120 miljard parameters, waarvan er per stap ongeveer 12 miljard actief zijn. Parameters zijn de getallen waarin een model zijn aangeleerde patronen vastlegt. Het verwerkt tekst, afbeeldingen en video en geeft tekst terug. NVIDIA noemt programmeren, redeneren, documenten begrijpen en het gebruiken van hulpmiddelen als toepassingen. De maximale context bedraagt één miljoen tokens, de tekststukjes waarmee een model werkt.
De volledige BF16-versie is gericht op onder meer aanpassing en evaluatie. Voor efficiëntere uitvoering bestaat een NVFP4-variant, die de gewichten met minder precisie bewaart. Dat onderscheid is belangrijk: een prestatiecijfer van een compacte uitvoering kan niet zonder meer worden toegeschreven aan iedere andere instelling of computer.
Bolt kiest nadrukkelijk voor een kleiner geheugenbeslag. Volgens de officiële Bolt-modelkaart bevat deze versie 74 miljard parameters, met ongeveer 9 miljard actief per stap. De compacte bestanden nemen ongeveer 24 GB in. Het model ondersteunt tekst, beeld en video als invoer, tekst als uitvoer en een context tot 256.000 tokens.
Dat maakt Bolt een kandidaat voor bijvoorbeeld een lokale programmeerassistent of het verwerken van documenten. Het bewijst nog niet dat iedere computer met 24 GB geheugen deze taken soepel uitvoert. Naast de gewichten zijn werkgeheugen, tijdelijke gegevens en de gesprekshistorie nodig. Langere documenten en meerdere gelijktijdige gebruikers maken die rekening groter.
Beide modellen gebruiken een mengsel van gespecialiseerde onderdelen, een zogenoemde mixture of experts. Er wordt per stap slechts een deel aangesproken. De actieve 9 of 12 miljard parameters vertellen dus iets over het rekenwerk, maar zijn geen maat voor het geheugen dat alle gewichten samen innemen. Wie uitsluitend met het actieve aantal rekent, kan de benodigde machine flink onderschatten.
NVIDIA beschrijft voor Bolt bovendien verschillende uitvoeringsroutes, waaronder geoptimaliseerde software voor RTX Spark en DGX Spark. Dat zijn geen onderling uitwisselbare snelheidsbeloften. De softwareversie, gekozen precisie en hoeveelheid context moeten bij het systeem passen. Een downloadbaar model is nog geen kant-en-klare bedrijfsdienst.
Een korter antwoord kan meer opleveren dan sneller typen
Een interessante verbetering zit bij Super in het denkwerk. In de eigen metingen van Artificial Analysis van 15 oktober stijgt de Intelligence Index van 12,8 voor de eerdere Super naar 26,5 voor Super 3.5. Tegelijk daalt het gemiddelde aantal geproduceerde tokens per taak in die evaluatie van ongeveer 114.000 naar 46.000. Bolt komt in dezelfde publicatie op een indexscore van 21,4.
Die index betekent niet dat Super precies twee keer zo intelligent is. Wel laat deze combinatie zien waarom efficiëntie meer omvat dan snel tekst produceren. Een model dat een taak met minder tussenstappen afrondt, kan rekenwerk besparen, ook zonder dat de snelheid per token stijgt. Hoeveel dat bij Nederlandse bedrijfsdocumenten oplevert, moet afzonderlijk worden vastgesteld.
NVIDIA's Bolt-onderzoekspagina maakt een andere beperking zichtbaar. In een eigen vergelijking op een Surface Laptop Ultra met RTX Spark en 128 GB geheugen haalt Bolt 83,99 tokens per seconde in de getoonde codeertest. Gemma 4 26B-A4B Q4 met MTP haalt daar 100,56. In AgentPerf Replay duurt de taak bij Bolt 600,80 seconden, tegenover 480,68 bij die Gemma-uitvoering. Het zijn leveranciersmetingen in die specifieke opstelling, geen eigen test van De Belegger.
Bolt is in deze vergelijking dus niet overal de snelste. Dat hoeft het model niet ongeschikt te maken. Een iets langzamer systeem kan aantrekkelijk zijn als het vaker een bruikbaar antwoord geeft. Omgekeerd kan een hoge snelheid tegenvallen wanneer er extra pogingen nodig zijn. Een eerlijk vergelijkingsproject gebruikt daarom dezelfde documenten, opdrachten, kwaliteitsnorm en beschikbare hulpmiddelen.
Denk aan een inkoopteam dat specificaties uit offertes haalt. De relevante uitkomst is niet hoeveel woorden het model per seconde schrijft. Het gaat om correcte bedragen, eenheden en uitzonderingen, plus de tijd die een medewerker nodig heeft om die uitkomst na te lopen. Juist daar kan een kleine kwaliteitsafwijking het economische voordeel veranderen.
Gratis gewichten laten de overige kosten bestaan
De modellen vallen onder OpenMDW 1.1. Die licentie staat breed gebruik, aanpassing en verspreiding toe, ook commercieel. Bij verspreiding blijven onder meer de licentie en vereiste vermeldingen van belang. De licentie biedt geen garantie dat het model geschikt is voor een bepaalde bedrijfsfunctie en neemt rechten van derden niet weg.
Voor een gebruiker ontstaat zo meer ruimte om een eigen oplossing te bouwen. Daar staat verantwoordelijkheid tegenover. Toegangsrechten, logging, herstel na een storing en het veilig gebruiken van externe hulpmiddelen moeten worden ingericht. Een lokaal model kan nog steeds informatie naar buiten sturen wanneer de toepassing daaromheen een externe zoekdienst of programmeeromgeving gebruikt. Privacy volgt uit de hele inrichting.
De kosten zijn bovendien ongelijk verdeeld. Wie al geschikte hardware en beheercapaciteit heeft, kan een proef relatief goedkoop beginnen. Wie een machine speciaal voor één bescheiden toepassing koopt, moet de investering over veel minder opdrachten terugverdienen. Hetzelfde model kan daardoor voor twee bedrijven een heel andere economische uitkomst hebben.
Dat maakt een afgebakende proef nuttig. Selecteer bijvoorbeeld tweehonderd representatieve opdrachten, inclusief lastige gevallen. Leg vooraf vast wanneer een antwoord bruikbaar is, hoeveel controle nodig blijft en welke fouten onacceptabel zijn. Meet ook wachttijd bij meerdere gebruikers. Zo ontstaat een beslissing op basis van het eigen werk in plaats van een algemene ranglijst.
Welke besparing rechtvaardigt een eigen installatie?
Neem een volledig illustratief project dat eind 2026 start. Hardware kost €6.000 en inrichting €1.200, samen €7.200 exclusief terugvorderbare btw. De jaarlijkse vaste kosten bedragen €1.800: €600 voor elektriciteit en €1.200 voor beheer. Dit zijn begrotingsaannames, geen actuele offerte voor een specifieke computer en geen garantie dat die computer ieder Nemotron-model kan draaien.
Veronderstel vervolgens dat de bestaande cloudaanpak gemiddeld €0,80 per taak kost, inclusief de daarin benodigde tokens, hulpmiddelen en herhaalpogingen. De lokale route kost variabel €0,10 per taak voor hulpmiddelen en eventuele externe terugval. Elektriciteit zit al in de vaste kosten. Gemeenschappelijke controlekosten vallen in de vergelijking tegen elkaar weg; extra correctiewerk bij de lokale route telt wel mee.
Bij drie procentpunt méér correcties en vijf minuten per correctie tegen €60 per uur kost dat extra werk €0,15 per taak: 0,03 × 5/60 × €60. De netto bijdrage wordt daarmee €0,80 − €0,10 − €0,15 = €0,55. Met 8.000 taken per jaar resteert 8.000 × €0,55 − €1.800 = €2.600 jaarlijkse besparing vóór de initiële investering.
De omgekeerde berekening laat zien wat nodig is. Om €7.200 in vijf jaar terug te verdienen met zes procent rendementseis, is jaarlijks ongeveer €1.709 nodig na de vaste kosten. De formule is investering × rente ÷ [1 − (1 + rente)^−looptijd]. Bij €0,55 bijdrage per taak moet het systeem daardoor ongeveer 6.381 taken per jaar verwerken: (€1.800 + €1.709) ÷ €0,55, naar boven afgerond.
Die zes procent is een gekozen vergoeding voor tijd en risico, geen financieringsofferte. We tellen geen afzonderlijke afschrijving nogmaals als kasuitgave mee en veronderstellen geen restwaarde. Vervanging, een duurdere installatie of extra beheer verhogen de vereiste benutting. Als correctietijd uitsluitend ruimte vrijmaakt bij bestaand personeel, is het berekende arbeidsvoordeel bovendien capaciteit, niet automatisch geld op de bank.
Drie jaren laten zien waar de beslissing kan kantelen
Voor 2027, 2028 en 2029 gebruiken we drie paden. De rekentarieven en vaste kosten blijven gelijk om het effect van benutting en kwaliteit zichtbaar te houden. In het lage pad vraagt lokaal werken acht procentpunt extra correcties, in het middenpad drie en in het hoge pad één. Dat levert bijdragen van respectievelijk €0,30, €0,55 en €0,65 per taak op.
Het lage pad gaat uit van 4.000, 4.500 en 5.000 taken. Het middenpad gebruikt 8.000, 10.000 en 12.000. Het hoge pad rekent met 12.000, 16.000 en 20.000. In de visual staat voor elk jaar de uitkomst na vaste kosten. Het zijn scenario's op basis van aannames per 16 oktober 2026, geen voorspellingen van toekomstige modelprijzen of prestaties.
Het middenpad levert zo €2.600, €3.700 en €4.800 op. Over drie jaar is dat €11.100 vóór aftrek van de investering. Bij zes procent verdiscontering bedraagt de huidige waarde van die drie jaarbesparingen ongeveer €9.776. Na €7.200 investering blijft ongeveer €2.576 over. Het lage pad verdient zelfs de jaarlijkse vaste kosten niet terug.
Een sterke tegenwerping is dat cloudmodellen goedkoper kunnen worden. Dat klopt. Als de vergelijkbare cloudtaak in het middenpad daalt van €0,80 naar €0,50, zakt de lokale bijdrage van €0,55 naar €0,25. Dan zijn jaarlijks ongeveer 14.038 taken nodig voor dezelfde vijfjaarsrendementseis. Een gunstige rekensom van vandaag kan dus veranderen zonder dat de lokale computer slechter wordt.
De nieuwe Nemotron is vooral interessant omdat de keuze concreter wordt: Super voor uitgebreidere taken, Bolt wanneer een kleiner geheugenbeslag zwaar weegt. De doorslag hoort bij bewezen kwaliteit op eigen werk en voldoende gebruik. Een proef die weinig correcties en stabiele prestaties laat zien, kan een investering rechtvaardigen. Zolang dat bewijs ontbreekt, is ongeveer 24 GB een nuttige technische eigenschap en nog geen besparingsbelofte.
Opmerkingen