Een klein hulpmodel kan Nemotron sneller aan het werk houden
In het kort
NVIDIA biedt voor Nemotron een klein DSpark-hulpmodel aan dat vooruitlopend op een groter model tekstvoorstellen maakt. Het grotere model controleert welke voorstellen kunnen worden gebruikt. Dat kan de generatie versnellen, maar de uitkomst hangt af van de opdracht, de software en de belasting. Voor bedrijven met een bestaande lokale toepassing is dit een gerichte manier om te onderzoeken of dezelfde hardware meer bruikbaar werk kan leveren.
Een taalmodel schrijft zijn antwoord doorgaans stap voor stap. Bij iedere volgende stap moeten de gewichten worden gebruikt om te bepalen hoe de tekst verdergaat. Als een kleiner model alvast een reeks plausibele vervolgstappen voorbereidt, kan het grotere model die in samenhang controleren. Goede voorstellen leveren dan een voorsprong op.
Die samenwerking heet speculative decoding. Het is te vergelijken met een medewerker die een concept voorbereidt voor een ervaren collega: de voorbereiding is snel, de beoordeling bepaalt wat wordt overgenomen. De technische uitvoering is preciezer dan die vergelijking, maar het idee helpt om te begrijpen waarom een extra model soms juist minder verwerkingstijd kan opleveren.
DSpark is een begeleider voor een specifiek Nemotron-model
De modelkaart van NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4-DSpark beschrijft een hulpmodel voor een specifieke Nemotron-doeluitvoering. Het bestand is dus geen zelfstandige vervanging voor het grotere taalmodel. De naam DSpark verwijst hier naar de techniek en het model; hij is geen garantie dat elke configuratie op een DGX Spark praktisch geschikt is.
De kaart vermeldt 967 miljoen parameters in totaal, waarvan 615 miljoen buiten de embeddings. Dat zijn de tabellen waarmee tekeneenheden in de interne modelrepresentatie worden omgezet. Voor geheugenplanning telt het totaal mee. Het kleinere aantal zonder embeddings is daarvoor onvoldoende.
NVIDIA richt deze uitvoering op omstandigheden met weinig gelijktijdige verzoeken en geeft een vLLM-recept voor gebruik met het bijbehorende doelmodel. Het bedrijf noemt tests op onder meer H100, GB200, RTX 5090 en GB10. De aanwezigheid van een chip in die lijst vertelt nog niet welke doorvoer een bedrijf op zijn eigen toepassing krijgt.
Een goed voorstel is nog geen complete snelheidsmeting
In de leveranciersmeting op SPEED-Bench worden bij een voorstel van zeven tokens gemiddeld 3,75 tokens geaccepteerd. Dat getal beschrijft hoeveel voorgestelde tekst de controle doorstaat. Het is geen claim van 3,75 keer hogere snelheid. Het opstellen en controleren van voorstellen kost immers ook tijd.
Het technische onderzoek achter DSpark behandelt de samenwerking tussen voorstel en verificatie. Voor de zakelijke gebruiker is vooral van belang dat de hele uitvoering wordt gemeten. Hoe lang duurt het verwerken van de invoer? Wanneer verschijnt de eerste tekst? Hoe lang duurt het voordat het complete antwoord klaarstaat?
Bij een lange documentinvoer kan het vooraf verwerken van die inhoud een groot deel van de wachttijd innemen. Een versnelling van het schrijven van de uitvoer heeft dan een kleiner effect op het totaal. Bij een korte invoer en een lang antwoord kan de verhouding anders liggen. Daarom hoort de test dezelfde documenten, antwoordlengtes en gelijktijdige belasting te gebruiken als de bestaande toepassing.
Ook de gewenste kwaliteit moet gelijk blijven. Het bedrijf moet vergelijken met dezelfde doelmodelversie en instellingen, en controleren of de gebruikte implementatie het bedoelde verificatiegedrag volgt. Een snelle uitvoering met een andere modelkwaliteit is een andere vergelijking. De Belegger heeft deze configuratie niet zelf op lokale hardware getest.
De volledige installatie blijft het uitgangspunt
Het hulpmodel komt boven op het doelmodel en de bestaande software. Er is extra opslag en werkgeheugen nodig, en de verificatiestappen moeten efficiënt worden uitgevoerd. Voor de totale capaciteit tellen alle gewichten, de cache voor de lopende context, buffers en gelijktijdige gebruikers mee.
Bij een mixture-of-experts-model is het aantal actieve parameters vooral een aanwijzing voor het werk per stap. De andere gewichten verdwijnen daarmee niet uit de installatie. Ook een sterk gequantiseerde doeluitvoering vraagt een passende softwareversie en moet met de gekozen contextlengte worden gemeten.
De DSpark-kaart verwijst naar OpenMDW 1.1 als licentie. Die staat gebruik en aanpassing van het verstrekte materiaal toe, ook commercieel, met onder meer behoud van de overeenkomst en toepasselijke herkomstmeldingen bij verspreiding. De licentie verandert niets aan de afzonderlijke voorwaarden van andere onderdelen in de installatie. Controleer dus ook de exacte doelgewichten en de gebruikte software.
Een proef op bestaande hardware kan klein beginnen
Voor een bedrijf dat het doelmodel al draait, is een aanvullende proef overzichtelijker dan meteen een nieuwe server aanschaffen. Het team kan een beperkte set echte opdrachten afspelen met en zonder de hulpmodelroute. De registratie bevat de volledige doorlooptijd, foutgevallen, energiegebruik en het aantal gelijktijdige gebruikers.
De belangrijkste vergelijking is de prijs per afgeronde taak bij dezelfde kwaliteitsnorm. Een lager aantal seconden per antwoord kan extra capaciteit geven. Of die capaciteit wordt benut, hangt af van het werk dat daadwerkelijk klaarstaat. Een server die het grootste deel van de dag weinig doet, levert door versnelling niet vanzelf een grote besparing op.
Onze kostenkaart gebruikt daarom een eigen proefbegroting voor bestaande hardware: €3.000 eenmalige integratie, €1.200 extra jaarlijks verbruiksbudget en €800 jaarlijks beheer. Het verbruiksbudget is bedoeld voor aanvullende reken- en stroomkosten binnen de proef. Dit zijn aannames in euro's, geen NVIDIA-prijzen. De bestaande machine is in beide vergeleken situaties aanwezig en wordt niet opnieuw als extra investering opgevoerd.
Hoeveel wachttijd heeft werkelijk economische waarde
Stel dat de toepassing 12.000 geschikte taken per jaar verwerkt. Alleen de wachttijd waarin een medewerker echt wordt geblokkeerd, krijgt in dit rekenvoorbeeld een waarde van €60 per uur. Als iemand tijdens de verwerking ander werk doet, kan een kortere doorlooptijd prettig zijn zonder dezelfde hoeveelheid arbeidswaarde vrij te spelen.
Met €3.000 inrichting en €2.000 jaarlijkse meerkosten is in het eerste jaar €5.000 nodig. Dat is 83,33 uur tegen €60 per uur. Over 12.000 taken vraagt de proef gemiddeld 25 seconden minder werkelijk blokkerende wachttijd per taak, na eventuele extra controle en herstel.
Dat is een gerichte drempel. Een technisch gemeten versnelling van twee seconden bij een korte chatvraag zal haar niet halen. Een langere toepassing met daadwerkelijk wachtende medewerkers kan een ander beeld geven. De bedrijfsmeting bepaalt welk gebruiksprofiel van toepassing is.
Voor 2027 rekenen we met gemiddeld tien, dertig of zestig seconden netto vrijgespeelde tijd per taak. De capaciteitswaarde na alle begrote extra kosten wordt dan min €3.000, plus €1.000 of plus €7.000. In 2028 en 2029 veronderstellen we hetzelfde volume en dezelfde jaarlijkse kosten, zonder nieuwe eenmalige invoering. De drie uitkomsten zijn dan elk jaar €0, €4.000 en €10.000.
Deze scenario's zijn geen voorspelling van DSpark-snelheid. Ze laten zien hoe een bedrijf een technische verbetering kan vertalen naar een begrijpelijke proef. Voor extra kaswinst moeten de vrijgespeelde uren uiteindelijk uitgaven vervangen of extra betaalde productie mogelijk maken.
De bredere ontwikkeling is aantrekkelijk voor gebruikers van lokale modellen. Naast grotere chips en meer geheugen komt er meer aandacht voor slimmer uitvoeren op de capaciteit die er al staat. Een klein hulpmodel kan daar een rol in spelen. Het sterkste bewijs is uiteindelijk een bestaande toepassing die onder dezelfde omstandigheden merkbaar prettiger werkt en per bruikbaar resultaat minder middelen vraagt.
Opmerkingen