Ruil je OCR nog niet in voor Nemotron
In het kort
NVIDIA introduceerde op 15 oktober Nemotron 3.5 Super VL voor taken met tekst, beelden en video. Het model heeft downloadbare gewichten en kan onder meer documentpagina’s verwerken. Dat maakt het interessant voor informatie die afhankelijk is van tabellen, tekeningen en de indeling van een pagina. Voor eenvoudig gedrukte tekst kan een bestaande OCR-oplossing echter goedkoper en voldoende zijn; het aanvullende voordeel moet apart worden gemeten.
Veel bedrijfsdocumenten bestaan niet alleen uit doorlopende zinnen. Een handleiding verwijst naar een afbeelding, een tabel heeft meerdere kolomkoppen en een voetnoot verandert de betekenis van een getal. Gewone tekstherkenning kan de letters overnemen terwijl de samenhang verloren gaat. Dat is het soort probleem waarop een visueel taalmodel waarde kan toevoegen.
NVIDIA presenteerde Nemotron 3.5 Super VL op 15 oktober. De modelkaart van de BF16-variant beschrijft 120 miljard parameters, waarvan twaalf miljard actief zijn, een contextvenster van een miljoen tokens en invoer van tekst, beelden en video. De uitvoer is tekst. Dit zijn productspecificaties, geen bewijs dat iedere tabel of Nederlandse handleiding correct wordt begrepen.
OCR en visueel begrijpen zijn verschillende taken
OCR zet tekens op een afbeelding om in leesbare tekst. Voor een duidelijke brief kan dat precies zijn wat nodig is. Een visueel taalmodel kan daarnaast proberen verbanden tussen onderdelen te interpreteren. Bijvoorbeeld welk label bij welke pijl hoort of welke voetnoot een rij in een tabel beperkt.
Die extra interpretatie is nuttig en tegelijk een bron van risico. Waar OCR een verkeerd teken kan teruggeven, kan een taalmodel een onjuiste samenhang aannemelijk formuleren. De controle moet daarom passen bij de taak. Een model dat een tabel samenvat, moet worden beoordeeld op de juiste rijen, eenheden en uitzonderingen, niet alleen op goedlopende zinnen.
Een bedrijf hoeft niet te kiezen tussen alle documenten met OCR of alle documenten met Nemotron. Een combinatie kan logischer zijn. Eenvoudige pagina’s volgen de bestaande route; moeilijke pagina’s worden apart verwerkt. De selectie moet wel betrouwbaar zijn. Als de toepassing de moeilijke pagina’s niet herkent, blijft juist daar de foutlast bestaan.
Open gewichten maken verwerking niet kosteloos
De modelkaart vermeldt OpenMDW 1.1 als licentie en biedt verschillende uitvoeringen, waaronder BF16 en een geoptimaliseerde variant. De licentie staat ook commercieel gebruik en aanpassing toe. Bij verspreiding van modelmateriaal moeten de licentie en toepasselijke oorspronkelijke kennisgevingen behouden blijven. Voor modeluitvoer legt deze licentie geen aanvullende verplichtingen op; andere rechten en de verantwoordelijkheid voor het gebruik verdwijnen daarmee niet. Open gewichten zijn dus beschikbaar onder concrete voorwaarden, niet zonder enige verantwoordelijkheid.
Voor zelf draaien moet de volledige gewichtenset worden meegenomen in de geheugenplanning. Twaalf miljard actieve parameters betekent niet dat slechts twaalf miljard gewichten aanwezig hoeven te zijn. De gebruikte precisie, contextcache, gelijktijdige aanvragen en software bepalen samen het werkelijke beslag. De Belegger heeft dit model niet lokaal getest en leidt uit een theoretische geheugensom geen geschiktheid voor een bepaalde desktop af.
Voor een eerste bedrijfsproef kan een gehoste uitvoering eenvoudiger zijn. Dan moet het tarief van die concrete aanbieder worden gecontroleerd, inclusief de manier waarop beelden worden geteld. Een bedrag per miljoen teksttokens zegt niet vanzelf wat een gescande documentpagina kost. Er is hier daarom geen universeel Nemotron-paginatarief aangenomen.
Begin met de extra waarde op moeilijke pagina’s
Neem een expliciete projectbegroting voor 120.000 pagina’s per jaar. De bestaande OCR-route blijft beschikbaar. We nemen aan dat twintig procent, dus 24.000 pagina’s, extra visuele verwerking krijgt. Voor die aanvullende route reserveren we fictief €0,04 per pagina aan uitvoering: €960. Dit is een rekentarief, geen geverifieerde commerciële prijs van NVIDIA of een hoster.
Stel dat een moeilijke pagina gemiddeld twee minuten minder handmatige interpretatie vraagt, na controle van het modelantwoord. Bij €60 per uur is dat €2 per pagina en €48.000 per jaar. Daar moeten integratie, selectie, beheer en foutenherstel nog af. De juiste vraag is niet of het model 24.000 pagina’s kan lezen, maar of de medewerkers die €48.000 aan tijdwaarde werkelijk terugzien.
Ook de noemer verdient aandacht. Als maar vijf procent van de pagina’s moeilijk is, krimpt het volume waarop de extra techniek voordeel kan leveren sterk. Een indrukwekkende demonstratie met een ingewikkeld schema zegt weinig over een archief dat grotendeels uit eenvoudige brieven bestaat. Eerst het documentbestand indelen kan daarom waardevoller zijn dan direct de zwaarste verwerking aanzetten.
De grens voor een investering
Stel dat een gecontroleerde combinatie van OCR en visuele interpretatie €30.000 kost om in te richten. Jaarlijks beheer, aanvullend gebruik en kwaliteitscontrole worden op €12.000 begroot. Bij terugverdienen in drie jaar moet €22.000 per jaar aan extra voordeel ontstaan. Met 24.000 moeilijke pagina’s en €60 per uur komt dat neer op 0,9167 minuut, ongeveer 55 seconden, netto tijdwinst per moeilijke pagina.
Het genoemde jaarlijkse budget omvat de fictieve uitvoeringsrekening van €960; die wordt dus niet nog eens afgetrokken. De besparing wordt vergeleken met de bestaande OCR-route, niet met volledig handmatig overtypen. Zo blijft zichtbaar wat het nieuwe model werkelijk toevoegt.
De sterkste tegenwerping is dat gespecialiseerde documentsoftware de moeilijke gevallen al goed oplost. In dat geval moet Nemotron met die software worden vergeleken. Het model verdient geen voordeel omdat het algemener of nieuwer is. Een brede visuele vaardigheid kan handig zijn bij wisselende documenttypen, maar een gespecialiseerde oplossing kan bij één vast formulier beter en goedkoper zijn.
Drie jaar met dezelfde moeilijke pagina’s
Voor 2027, 2028 en 2029 houden we het aantal moeilijke pagina’s op 24.000. Het lage pad bespaart netto 0,2, 0,3 en 0,4 minuut per pagina. Het middenpad bespaart 1, 1,25 en 1,5 minuut; het hoge pad 2, 2,5 en 3 minuten. Bij €60 per uur is de jaarlijkse uitkomst 24.000 maal de minuten, minus €12.000 jaarlijkse kosten.
Na drie jaar en de startinvestering resteert min €44.400, plus €24.000 en plus €114.000. Dit zijn eigen scenario’s zonder financiering en belastingen. Zij voorspellen geen modelverbetering of toekomstige prijs. Ze maken zichtbaar hoe gevoelig de investering is voor de werkelijk bespaarde interpretatietijd.
Nemotron 3.5 Super VL kan daarmee een nuttige aanvulling zijn op documentverwerking. De overtuigende toepassing zit waar visuele samenhang aantoonbaar extra werk veroorzaakt. Een proef die dezelfde moeilijke pagina’s met en zonder het model vergelijkt, geeft meer houvast dan een algemene benchmark. Pas bij voldoende extra tijdwinst en een gelijkblijvende foutgrens wordt de nieuwe techniek een betere bedrijfsoplossing, in plaats van een duurdere manier om dezelfde letters te lezen.
Opmerkingen