Eén lokaal model van Google verwerkt beeld en spraak samen
In het kort
Gemma 4 12B Unified is een downloadbaar model van Google DeepMind dat tekst, beeld en audio kan verwerken en tekst teruggeeft. De modelkaart noemt een architectuur zonder afzonderlijke beeld- en audio-encoders. Voor een bedrijf biedt dat aanknopingspunten om een foto en een korte gesproken toelichting in één werkproces te combineren. Of lokale inzet uit kan, hangt af van de volledige installatie en de tijd die medewerkers ermee besparen.
Een medewerker ziet een beschadigde verpakking, maakt een foto en spreekt kort in wat er is gebeurd. Een toepassing zet dat om in een conceptmelding met de juiste velden. De medewerker controleert het resultaat en gaat verder. Het is een alledaags voorbeeld waarin tekst, beeld en spraak vanzelf bij elkaar horen.
Gemma 4 12B Unified maakt zo'n toepassing technisch interessant om te onderzoeken. De waarde zit in een eenvoudige manier van invoeren: iemand hoeft niet eerst een afbeelding apart te laten beschrijven, daarna spraak om te zetten en vervolgens alles zelf tot een melding samen te voegen.
Eén model voor verschillende soorten informatie
Volgens de officiële modelkaart heeft Gemma 4 12B Unified 11,95 miljard parameters en een contextvenster van 256.000 tokens. De uitvoering verwerkt tekst, afbeeldingen en audio en genereert tekst. De gewichten zijn beschikbaar onder Apache 2.0. Gemma is daarbij de downloadbare modelfamilie van Google DeepMind; toegang tot de commerciële Gemini-dienst is een afzonderlijke keuze.
Het woord Unified verwijst naar de architectuur. Deze uitvoering gebruikt lichte projectielagen om beeldfragmenten en audiosignalen aan hetzelfde taalmodel aan te bieden, zonder afzonderlijke grote encoders voor die invoersoorten. Een encoder is een voorbewerker die bijvoorbeeld een afbeelding omzet in een vorm waarmee een taalmodel verder kan. Dit ontwerp biedt een andere technische route, maar is op zichzelf geen bewijs dat iedere toepassing sneller wordt.
De modelkaart begrenst audio op dertig seconden. Voor video noemt Google maximaal zestig seconden bij één beeld per seconde. Ons voorbeeld blijft daarom bij een foto en een korte gesproken melding. Een volledige vergadering verwerken vraagt een andere aanpak met segmenten en controle van de samenhang.
Een bruikbare melding vraagt een duidelijke opdracht
Bij de beschadigde verpakking kan de toepassing de medewerker vragen om het ordernummer en een korte omschrijving. Het model kan vervolgens een voorstel doen voor een melding met de waargenomen schade en de gegevens die nog ontbreken. De medewerker hoeft alleen te controleren en aan te vullen.
Een foto bevat niet altijd voldoende informatie. Een kras aan de buitenkant zegt bijvoorbeeld weinig over de inhoud van een doos. Het systeem kan de zichtbare waarneming bewaren en de conclusie over de inhoud openlaten. Dat helpt de medewerker om gericht een volgende controle te doen.
Voor de proef zijn gewone werksituaties nuttiger dan uitsluitend heldere voorbeeldfoto's. Denk aan weinig licht, een scheef etiket of achtergrondgeluid. Laat medewerkers beoordelen of de conceptmelding de situatie goed beschrijft en of er onjuiste details worden toegevoegd. Dit is een voorgestelde toepassingsproef, geen door De Belegger uitgevoerde test van Gemma.
Ook bij lokale verwerking vraagt het opslaan van foto's en audio om keuzes. Wie mag de bestanden zien, hoe lang blijven ze bewaard en worden ze later nog gebruikt? Lokaal draaien geeft controle over de uitvoeringsomgeving. De inrichting van toegang en bewaring bepaalt hoe het bedrijf die controle benut.
Downloadbare gewichten hebben nog een computer nodig
Apache 2.0 maakt commercieel gebruik en aanpassing mogelijk binnen de licentievoorwaarden, waaronder het behouden van toepasselijke kennisgevingen bij verspreiding. Google verwijst daarvoor naar de licentietekst. De beschikbaarheid van de gewichten maakt een eigen implementatie mogelijk; de hardware, software en het beheer blijven voor rekening van de gebruiker.
Een eenvoudige berekening laat alleen de ondergrens van de modelgewichten zien. 11,95 miljard parameters maal twee bytes bij 16 bits is ongeveer 23,9 GB. Bij theoretisch vier bits per parameter is dat ongeveer 5,98 GB. Dit zijn decimale hoeveelheden voor de gewichten, zonder alle extra opslag en werkgeheugen. Een werkelijk gekwantiseerd bestand kan door aanvullende gegevens groter zijn.
Tijdens gebruik is er onder meer geheugen nodig voor de context, tussentijdse berekeningen en de verwerking van multimodale invoer. Gelijktijdige gebruikers verhogen de belasting. Ook moet de gekozen uitvoersoftware juist deze architectuur en invoersoorten ondersteunen. Uit alleen de gewichten kan daarom geen geschikte laptop of server worden aangewezen.
Bij een proef is het verstandig de totale wachttijd te meten: vanaf het aanbieden van foto en audio tot de complete conceptmelding. Een snelle tekstgeneratie zegt weinig als het verwerken van de invoer lang duurt. Meet dat ook wanneer verschillende medewerkers tegelijk een melding maken.
De kosten van een kleine werkplek vergelijken
Voor een fictieve toepassing begroten we €4.000 eenmalig voor extra hardware en inrichting en €2.000 per jaar voor stroom, beheer en onderhoud. Deze bedragen zijn aannames voor de complete toepassing, geen offerte of advies voor een specifieke computer. We vergelijken met de bestaande handmatige verwerking en nemen geen aparte API-besparing mee.
Stel dat het bedrijf jaarlijks 10.000 geschikte meldingen verwerkt en vrijgespeelde arbeid waardeert op €40 per uur. Om de totale extra kosten van €6.000 in het eerste jaar te dekken, is 150 uur nodig. Dat komt neer op 54 seconden netto tijdwinst per melding. Daarbij is de tijd voor het controleren en verbeteren van de conceptmelding al afgetrokken.
Die omgekeerde berekening helpt bij het kiezen van een proef. Als een bestaande melding in totaal maar twintig seconden kost, is dit voorbeeld nauwelijks kansrijk. Als medewerkers telkens minuten kwijt zijn aan overtypen en beschrijven, is er meer ruimte om waarde toe te voegen.
Drie jaren met dezelfde toetsbare aannames
Het lage scenario veronderstelt een halve minuut netto winst per melding. In het midden is dat anderhalve minuut, in het hoge scenario drie minuten. Voor 2027 ontstaat bij 10.000 meldingen en €40 per uur na alle begrote kosten een capaciteitswaarde van ongeveer min €2.667, plus €4.000 of plus €14.000.
In 2028 en 2029 vervalt de eenmalige investering van €4.000. Met gelijk volume en gelijkblijvende jaarlijkse kosten zijn de uitkomsten elk jaar ongeveer €1.333, €8.000 en €18.000. In deze kasuitgavenbenadering wordt de investering volledig in het eerste jaar meegenomen. Er wordt dus niet ook nog jaarlijkse afschrijving afgetrokken. Financiering, restwaarde en belastingen zijn buiten het scenario gelaten.
De berekening laat geen gegarandeerd rendement zien. Een bedrijf kan de vrijgespeelde uren inzetten voor andere werkzaamheden, maar extra kaswinst ontstaat pas bij vermeden kosten of extra betaalde productie. De belangrijkste onbekende blijft hoeveel van de voorgestelde tijdwinst de toepassing op echte meldingen haalt.
Voor de markt is het interessant dat multimodale AI op deze manier in kleine bedrijfsprocessen kan landen. Een softwareleverancier kan de meldingenstroom bouwen, een hardwareleverancier de lokale capaciteit leveren en het bedrijf zelf de gegevens en werkwijze beheren. De downloadbare modelgewichten zijn dan een onderdeel van een groter geheel.
Gemma 4 12B Unified biedt daarvoor een concrete bouwsteen. De aantrekkelijke vraag is hoeveel gemakkelijker het wordt om een waarneming vast te leggen terwijl iemand gewoon aan het werk is. Als foto, korte toelichting en een gecontroleerde conceptmelding goed op elkaar aansluiten, wordt de technische vernieuwing ook voor de medewerker direct begrijpelijk.
Opmerkingen