Gemma op honderd werkplekken vraagt meer dan honderd gratis downloads
In het kort
Gemma 4 biedt downloadbare gewichten onder Apache 2.0, waaronder een model met twaalf miljard parameters. Dat maakt lokale toepassingen mogelijk zonder een leverancier per aanvraag voor het model te betalen. Bij een vloot werkplekken ontstaan echter kosten voor uitrol, updates, ondersteuning en ongebruikte capaciteit. De juiste vergelijking gaat daarom over de hele organisatie, niet over één geslaagde demonstratie op één computer.
Een lokaal taalmodel heeft een aantrekkelijk uitgangspunt: de toepassing kan werken zonder iedere vraag naar een externe modeldienst te sturen. Voor organisaties met beperkte verbindingen of duidelijke eisen aan gegevensstromen kan dat nuttig zijn. Maar wat op één computer soepel werkt, is nog niet vanzelf een beheersbare dienst op honderd verschillende werkplekken.
De modelkaart van Gemma 4, bijgewerkt op 30 juli, beschrijft vijf varianten, waaronder 12B, 26B-A4B en 31B. De gewichten zijn beschikbaar onder Apache 2.0. De 12B-variant ondersteunt naast tekst en beelden ook audio-invoer. Dit is een andere productfamilie dan de commerciële Gemini-dienst; een gratis download is geen inbegrepen cloudabonnement.
De vrijheid zit in waar het model draait
Downloadbare gewichten geven een organisatie meer zeggenschap over de uitvoering. Zij kan een versie vasthouden, zelf een toepassing bouwen en kiezen welke systemen gegevens ontvangen. De ontwikkelaarsgids voor Gemma 4 12B laat zien hoe ontwikkelaars met deze variant aan de slag kunnen. Die vrijheid is relevant, maar verplaatst ook werk naar het eigen team.
Een model op een laptop maakt niet automatisch de hele toepassing lokaal. Logboeken, aanvullende zoekdiensten, foutmeldingen of externe hulpmiddelen kunnen alsnog gegevens versturen. Wie lokaal werken als voordeel presenteert, moet de volledige toepassing controleren. Alleen de plaats van de modelgewichten aanwijzen is onvoldoende.
Ook de licentie en de operationele rekening moeten worden gescheiden. Apache 2.0 biedt ruime gebruiksmogelijkheden onder haar voorwaarden, waaronder behoud van toepasselijke kennisgevingen. Zij betaalt geen stroomrekening, levert geen helpdesk en garandeert niet dat een bepaalde computer snel genoeg antwoordt. Die onderdelen blijven eigen keuzes.
Gewichten passen is slechts de eerste test
Een model met twaalf miljard gewichten vraagt bij twee bytes per gewicht theoretisch ongeveer 24 miljard bytes voor alleen die gewichten. Dit is een ondergrensberekening voor BF16, geen advies dat een apparaat met 24 GB geheugen praktisch geschikt is. Tijdelijke gegevens, de contextcache, het besturingssysteem en andere programma’s vragen eveneens ruimte.
Verkleining van de numerieke precisie kan het gewichtengeheugen verminderen, maar vraagt een test op kwaliteit en softwareondersteuning. De juiste variant hangt ook af van hoeveel tekst tegelijk wordt verwerkt en hoeveel gebruikers een apparaat bedient. Bij een werkplek kan één medewerker lokaal werken; bij een gedeelde server concurreren meerdere gebruikers om dezelfde capaciteit.
De snelheid waarmee een lang document wordt ingelezen en de snelheid waarmee het antwoord verschijnt zijn bovendien verschillende prestaties. Een demonstratie met een korte vraag zegt weinig over een dossier van tientallen pagina’s. Praktische geschiktheid moet op de beoogde apparaten en taken worden gemeten.
De beheerrekening groeit met de vloot
Neem een rekenvoorbeeld van honderd bestaande werkplekken. Voor inrichting en controle reserveren we per apparaat twee uur tegen €70 per uur: €14.000. Een eenmalige extra hardware-investering wordt aangenomen op €300 per werkplek, samen €30.000. De startinvestering is daarmee €44.000. Dit is een begroting, geen marktprijs voor een Gemma-computer.
Jaarlijks krijgt iedere werkplek drie uur ondersteuning en updatewerk. Dat kost €21.000. Daarnaast nemen we €4.000 voor extra stroom en centrale beheermiddelen aan. Samen is de jaarlijkse rekening €25.000. Bestaande apparaten worden niet nog eens volledig als nieuwe aanschaf opgevoerd; hun aanvullende kosten worden hier juist zichtbaar afgebakend.
Deze kosten ontstaan ook als sommige medewerkers de toepassing weinig gebruiken. Dat is het verschil met een volledig variabele API-rekening. Lokale capaciteit kan goedkoop zijn bij regelmatig gebruik en duur bij stilstand. Een organisatie moet dus weten waar de toepassing werkelijk wordt gebruikt, zonder daarvoor meer persoonsgegevens te verzamelen dan nodig is.
De sterkste tegenwerping is dat centraal beheer de kosten per apparaat sterk kan verlagen. Dat is aannemelijk wanneer een organisatie al goede distributie, versievergelijking en ondersteuning heeft. Dan moet de begroting worden aangepast. Het is alleen geen reden om beheer op nul te zetten voordat een proef laat zien hoeveel extra werk deze toepassing vraagt.
Hoeveel tijd moet iedere werkplek winnen
Bij een terugverdientijd van drie jaar moet de vloot jaarlijks €44.000 gedeeld door drie plus €25.000 opleveren: €39.666,67. Met een aangenomen uurwaarde van €70 is dat ongeveer 567 uur per jaar. Verdeeld over honderd werkplekken gaat het om circa 5,67 uur per werkplek per jaar, of ongeveer 1,55 minuut per werkdag bij 220 werkdagen.
Dat is geen onhaalbaar hoge grens. Maar het gemiddelde kan misleiden. Als slechts twintig werkplekken regelmatig gebruikmaken van de toepassing, moeten die twintig samen het voordeel dragen terwijl de kosten van de rest blijven bestaan. Een gerichte uitrol naar echte gebruikers kan daarom verstandiger zijn dan een organisatiebrede installatie.
De tijdwinst moet na correcties worden gemeten. Een lokaal model dat een eerste tekst snel oplevert maar veel nabewerking vraagt, kan minder waarde hebben dan een bestaande cloudoplossing. Het omgekeerde kan ook: bij eenvoudige, herhaalbare taken kan een kleiner lokaal model ruim voldoende zijn. De keuze hoeft niet overal hetzelfde te zijn.
Drie jaar met verschillend gebruik
Voor 2027, 2028 en 2029 nemen we netto besparingen van 2, 3 en 4 uur per werkplek in het lage pad. Het middenpad gebruikt 6, 8 en 10 uur; het hoge pad 12, 16 en 20 uur. Bij honderd werkplekken en €70 per uur is de jaarlijkse uitkomst honderd maal de uren maal €70, minus €25.000. De startinvestering van €44.000 blijft afzonderlijk.
Na drie jaar resteert respectievelijk min €56.000, plus €49.000 en plus €217.000. Dit zijn eigen planningsscenario’s zonder financiering of belasting, geen gemeten Gemma-resultaten. Zij veronderstellen geen restwaarde van hardware en geen toekomstige daling van beheerkosten. Een werkelijke begroting kan die posten toevoegen zodra er onderbouwde gegevens zijn.
Gemma kan lokale AI toegankelijker maken. Voor een organisatie is de beste volgende stap echter niet zo veel mogelijk downloads, maar een beperkte uitrol met meetbare taken en een volledig beheerbeeld. Wanneer regelmatig gebruik, beperkte ondersteuning en voldoende netto tijdwinst samenkomen, wordt lokale inzet overtuigend. Zonder die combinatie is gratis modeltoegang vooral het begin van de rekening.
Opmerkingen