Qwen vinkt de taak af terwijl het proces hapert
In het kort
Het op 14 oktober verschenen BizBench-onderzoek beoordeelt AI-agents op bedrijfsprocessen met beleidsregels en hulpmiddelen. Qwen3.8-27B behaalt daarin een hogere score op doelbereiking dan op de strengere maatstaf voor correcte uitvoering. Dat verschil is geen gemeten foutpercentage bij echte bedrijven, maar wel een reden om succes niet te beperken tot een afgevinkt eindresultaat. Bij een zakelijke toepassing moeten bevoegdheden, uitzonderingen en herstelkosten mee in de rekensom.
Een agent die een klant terugbetaalt, kan zijn opdracht hebben afgerond en toch verkeerd hebben gehandeld. Misschien was goedkeuring nodig, hoorde er een bewijsstuk bij of ging de betaling naar de verkeerde bestelling. Voor de klant lijkt het doel bereikt. Voor het bedrijf kan er een fout, schade of extra herstelwerk zijn ontstaan.
Precies dat onderscheid maakt het nieuwe BizBench-onderzoek interessant. De op 14 oktober ingediende preprint gebruikt vijftig taken, 789 beleidsdocumenten en 601 hulpmiddelen. Bij Qwen3.8-27B rapporteert het onderzoek 42 procent doelbereiking en 32,7 procent op de strengere maatstaf. Dat is een verschil van 9,3 procentpunt binnen deze onderzoeksopzet. Het is niet verantwoord om daaruit af te leiden dat hetzelfde aandeel echte klantzaken fout gaat.
Een benchmark stelt de juiste vraag maar geeft niet het bedrijfsantwoord
De verdienste van zo’n test is dat zij meer vraagt dan een mooi antwoord. Een agent moet informatie vinden, hulpmiddelen gebruiken en handelen binnen regels. Dat lijkt sterker op bedrijfswerk dan een losse kennisvraag. Toch blijven de precieze taken, beschikbare hulpmiddelen en beoordelingsmethode bepalend voor de uitkomst.
Een Nederlandse webwinkel heeft andere uitzonderingen dan een onderzoeksomgeving. De kwaliteit van de eigen documentatie kan beter of slechter zijn. Ook menselijke goedkeuringen en softwareblokkades kunnen verschillen. De score is daarom een aanleiding om de eigen toepassing scherper te testen, niet een cijfer dat rechtstreeks in een omzetprognose past.
Qwen3.8-27B is volgens de oorspronkelijke modelkaart een downloadbaar model met 27 miljard parameters en een Apache 2.0-licentie. Het ondersteunt tekst en visuele invoer. Dat geeft ontwikkelaars ruimte om het zelf te draaien of aan te passen, onder de voorwaarden van die licentie. Het betekent niet dat hardware, beheer en toezicht gratis zijn, of dat de benchmarkresultaten automatisch gelden voor een anders ingestelde of verkleinde uitvoering.
De uitkomst en de route moeten allebei kloppen
Een nuttige acceptatietest kijkt naar twee vragen. Is het beoogde resultaat bereikt? En gebeurde dat met de juiste bevoegdheid, gegevens en bewijsstukken? Een systeem kan goed scoren op de eerste vraag terwijl het bij de tweede nog veel ondersteuning nodig heeft.
Dat pleit voor een scheiding tussen taalbegrip en beslissingsmacht. Het model kan een retourverzoek samenvatten en de relevante regel voorstellen. Gewone software kan vaststellen of het bedrag binnen de toegestane grens valt. Een medewerker kan de uitzonderingen beoordelen. Zo hoeft niet iedere beleidsregel uitsluitend in een prompt te bestaan.
De sterkste tegenwerping is dat dit de beloofde autonomie beperkt. Dat klopt. Maar volledige autonomie is geen doel op zichzelf. Een agent die minder handelingen zelfstandig uitvoert en wel betrouwbaar tijd bespaart, kan economisch aantrekkelijker zijn dan een ambitieuzer systeem met kostbare uitzonderingen. De juiste grens hangt af van de gevolgen van fouten, niet van het woord agent op de productpagina.
Goedkoop afgerond en correct afgerond zijn andere prijzen
Neem een eigen rekenvoorbeeld van 100.000 taken per jaar. Een hypothetische model- en infrastructuurrekening bedraagt €0,02 per taak, samen €2.000. Dit is een begrotingsaanname, geen Qwen-hostingtarief. Als tien procent van de taken vijf minuten herstelwerk vraagt tegen €60 per uur, komt daar €50.000 bij. De directe modelrekening is dan maar een klein onderdeel van het totale proces.
Veronderstel vervolgens dat extra controles het herstelpercentage naar vier procent brengen. Het herstelwerk daalt naar €20.000. Het verschil is €30.000 per jaar. Die verbetering is niet afgeleid uit BizBench en ook niet bij Qwen gemeten; zij laat zien welke maatstaf een bedrijf in zijn proef zou moeten vaststellen.
De percentages zijn bovendien alleen vergelijkbaar bij dezelfde foutdefinitie. Een ontbrekende komma en een ongeoorloofde betaling mogen niet als gelijkwaardige afwijkingen worden geteld. Bij zeldzame maar grote schade is het gemiddelde herstelbedrag onvoldoende. Dan kan een harde blokkade of menselijke goedkeuring noodzakelijk zijn, ook als die maatregel de gemiddelde verwerkingstijd verhoogt.
Wat mogen betere controles kosten
Stel dat het inrichten van beleidscontroles, testgevallen en bewijsregistratie €30.000 kost. Het jaarlijkse onderhoud bedraagt €12.000. Voor terugverdienen in drie jaar is jaarlijks €22.000 bruto voordeel nodig. Bij vijf minuten herstel tegen €60 per uur kost een herstelgeval €5. Er moeten dan 4.400 gevallen per jaar worden voorkomen.
Bij 100.000 taken is de terugverdiengrens een daling van het herstelpercentage met 4,4 procentpunt. Een daling van tien naar vier procent zou deze grens halen; een daling van tien naar acht procent niet. Dit is een eenvoudige kasberekening zonder financiering, belastingen of schade buiten het aangenomen herstelwerk.
Het is belangrijk de nulmeting eerlijk te kiezen. Als medewerkers vandaag al goede softwarecontroles gebruiken, moet de nieuwe oplossing dáármee worden vergeleken. Het vergelijken van een strak gecontroleerde AI-agent met een denkbeeldig ongeorganiseerd bedrijf overschat het voordeel. Evenmin is alle vrijgekomen tijd automatisch een lagere personeelsrekening: medewerkers moeten die tijd productief kunnen inzetten of capaciteit moet daadwerkelijk kunnen worden vermeden.
Drie jaren met verschillende verbeteringen
Voor 2027, 2028 en 2029 nemen we in het lage scenario 2.000, 2.500 en 3.000 vermeden herstelgevallen aan. In het middenpad zijn dat 5.000, 6.000 en 7.000; in het hoge pad 7.000, 8.000 en 9.000. Bij €5 per geval en €12.000 onderhoud per jaar is de formule eenvoudig: vermeden gevallen maal €5 minus €12.000. De reguliere modelkosten blijven buiten deze aanvullende projectberekening, omdat zij in beide varianten gelijk zijn verondersteld.
Na drie jaar en de eenmalige €30.000 komt het lage pad uit op min €28.500, het middenpad op plus €24.000 en het hoge pad op plus €54.000. De aannames beschrijven mogelijke verbeteringen in het eigen proces, niet een voorspelde ontwikkeling van Qwen of van benchmarkcijfers.
De belangrijkste les is daarmee concreet. Goedkoper modelgebruik heeft pas waarde wanneer het hele bedrijfsproces goedkoper of beter wordt. Qwen biedt met downloadbare gewichten ruimte voor eigen inrichting, maar de organisatie moet zelf aantonen dat het resultaat én de route kloppen. Een dalend aantal herstelgevallen bij dezelfde taakzwaarte en dezelfde veiligheidsgrens is overtuigender bewijs dan een agent die steeds meer taken zonder onderbreking afvinkt.
Opmerkingen