Muse Spark Open blijft zwaar ook na goedkope aanpassing
In het kort
Meta bracht Muse Spark Open op 15 oktober uit met downloadbare gewichten. De documentatie bevat voorbeelden voor verdere training, waaronder LoRA, waarmee slechts een beperkt deel aanpasbare parameters wordt toegevoegd. Dat maakt de aanpassing efficiënter, maar het grote basismodel blijft onderdeel van de uitvoering. Voor bedrijven kan de kwaliteit van de trainingsvoorbeelden belangrijker zijn dan de rekening van één trainingsrun.
Een bedrijf wil een taalmodel beter laten aansluiten op zijn eigen werk. Misschien moet de assistent een vaste schrijfstijl volgen, technische begrippen consequenter gebruiken of een bepaald soort taak beter uitvoeren. Downloadbare gewichten maken zulke aanpassingen mogelijk. Dat betekent nog niet dat iedere organisatie verstandig bezig is door meteen te gaan trainen.
Meta publiceerde Muse Spark Open op 15 oktober. Het model telt 816 miljard parameters, waarvan ongeveer 42 miljard per stap actief zijn, en verwerkt verschillende soorten invoer tot tekstuitvoer. Het gaat om deze specifieke open-gewichtenvariant. De modelcatalogus bevat daarnaast diensten en andere modellen; de eigenschappen en voorwaarden van Spark Open mogen niet over de hele Meta-familie worden gelegd.
Een kleine aanpassingslaag boven op een grote basis
LoRA is een techniek waarbij een relatief kleine set extra aanpasbare waarden wordt getraind in plaats van alle gewichten van het basismodel. Daardoor kan het aanpassen minder geheugen en rekenwerk vragen dan volledige training. Het basismodel blijft echter nodig om het resultaat te gebruiken. Een kleine adapter is geen zelfstandig klein model.
Dat onderscheid is zichtbaar in Meta’s documentatie over verdere training. Een gepubliceerd TRL-voorbeeld gebruikt acht knooppunten met ieder acht H100-GPU’s, samen 64 GPU’s, voor een LoRA-configuratie. Dat is een voorbeeldopstelling, geen universele minimumvereiste en geen door De Belegger uitgevoerde trainingstest. Andere instellingen, methoden en contextlengten veranderen de behoefte.
Ook bij gewone uitvoering blijft de basis zwaar. De downloadinstructies noemen ongeveer 1,65 TB aan BF16-gewichten en circa 537 GB in de NVFP4-uitvoering. Daar komen onder meer contextcache, tijdelijke gegevens en software bovenop. Het aantal actieve parameters is dus niet het getal waarmee de volledige geheugenrekening kan worden begroot.
Open gewichten hebben concrete voorwaarden
Spark Open gebruikt de Muse Model License, geen Apache 2.0. De licentie staat onder voorwaarden gebruik, aanpassing en distributie toe, verlangt behoud van licentie en gebruiksbeleid en vraagt een zichtbare verwijzing naar Muse Spark Open. Voor een Model-as-a-Service-bedrijf geldt bij meer dan $20 miljoen gezamenlijke bruto-omzet met verbonden ondernemingen over twaalf opeenvolgende maanden een afzonderlijke overeenkomst met Meta voordat het model of afgeleiden worden aangeboden. De genoemde uitzondering voor intern gebruik en andere niet-Model-as-a-Service-activiteiten is wezenlijk.
Dat onderscheid voorkomt twee tegenovergestelde fouten. Een middelgrote onderneming is niet automatisch uitgesloten omdat zij meer dan $20 miljoen omzet heeft. Maar een aanbieder van modeldiensten kan evenmin aannemen dat downloadbare gewichten zonder aanvullende afspraak op iedere schaal mogen worden doorverkocht. De eigen activiteit en de precieze voorwaarden moeten worden gecontroleerd.
Voor de economische afweging blijft vervolgens de vraag wat het aanpassen oplost. Als een taak vooral actuele bedrijfsinformatie nodig heeft, kan een goed ingerichte bronkoppeling eenvoudiger zijn dan verdere training. Als het gaat om een stabiele, herhaalde manier van werken, kan aanpassen wel zinvol zijn. Die keuze verdient een proef vóór een grote infrastructuurinvestering.
Eén trainingsrun is niet het project
Neem een expliciet fictief rekenvoorbeeld dat aansluit bij een opstelling van 64 GPU’s. We nemen acht uur rekentijd en €3 per GPU-uur aan. De rekenrekening wordt dan 64 maal 8 maal €3, oftewel €1.536. Dit zijn geen geverifieerde huurtarieven en geen voorspelde looptijd voor Meta’s voorbeeld. Het is een transparante begrotingssom om te laten zien welke posten naast de training bestaan.
Veronderstel dat het selecteren, corrigeren en beoordelen van voorbeelden honderd uur vraagt tegen €80 per uur. Dat is €8.000, ruim meer dan deze ene rekenrun. Vier vergelijkbare trainingspogingen kosten in het voorbeeld €6.144 aan rekenwerk, nog zonder opslag, gegevensverkeer en technisch beheer. De kwaliteit van het materiaal bepaalt mede of die pogingen iets nuttigs opleveren.
Een betere score op de trainingsvoorbeelden is daarbij onvoldoende. Het aangepaste model moet op apart gehouden taken worden beoordeeld. Ook moet het team nagaan of verbetering op één taak niet gepaard gaat met slechter gedrag op andere taken. Anders kan lokaal succes een bredere verslechtering verbergen.
Welk verschil moet maatwerk aantonen
Stel dat een bedrijf €40.000 investeert in voorbereiding, experimenten en integratie. Jaarlijks beheer en aanvullende uitvoering krijgen een budget van €24.000. Bij terugverdienen in drie jaar moet het maatwerk jaarlijks €37.333,33 extra voordeel opleveren ten opzichte van het onaangepaste alternatief. Bij €80 per uur en 20.000 taken per jaar is dat 1,4 minuut netto tijdwinst per taak.
Het woord extra is cruciaal. Als het basismodel al drie minuten bespaart en het aangepaste model vier, is de bijdrage van het maatwerk één minuut, niet vier. De volledige productiviteitswinst aan de extra training toeschrijven overschat het rendement. Dezelfde vergelijking geldt voor foutreductie: alleen de verbetering boven de bestaande oplossing hoort bij deze investering.
De sterkste kans is een taak die vaak terugkomt en waarvan de juiste uitvoering goed kan worden beschreven. Dan kan een relatief kleine verbetering op veel verzoeken optellen. De tegenwerping is dat het onderliggende model snel verandert. Een volgende standaardversie kan een deel van het voordeel wegnemen. Daarom moeten voorbeelden en tests overdraagbaar blijven en hoort onderhoud in de begroting.
Drie jaren van aanvullende waarde
Voor 2027, 2028 en 2029 nemen we extra netto tijdwinsten van 0,3, 0,4 en 0,5 minuut in het lage pad; 1,5, 1,75 en 2 minuten in het middenpad; en 3, 3,5 en 4 minuten in het hoge pad. Het volume blijft 20.000 taken en de uurwaarde €80. De jaarlijkse uitkomst is taken maal minuten gedeeld door zestig, maal €80, minus €24.000.
Na drie jaar en de startinvestering van €40.000 resteert min €80.000, plus €28.000 en plus €168.000. Het gaat om eigen planningsscenario’s zonder financiering en belastingen, niet om gemeten Muse-prestaties. De jaarlijkse kosten veronderstellen ook geen gratis exploitatie van een eigen cluster.
Muse Spark Open geeft ontwikkelaars meer controle, maar die controle krijgt pas economische waarde wanneer maatwerk aantoonbaar beter presteert dan het standaardalternatief. Een lichte adapter maakt de zware basis niet ongedaan. Het overtuigende bewijs is een duurzame verbetering op onafhankelijke praktijkgevallen die groot genoeg is om gegevenswerk, infrastructuur en onderhoud te dragen.
Opmerkingen