Het Gemma 3 AI-model is energiezuinig en zou op redelijk goedkope hardware kunnen draaien. Eerder kwam ook OpenAI al met een kleinere versie van zijn AI-modellen.
Het nieuwe AI-model heeft 270 miljoen parameters. Gemma 3 270M, zoals het model heet, is een kleiner zusje van andere kleine Gemma 3-modellen van Google. Eerder kwamen al versies uit met 1 miljard tot 27 miljard parameters. Die parameters zijn een indicatie van hoe krachtig een model is, maar ook hoeveel energie en computerkracht het nodig heeft. Gemma 3 270M kan lokaal gedraaid worden of in de cloud, en zou met zijn kleine voetafdruk volledig op een smartphone of in de browser kunnen draaien. ‘Of op een broodrooster,’ aldus ontwikkelaar Omar Sanseviero op het sociaal netwerk X.
Het idee achter het model is dat bedrijven het gebruiken om meerdere gespecialiseerde modellen te bouwen met elk een specifieke taak. Google stelt zelf onder meer sentimentanalyse en nalevingscontroles voor. Gemma 3-modellen zijn in de terminologie van de techgigant ‘open’, wat niet hetzelfde is als openbron. Je kan de modellen gratis downloaden en zelf sommige van de gewichten aanpassen om het model in te stellen. Ontwikkelaars moeten zich wel aan gebruiksregels houden.
Waar grote AI-ontwikkelaars vaak lijken te concurreren om zo veel mogelijk parameters en computerkracht tegen een AI-model aan te gooien, wordt er ook sterk gewerkt aan kleinere versies die buiten de cloud kunnen werken. Die hebben het voordeel dat ze beter zijn voor privacy-gevoelige taken, en vaak ook efficiënter zijn. Eerder kwam bijvoorbeeld ook OpenAI met kleinere modellen uit van 120 en 20 miljard parameters die je op een (stevige) laptop zou kunnen draaien. Meta’s Llama 3.2 heeft versies met 1 en 3 miljard parameters. Deze Gemma 3 270M is in dat rijtje nog een pak kleiner. Ter vergelijking: een ‘groot’ model als ChatGPT4 heeft zo’n 1,8 biljard parameters.
OpenAI lanceert AI-model dat je op een laptop kunt draaien