OpenAI, het moederbedrijf van ChatGPT, heeft twee nieuwe AI-taalmodellen uitgebracht. Beide modellen kan je lokaal op een computer draaien en hebben dus geen cloudverbinding nodig.
OpenAI brengt twee versies van zijn AI-taalmodel uit: een met 120 miljard parameters (gpt-oss-120b) en een kleiner model met 20 miljard parameters (gpt-oss-20b). Een parameter is een variabele die een AI-model gebruikt om te leren en voorspellingen te doen: hoe meer parameters, hoe slimmer maar ook zwaarder het model. De grote modellen hebben veel meer parameters, maar moeten draaien op zware serverinfrastructuur. ChatGPT4 heeft bijvoorbeeld zo’n 1,8 biljard parameters en draait daarom in de cloud.
Deze modellen zijn echter klein genoeg om zelf op een computer te draaien. Al heeft het model van 120 miljard parameters daarvoor wel zo’n 80 GB aan geheugen nodig, of een moderne NVIDIA-videokaart. Het kleinere model kan wel draaien op een gewone laptop met slechts 16 GB aan RAM-geheugen maar is minder krachtig.
Open model
Het gaat om het eerste ‘open weight’-model van OpenAI in zes jaar tijd. Zulke modellen kunnen op maat gemaakt worden. Hobbyisten kunnen de interne commando’s aanpassen om zo ook het model naar de eigen hand te zetten. Dat wil echter niet zeggen dat het bedrijf de broncode en trainingsdata vrijgeeft.
De open modellen hebben het voordeel dat je ze offline kunt houden, waardoor ze minder latency hebben ne sneller reageren. Voor bepaalde bedrijven, die hun gevoelige informatie liever niet op het web zien gelekt, kan het ook een oplossing bieden om toch AI-implementaties te gebruiken in een private omgeving.
Anderzijds is een open model ook wel meer vatbaar voor manipulatie, en kan het in theorie misbruikt worden voor illegale toepassingen. De lancering van de modellen werd daardoor uitgesteld in maart. OpenAI benadrukt dat het de nieuwe modellen uitvoerig heeft getest en dat er geen grote risico’s zouden zijn.
Het Amerikaanse bedrijf voelt zich genoodzaakt de modellen vrij te geven door de toenemende concurrentie van de Chinese start-up DeepSeek. De Chinese AI-modellen zijn namelijk bijna allemaal open en bovendien qua prestaties vergelijkbaar met die van Amerikaanse makelij.