Meta, moederbedrijf van onder meer Facebook, Instagram en WhatsApp, heeft Llama3 geïntroduceerd, een grotere versie van zijn ‘large language model’.
De derde generatie van Llama bestaat uit twee modellen. Een eerste, die vandaag uitkomt, heeft 8 miljard parameters. Een tweede, genaamd Llama 3 70B zal zeventig miljard parameters bevatten. Die parameters zijn een manier om te berekenen hoe goed een AI-model verschillende taken als analyse en tekstgeneraties kan uitvoeren. Meer parameters betekent grofweg dat een AI-model meer taken aankan.
Zowel Llama 3 8B als 70B werden getraind op door Meta gebouwde clusters van 24.000 GPU’s, en volgens de techgigant gaat het om de meest performante AI-modellen die vandaag op de markt zijn. De nieuwe modellen zouden makkelijker in gebruik zijn, met hogere accuraatheid voor antwoorden op vragen over bijvoorbeeld geschiedenis en wetenschappen.
Dataset
Een en ander zou te maken hebben met een grotere dataset van 15 biljard ‘tokens’ of datapunten. Waar al die data vandaan komt, wil Meta niet zeggen. Wel lijkt de data vooral uit Engelstalige bronnen te komen. Het model zal nu gebruikt worden voor onder meer een AI-assistent in WhatsApp en Instagram, maar dus alleen in het Engels. Voorlopig komt die AI-assistent nog niet naar ons land.
Fout opgemerkt of meer nieuws? Meld het hier