In de schaduw van de AI-wedloop vindt een tweede wedstrijd plaats: die om de krachtigste infrastructuur. AWS mengt zich in die strijd, niet alleen met eigen servers, maar ook met eigen processoren.
De omvang en complexiteit van nieuwe AI-modellen neemt alleen maar toe, wat telkens meer vraagt op het vlak van rekenkracht en netwerk. De AI-sector is continu op zoek naar oplossingen die de tijd voor training en inferentie verkorten. Maar dat vraagt investeringen in infrastructuur die alleen de allergrootste bedrijven zich kunnen veroorloven. En dan nog, klonk het tijdens de gebruikersconferentie AWS re:Invent in Las Vegas: zelfs met de snelste instances die vandaag beschikbaar zijn, kun je niet zomaar grotere rekenclusters blijven bouwen. De technologie botst er onvermijdelijk op haar grenzen: ‘groter’ betekent niet langer zomaar ‘sneller’.
AWS zegt dat vraagstuk op te lossen met een nieuwe generatie servers: Amazon EC2 Trn3 UltraServers, met daarin de nieuwe Trainium3-chip, gebouwd op 3nm-technologie.
De nieuwe servers zijn ontwikkeld om grotere AI-modellen sneller te trainen en zo omvangrijkere AI-projecten mogelijk te maken. Concreet bevat Trn3 UltraServers 144 Trainium3-chips, waardoor het systeem 4,4 keer meer rekenkracht levert dan de vorige generatie van Trainium2 UltraServers. In de praktijk brengt dat een trainingstijd van enkele maanden terug tot enkele weken. Testen van Trn3 UltraServers met GPT-OSS van OpenAI leverden vier keer sneller een antwoord op. Volgens CEO Matt Garman van AWS is Anthropics AI-model Claude intussen aan het trainen op Trainium3. Dat zou de helft goedkoper zijn dan GPU-training.
Eigen ecosysteem
Intussen blijft AWS ook inzetten op Graviton-processoren, waarvan het op re:Invent de vijfde generatie aankondigde. Voor de volledigheid: Graviton is CPU, geen GPU. De processoren zijn gebaseerd op ARM-architectuur. Je kunt ze dus niet vergelijken met de klassieke x86-processoren van Intel en AMD. ‘Toen we de eerste generatie Graviton lanceerden in 2018, waren mensen vooral nieuwsgierig naar waarom we dat deden’, zegt Ali Saidi, VP & Distinguised Engineer bij AWS. Maar de reden lag eigenlijk voor de hand. AWS is een grote klant van de chipfabrikanten. Het bedrijf wil zijn afhankelijkheid verkleinen. ‘We willen vooral een eigen ecosysteem uitbouwen’, klinkt het. Goed gezien van het bedrijf, blijkt intussen, met name nu de druk op de levering van chips toeneemt.
De generaties van Graviton volgden elkaar sinds 2018 snel op, met telkens een breder toepassingsgebied. Volgens AWS werken wereldwijd zowat 90.000 bedrijven met Graviton, waaronder grote namen als Adobe en Stripe. Ook de bekende game Fortnite zou op Graviton draaien.
‘Het gaat bij Graviton vooral om webapplicaties, databases en media’, licht Aid Saidi toe. Graviton5 breidt de mogelijkheden nu nog verder uit. Op elke chip bundelt AWS 192 CPU-kernen, wat zorgt voor een kwart meer rekenkracht. ‘Dat laat onder meer toe om workloads voor machine learning te draaien, zonder dat je er GPU’s voor nodig hebt. Algemeen draagt Graviton5 bij aan toepassingen met een veel lagere latency.’
Meer rekenkracht per chip betekent ook een betere kostenefficiëntie. ‘Eenvoudig gesteld heb je nu een kwart minder instances nodig. Dat budget komt vrij voor andere dingen’, besluit Saidi.