Hoe hardware AI vooruit drijft

Artificiële intelligentie is meer dan alleen software, daarom kijken AI-onderzoekers en bedrijven steeds vaker naar gespecialiseerde chips.

AI is overal. Het helpt smartphones bij stemherkenning of fotobewerking, en het verwerkt de data uit alles van sensoren die landbouwgewassen analyseren tot slimme camera’s die nummerplaten automatisch herkennen. Maar een AI-systeem vereist erg veel rekenkracht, en de bestaande hardware schiet daar soms tekort.

Google zet bijvoorbeeld in op een lijn van TPU’s, ofwel tensor processing units, chips die vanuit datacenters zware AI-berekeningen aankunnen. Tegelijk kijken AI-onderzoekers naar kleinere, energiezuinige hardware om AI ook aan de rand van het netwerk in te zetten. “AI wordt krachtiger en krachtiger”, stelt Peter Debacker, program manager machine learning bij imec. “En dat vraagt steeds meer rekenkracht en computergeheugen. Grote bedrijven zoals Google installeren hele rekken met gespecialiseerde AI-acceleratoren in hun datacenters. Niettemin lopen we steeds meer tegen bottlenecks aan bij chips. Bij imec onderzoeken we hoe we die massale honger voor compute kunnen blijven voeden vanuit de hardware.”

CPU’s en GPU’s

Imec onderzoekt en ontwerpt onder meer nieuwe types chips die specifiek toegespitst zijn op kunstmatige intelligentie. Traditionele chips, zoals de CPU of centrale verwerkingseenheid die je ook aantreft in elke computer, zijn lang niet meer genoeg voor de noden van AI. “CPU’s zijn universele machines die zeer goed werken bij algemene toepassingen”, stelt Debacker. “Maar ze komen een bottleneck tegen bij AI. Specifiek ontworpen chips kunnen dat beter aan.”

Die beperkingen van de CPU zorgden er aanvankelijk voor dat AI-onderzoekers keken naar de GPU, de grafische processoren die ook cruciaal zijn om bijvoorbeeld videospelletjes te spelen. “Er is een symbiotische relatie tussen AI en hardware”, stelt Debacker. “Het huidige succes van AI is zeker te wijten aan hardware. Eén van de redenen waarom we uit de laatste AI-winter zijn geraakt, een periode waar vooruitgang stagneerde, is dat we eind jaren ’90 ontdekten dat diepe neurale netwerken goed werken op GPU’s. Dat opende plots heel wat mogelijkheden.”

Maar zelfs die grafische kaarten schuren nu stilaan tegen hun grenzen aan, wat voor nog meer specialisatie zorgt in de wereld van de AI-hardware. “Zo’n chips voeren steeds opnieuw vaste patronen uit”, stelt Debacker. “We onderzoeken vooral architecturen die massaal parallelle berekeningen toelaten, en waar elke processor-eenheid voldoende eigen geheugen heeft.”

Zuinige edge

Maar niet alle focus ligt op de erg hoge prestaties, ook het verkleinen en efficiënter maken van chips is belangrijk. “We volgen de ontwikkelingen in de datacenters op de voet, maar onze focus ligt op de implementatie in het veld,” vertelt Matthias Feys, CTO van het Gentse AI-bedrijf ML6. “De zware hardware is vooral voor spelers zoals Google. We kijken naar hardware die aan de rand van het netwerk kan worden ingezet. En die daar goedkoper en met een lager energieverbruik werkt.”

Denk daarbij aan beeldverwerking in een smartphone, of een chip op een slimme beveiligingscamera die live analyseert wat er gebeurt. “We werken voor CNH Industrial, een bouwer van landbouwmachines”, vertelt Feys. “We hielpen hen om in hun graanmachines slimme sensoren te gebruiken. Die kijken tijdens het oogsten wat de kwaliteit is van de tarwe en of er niet al te veel onkruid tussen zit. Dat gebeurt via een camera die de beelden analyseert, en op basis van voorgaande data de kwaliteit van het gewas inschat. Dat model maakten we klein genoeg om op die sensor uit te voeren.”

Zo moeten de data niet eerst naar een datacenter gaan, wat de verwerking sneller maakt. “AI-hardware gaat naar twee uitersten”, stelt Feys. “Enerzijds heb je de erg dure chips die zich in datacenters bevinden en daar de steeds complexere modellen ondersteunen. En anderzijds zijn er apparaten die zo goedkoop en klein mogelijk zijn, en die ingezet worden in het veld aan de rand van het netwerk. Beide kanten scheiden zich steeds meer van elkaar af.”

Brein-processor

Eén bedrijf dat zo’n edge chips maakt is het Nederlandse Innatera Nanosystems. De spin-off van de TU Delft maakt een chip die het menselijke brein imiteert, en zo efficiënter zou moeten werken.

“Reguliere processoren werken door instructies uit het geheugen te halen, die uit te voeren en het resultaat opnieuw op te slaan”, legt Sumeet Kumar uit, CEO van Innatera. “Die cyclus herhalen ze constant, maar dat is niet energie-efficiënt voor AI. De performance is niet zo goed en het verbruikt meer energie. Vooral dat laatste is een probleem als je het in een kleine sensor wil steken die op batterijen werkt.”

Bestaande chips voor AI werken daarom meer parallel. Maar Innatera doet er nog een schepje bovenop, met de zogenaamde ‘neuromorphic’ processoren van het bedrijf. “AI-acceleratoren proberen parallelle berekeningen makkelijker te maken”, stelt Kumar. “In essentie vergroten ze het aantal berekeningen dat je tegelijk doet. Wat wij doen is echter een complete paradigma-verandering. We werken bijvoorbeeld niet met 0 en 1 tijdens de berekeningen, maar met stijgingen en dalingen in voltage, wat erg energie-efficiënt blijkt. Dat haalt inspiratie uit de elektrische pulsen in de neuronen en synapsen van ons brein.”

Energieverbruik is een kernprobleem wanneer u AI aan de edge van het netwerk wil inzetten en dat maakt de aanpak van Innatera voordelig. “We willen onze chip direct bij de sensor plaatsen,” stelt Kumar. “Dat is doorgaans het deeltje in de keten waar energie-efficiëntie het belangrijkste is. Heel vaak heb je daar maar een paar milliwatts om de data te verwerken.”

Er treedt dus specialisatie op binnen de al gespecialiseerde wereld van de AI-hardware. We gaan naar een situatie waar chips voor specifieke applicaties ontwikkeld worden, een trend die Peter Debacker van dichtbij opvolgt. “Eén van onze grootste uitdagingen is om een balans te vinden tussen flexibiliteit en optimalisatie”, besluit hij. “Een CPU is bijvoorbeeld erg flexibel, maar niet erg energie-efficiënt en performant. Maar je kan ook een chip maken voor één heel specifieke applicatie. Dat zorgt voor een erg hoge performantie en energie-efficiëntie, maar nul flexibiliteit. Daartussen bestaat er een heel spectrum aan chip-ontwerpen. We zijn steeds op zoek naar die sweet spot. ”