De technologie heeft een van de meer ‘sci-fi’ namen in de sector, maar hyperdimensional computing probeert AI-training efficiënter te maken door ze van bij het begin anders aan te pakken. Een introductie.
Generatieve AI van het type ChatGPT gaat door een gigantische hausse, en veel bedrijven en organisaties bekijken momenteel of ze de modellen kunnen inzetten in hun eigen business. Die large language models of llm’s hebben echter enkele stevige nadelen. ‘Een trainingssessie voor ChatGPT stoot 500 ton koolstofmonoxide uit, of duizend auto’s die duizend kilometer rijden. En dat trainen gebeurt misschien niet zo vaak, maar het stellen van 2.000 vragen aan ChatGPT gebruikt ook evenveel energie als een huishouden op een dag,’ zegt Laura Smets, PHD studente bij IDLab, de data-onderzoeksgroep van imec en de Universiteit Antwerpen. Ze geeft haar keynote voor het publiek van het Women in Data event van Clusity, een gemeenschap voor vrouwen in IT.
Neurale netwerken als die van ChatGPT, maar ook concurrenten als LLaMA2 (van Meta) of Gemini (van Google) werden de voorbije jaren ook steeds groter, met steeds meer parameters. ‘Het zijn grote modellen, die veel energie verbruiken en veel data nodig hebben om hen accuraat te trainen,’ aldus Smets. Kan dat efficiënter? Een technologie genaamd hyperdimensional computing of vector symbolic architectures pakt het anders aan door van bij het prille begin een ander systeem te gebruiken: vectoren.
Vectoren
Een vector is een vrij simpele reeks cijfers. Een 3D-vector kan bijvoorbeeld drie cijfers bevatten voor de coördinaten van x, y en z. ‘Wat wij gaan doen is data mappen naar hyperdimensionele vectors,’ zegt Smets. Gegevens worden daarbij overgebracht naar vectors met tot tienduizend vectorelementen. Van daaruit gebruikt het systeem relatief simpele rekenkundige vectoroperaties om de verschillende vectoren te vergelijken. ‘Dat is redelijk gelijkaardig aan hoe wij zelf informatie opslaan in onze hersenen,’ zegt Smets daarover. ‘Bovendien gebruikt het veel minder energie door de simpele vectorberekeningen, en heeft het minder data nodig om accuraat te werken.’
De technologie is momenteel nog jong en niche, en vereist een hoop wiskundige kennis om te doorgronden. Het werd ondertussen al wel toegepast voor applicaties zoals spraakherkenning of tekstclassificatie, met een accuraatheid van zo’n 97%. Smets zelf werkt momenteel aan beeldanalyse. ‘We zijn natuurlijk nog niet in staat om de grote diepe neurale netwerken te verslaan qua accuraatheid, maar zijn wel vergelijkbaar met andere lichtgewicht modellen. De schoonheid ervan ligt in het feit dat we eigenlijk gewoon binaire nummers gaan optellen en aftrekken,’ aldus nog Smets. Back to the roots, dus, voor een systeem dat misschien ooit de veel grotere modellen overklast.
Fout opgemerkt of meer nieuws? Meld het hier