AI van chip tot getraind model

Degelijke AI-systemen vragen degelijk werk, maar ook voldoende rekenkracht. Sambanova legt zich daarop toe en heeft als start-up zelfs haar eigen chip ontwikkeld. ‘Dat bleek gewoon de beste optie.’

Sambanova komt verder uit universitair onderzoek van Stanford, waarna CEO Rodrigo Liang het bedrijf in 2017 oprichtte met professoren computerwetenschappen Kunie Olukotun en Chris Ré. Intussen heeft het maar liefst 1,1 miljard dollar opgehaald, goed voor een waardering van 5 miljard dollar en 500 werknemers.

Het bedrijf levert zowel hardware en software als getrainde modellen voor AI-toepassingen in een allesomvattend pakket. Opmerkelijk daar is dat het zelfs zijn eigen chip ontwikkelde, specifiek voor AI. Dat doen grote spelers als Tesla of Facebook ook, maar je ziet het minder snel bij een bedrijf dat nog geen vijf jaar bestaat.

“AI zal meer veranderen dan het internet. De opkomst van internet heeft onze manier van data-opslag en onze netwerken omgegooid, maar AI veroorzaakt een generationele shift, met terabytes aan data die miljarden keren moeten worden herhaald om nuttig te zijn voor kunstmatige intelligentie,” zegt Liang.

Over de omzet of het aantal grote klanten blijft het bedrijf liever discreet, maar er wordt wel gezwaaid met cijfers van onder meer IDC en de grote consultancybureau’s om aan te tonen dat investeren in AI cruciaal is om voorsprong te nemen op concurrenten. “Maar het is simpel: door met AI taken weg te nemen, geef je mensen meer ruimte om innovatieve dingen te doen.”

“Bedrijven willen geld besparen, misschien ook minder mensen inzetten, en efficiënter werken, dat is tactische vooruitgang”, vult Marshall Choy, vicepresident voor product, aan. “Maar de grootste winst zit in het strategische: winstgevender worden, nieuwe services en producten opzetten door AI, en daar zien we vooral de grotere adoptie doorheen een bedrijf.”

Dat het bedrijf haar eigen chip ontwikkelt is opmerkelijk, maar volgens Choy was het simpelweg de beste keuze. “Toen we begonnen hebben we gekeken naar CPU’s, GPU’s en FPGA’s, maar ze gaven ons gewoon niet het niveau van programmeerbaarheid dat we specifiek voor AI wilden. De software die we maken vereist dat we hardware hebben die daar op kon inspelen. Onze chip is herconfigureerbaar, heeft 300 megabyte SRAM in combinatie met 1,5 terabyte extern geheugen, in een volledig rack gaat het om 48 terabyte aan geheugen.”

De hele stack

De chip zelf werd gemaakt bij TSMC en is dus naadloos afgestemd op de software die er gebruik van maakt. “Je wil alles op één lijn hebben. We willen naarmate de modellen groter worden en de workload verandert de hele stack, van chip tot software, kunnen optimaliseren,” zegt Pradheep Singh, vicepresident Software Products bij Sambanova.

Een van de weinige klanten waar Sambanova wel publiek over kan praten is de Hongaarse bank OTP, met veertigduizend werknemers en 17 miljoen klanten. De bank kondigde samen met de overheid een forse investering in AI-activiteiten aan en ging daarvoor in zee met de start-up uit Palo Alto. “Op drie maanden tijd hebben we dat uitgerold,” zegt Singh. “Maar dit is niet gewoon om een betere chatbot te bouwen of één toepassing in een specifiek departement. Hun ambitie is dat tachtig procent van de beslissingen via AI zal verlopen. Het is een massatransformatie voor hen.”

Een belangrijk detail daarbij is de taalbarrière. AI kan dan wel geweldig werken in een Engelstalige omgeving, dat maakt diezelfde technologie niet noodzakelijk even nuttig en handig in het Hongaars. “We gebruiken GPT-3, (het Engels taalmodel om automatisch tekst te genereren, nvdr.) maar het Hongaars zelf was een probleem,” erkent Singh. “OTP is daarom ook met de overheid en onderwijsinstellingen beginnen praten en die hebben het project mee ondersteund, waardoor er datasets waren om mee te trainen. Dat wil zeggen dat dit project niet enkel voor de bank, maar ook voor andere sectoren kan worden ingezet.”