Netwerken en interacties liggen aan de basis van onze sociale media maar geven ook aan hoe websites en bedrijven zelf werken. Datawetenschapper Jure Leskovec doet al zijn hele carrière onderzoek naar machine learning in netwerken, onder meer bij Twitter en Pinterest. ‘Een systeem is vaak zo genuanceerd dat het je verrast.’
We spreken Leskovec aan de Universiteit van Antwerpen, waar hij eind maart een eredoctoraat kreeg voor zijn werk rond AI en machine learning. Zo startte hij zijn carrière met onderzoek naar de manier waarop informatie viraal kan gaan op sociale media. Hij werkte ook voor onder meer Pinterest, waar hij zogeheten ‘recommendation’ systemen bouwde. Ondertussen heeft hij een bedrijfje opgericht dat AI-modellen bouwt, specifiek voor bedrijfsdata.
U heeft meerdere aanradingssystemen of ‘recommendation engines’ gebouwd. Hoe begint u aan zo’n project?
Dr. Jure Leskovec: De vraag is altijd: wat wil je daarmee bereiken en wanneer is dat succesvol. Het is belangrijk dat je kan meten wat voor jou succes betekent. Voor een recommendation systeem ben je niet echt met bezig met de voorstellen die je gebruikers geeft, maar met het effect ervan. En dat is een iteratief proces want AI-modellen worden getraind op voorgaand gedrag en gelabelde data.
We werken altijd via interacties, zoals ‘deze gebruiker klikte hier op’. Maar de vraag is welke data ga je kiezen om je model op te trainen. Een van de eerste projecten die we deden bij Pinterest draaide om nieuwe gebruikers die op het platform inlogden. En het idee was om hen een aantal interesses te laten aanklikken en op basis daarvan gingen we hen pins aanraden. Zo zouden ze het platform meer gaan gebruiken. Initieel bouwden we een systeem dat voorspelde welke interesses ze zouden selecteren, en vervolgens kozen mensen twee keer zoveel interesses als voorheen.
Je zou kunnen zeggen dat dat een succes is. Maar toen we keken naar wat er een maand later gebeurde, zagen we geen verschil in hoeveel mensen er op het platform bleven. We raadden hen iets aan, maar het had niet het effect dat we wilden. We wilden namelijk dat ze terugkeerden naar het platform. Dus we moesten teruggaan naar het begin en kijken wat mensen selecteerden die wel bij het platform bleven. We wilden voorspellen wat die mensen selecteerden, niet wat gebruikers in het algemeen interesseerde.
Als je mensen vraagt of ze geïnteresseerd zijn in ‘reizen’, ‘gerechten’ of ‘design’, wie is dat niet? Natuurlijk gaan ze dat aanklikken. Maar vaak zitten er wel verschillen in voor elke gebruiker. Dus in de tweede versie van de engine waren de voorstellen veel preciezer. Ben je geïnteresseerd in rugzakreizen of exotische vakanties, bergreizen of mediterrane vakanties enzovoort. En dat maakt een groot verschil.
Bij aanradingssystemen denk ik aan wat bijvoorbeeld Amazon vroeger deed met ‘gebruikers die dit zochten kochten ook’, of wat Netflix doet om je naar nieuwe producten te sturen.
Leskovec: Er zijn daar twee types. Je hebt voorstellen van item naar item, waarbij je gaat kijken naar een product en dan probeert een ander product voor te stellen. Maar je kan ook een gebruiker aan een item linken. Stel, je wil een gebruiker een reeks films voorstellen. Dat is het verschil tussen ‘hier heb je een gebruiker, deze films zijn misschien leuk voor je’, versus ‘je klikt op een film en dit zijn gelijkaardige films’. Het gaat erom dat je echt probeert de volgende actie te voorspellen, maar de vraag is wat is het effect daarvan op de volledige ervaring.
Met clickbait gaan gebruikers op korte termijn vaker klikken maar op langere termijn vergiftig je het ecosysteem
Bij Pinterest wilden we pins gaan voorstellen, maar hoe ziet dat er uit? Wil ik pins aanraden waarop je gaat klikken? Of wil ik er voorstellen die je gaat opslaan op je bord? Als je gaat voor geoptimaliseerde clicks, dan ga je veel clickbait krijgen. Op korte termijn gaan gebruikers dan vaker klikken, maar je vergiftigt het ecosysteem op lange termijn. Als je pins wilt voorstellen die leiden tot gelukkige gebruikers, dan gaat het om pins die ze hebben gevonden en willen opslaan. Dat zien wij als een goede interactie. Die is niet meteen monetiseerbaar, maar ze is goed, en dat is moeilijker dan clickbait.
Hebt u voorbeelden van relaties tussen producten die tot zo’n voorstellen leiden?
Leskovec: We zien meestal twee types van relaties tussen producten. De ene is een substituut, waarbij je een smartphone tegenover een andere smartphone zet. De andere relatie is complementair. Je koopt een smartphone, maar dan ga je daar ook kabels voor nodig hebben, een hoofdtelefoon, misschien een hoesje enzovoort. Veel menselijk gedrag volgt die twee types.
Van daar kan je teruggaan naar machine learning. Het algoritme leert ‘ah, die twee dingen horen bij elkaar’. Het leert van het gedrag van gebruikers. In principe moet het algoritme niet eens weten wat een smartphone is. Het moet niet weten dat bijvoorbeeld jongere of net oudere mensen dit soort dingen leuk vinden. Dat zit gewoon verstopt in de data. En door die mogelijkheid om te leren is het systeem vaak zo genuanceerd dat het ons soms verrast.
Ziet u ook trends in sociale media? Er leeft bijvoorbeeld het idee dat virale trends steeds sneller gaan.
Leskovec: We hebben met Twitter gewerkt om te kijken hoe virale posts het onderliggende sociale netwerk beïnvloeden. Terwijl informatie zich verspreid, zie je als gebruiker bijvoorbeeld dat een postje dat iemand heeft doorgepost wel interessant is. Dus je besluit om die originele poster te volgen, want hij of zij deelt goede informatie. Wat dat betekent voor het netwerk is dat het zichzelf optimaliseert. Je gaat de originele bron volgen, dus krijg je in principe de informatie sneller. We zien dat na verloop van tijd de cascades (de opeenvolging van reblogs waarlangs een post zich verspreid, nvdr) meer gecompresseerd worden. Trends verspreiden zich sneller, ze starten sneller en ze sterven ook sneller uit. Maar het betekent ook dat je na verloop van tijd minder diverse content te zien krijgt, want het netwerk is geoptimaliseerd naar je interesses.
U heeft ook onderzoek gedaan naar de verspreiding van Covid. Is dat vergelijkbaar met hoe pakweg een meme zich verspreid?
Leskovec: Daarvoor hadden we data over locaties van telefoons. We konden op die manier bij benadering zien dat mijn smartphone en jouw smartphone dicht bij elkaar waren geweest, en dat het virus dus misschien van jou naar mij is gesprongen. En door dat netwerk konden we veel accurater modellen bouwen voor epidemieën via dynamische netweken, puur met de technologie die je bij je draagt.
Toont dat soort onderzoek ook waar de zwarte gaten zijn in de wereld? Plekken die minder contact hebben met de rest van de wereld?
Leskovec: Er is één blank space en dat is Noord-Korea. Zo’n twintig jaar geleden deed ik onderzoek bij Microsoft en het bedrijf had een berichtenapp, Microsoft Instant Messenger. We hebben daar het netwerk geanalyseerd van wie er over de hele wereld die messenger gebruikte. En dat was overal behalve in Noord-Korea.
In principe moet het algoritme niet eens weten wat een smartphone is om er een aan te raden
Maar het is daarnaast wel iets om mee rekening te houden. De penetratie van smartphones is vandaag zo’n 96% maar er zijn nog delen van de bevolking die geen telefoons op zak hebben. Denk bijvoorbeeld aan gevangenen, of bepaalde ouderen; jonge kinderen ook. Je moet er rekening mee houden dat er gaten in de data zitten wanneer je systemen bouwt. Je moet die begrijpen en corrigeren als je uitspraken wilt doen. Maar dat hoort er wel bij als je op een goede manier aan datawetenschap wil doen.
U heeft ondertussen zelf een AI-bedrijfje gestart, Kumo.ai. Wat doet u daarmee?
Leskovec: Veel neurale netwerken voor AI leren van beelden en natuurlijke tekst. Dat is ook de basis van iets als ChatGPT. Het model leert van een sequentie van woorden en gaat voorspellen wat het volgende woord is. Maar bedrijven slaan hun private data op in databases en data warehouses, meestal in de vorm van tabellen. Je hebt de klantentabel, de productentabel, de transacties enzovoort. Dat zijn data zoals ‘deze klant kocht dit item vandaag’, met gegevens in drie tabellen: transacties, klant, product. Dat zijn de nuttigste zakelijke data die organisaties hebben. Van die tabellen kan je een fraudesysteem bouwen, een prijsoptimalisatiesysteem, productvoorspellingen enzovoort. Het probleem is dat de meeste van die modellen momenteel handgemaakt zijn, men gaat machine learning gebruiken voor specifieke functies en dat schaalt niet. Het duurt negen maanden tot een jaar om één van die voorspellingsmodellen te bouwen en er waarde uit te beginnen halen.
Er is één ‘blank space’ in het wereldnetwerk en dat is Noord-Korea
Dus wat wij doen is een basismodel maken dat kan leren van je zakelijke data, zoals ChatGPT kan leren van tekstdocumenten. Wij hebben een equivalent ontwikkeld dat hetzelfde doet maar dan met private business data. En zoals ChatGPT het volgende woord kan voorspellen, kan ons systeem voorspellen of een transactie frauduleus is, of wat het volgende product is dat de klant zal kopen. Mensen beginnen zich momenteel te realiseren dat large language models dit soort problemen niet kunnen oplossen. De technologie van Kumo verandert hoe modellen gebouwd worden op de meest waardevolle zakelijke data en hoe bedrijven daar waarde uit kunnen halen.
Om je een voorbeeld te geven, we werken onder meer met DoorDash, de grootste maaltijdleverancier in de VS. Ze wilden een voorspellende functie om je restaurants aan te raden waar je nog nooit bij besteld had. Dat is best moeilijk want je bent daar als klant nog niet geweest. Met Kumo konden we een model bouwen dat veel accurater was dan wat ze intern konden doen, en dat hen 200 miljoen dollar extra aan inkomsten kon geven op jaarbasis.
Hoe ziet u die technologie over twintig jaar evolueren?
Leskovec: Het zijn momenteel erg spannende tijden. Er zijn veel investeringen, maar er is ook veel hype. Voor LLM’s zie je dat we momenteel richting digital agents en assistenten aan het gaan zijn. In principe krijg je bijna een soort digitale workforce. Een tweede aspect is, denk ik, het voorspellende. Die digitale agenten zijn goed voor bijvoorbeeld call centers maar voor beslissingen heb je predictive AI nodig. Ik denk dat we daar nog fantastische vooruitgang gaan zien. Voor generatieve AI zitten we momenteel in een meer open situatie. Er zijn veel coole demo’s en ideeën maar ik denk dat we nog moeten zien welke echte problemen er kunnen worden opgelost die echte zakelijke waarde hebben.
Fout opgemerkt of meer nieuws? Meld het hier