Racegames bieden een complexe simulatie van de fysische wereld razen. Geen ideale plek voor AI, maar in Gran Turismo haalde zo eentje het onlangs wel van een peloton eSports-kampioenen. AI duwt het gaspedaal in.
Het was niet eens een spannende race. Met meer dan een halve ronde voorsprong op de rest stoof Sophy Rouge als eerste de wapperende geruite vlag voorbij in videogame Gran Turismo. Daarbij gaf de AI huidig eSports-wereldkampioen Tomoaki Yamanaka – die tweede werd – flink het nakijken. ‘Ik voelde me gefrustreerd tijdens de race’, zei die laatste verbouwereerd na de wedstrijd. ‘Dat is nog nooit gebeurd wanneer ik tegen een AI reed.’
Sophy Rouge is een artificieel intelligente ‘agent’, ontwikkeld in een samenwerking tussen Gran Turismo-ontwikkelstudio Polyphony Digital en een nieuw opgerichte AI Group binnen moederbedrijf Sony. Ze distilleerden Sophy Rouge, samen met deelnemende maar lager geëindigde AI’s Sophy Emeraude, Sophy Lavande en Sophy Grise, uit een zelflerende AI op een neuraal netwerk die het Japanse concern, samen met een kleine tros andere onderzoekscentra, de afgelopen vijf jaar ontwikkelde. Het specifieke doel: de AI zo goed maken dat ze beter is in het racespel dan uitzonderlijk begaafde menselijke spelers.
Intensieve training
De race die Data News bijwoonde was niet de eerste waarin Sophy won van menselijke tegenstanders. Enkele weken eerder klopte de AI al min of meer dezelfde equipe van eSports-kampioenen in een test waarvan de resultaten verschenen in het wetenschappelijke tijdschrift Nature, samen met een uitgebreide uitleg van hoe ze deze doorbraak voor elkaar hebben gekregen. Want van een nieuwe mijlpaal kunnen we echt wel spreken: het feit dat Sophy tegen mensen won in een videogame is een nieuwe evolutionaire stap voor AI, van hetzelfde kaliber als de overwinning in een schaakspel die IBM-systeem Deep Blue in 1996 boekte tegen toenmalig wereldkampioen Garry Kasparov. Of IBM’s Watson-AI die in 2011 glansrijk won in de Amerikaanse tv-quiz Jeopardy!, de overwinning van een AI van DeepMind in het bordspelletje Go in 2015, of de recente doorbraken van diezelfde DeepMind-intelligentie in strategische videogame StarCraft II.
Dat Sophy de volgende werd in die omhoogkrabbelende rij zit hem in het feit dat ze zich in een relatief realistisch gesimuleerde simulatie van de fysische werkelijkheid begeeft. Dat maakt een enorm verschil met de voorgaande AI-keerpunten: waar die menselijke spelers konden aftroeven op een speelveld dat duidelijk en strak gestructureerd is, moet Sophy zich in een computergestuurd universum begeven waarin de wetten van de fysica en aerodynamica spelen. Waar ze constant miljarden gegevens opslaat over positie, snelheid, versnelling en andere relevante variabelen. Waar ze de ruimtelijke verhoudingen van de omgeving (3D-modellen van de racecircuits van Lago Maggiore in Italië, het Circuit de la Sarthe in Frankrijk, en een door de designers van de game verzonnen Kroatisch circuit) constant in zich opneemt. Waar ze tactisch moet denken om de handelingen van menselijke tegenstanders op het circuit te counteren. En waar ze zelfs – al geven de onderzoekers toe dat daarin voorlopig het minste resultaat werd geboekt – rekening moet houden met de ongeschreven regels van de sportiviteit.
Sophy werd getraind op computerhardware met een neuraal netwerk, die via een ethernetkabel werd aangesloten op PlayStation 4-consoles waarop Gran Turismo Sport draaide, de in 2017 gelanceerde voorgaande editie van de game. Versies van de AI bestuurden elk een twintigtal auto’s tegelijk op tien tot twintig PlayStations, aan een snelheid van 10 hertz omdat dat in de buurt komt van de reflexen van eSports-kampioenen. Zo leerde Sophy, meer dan 45.000 speeluren lang, hoe ze moest sturen en wanneer ze gas moest geven of remmen.
Snel erin, snel eruit
‘We noemen het een supermenselijke AI’, zegt Kazunori Yamauchi, CEO van Polyphony Digital en al sinds de eerste editie uit 1997 de creatieve kracht achter de Gran Turismo-games. Hij claimt dat Sophy dankzij haar zelflerende kwaliteiten nu al dingen heeft geleerd die professionele racers, op de echte circuits, ook nog maar pas hebben ontdekt. ‘De traditionele logica van een racer is dat hij traag de bocht ingaat, om er dan zo snel mogelijk weer uit te komen’, zegt Yamauchi. ‘Sophy heeft zichzelf geleerd om constant haar positie en haar acceleratie te monitoren, zodat ze die vertraging voor de bocht niet noodzakelijk hoeft te maken: ze gaat snel erin én snel eruit. Ze gebruikt in essentie technieken die coureurs in het echte leven, zoals Lewis Hamilton en Max Verstappen, ook zopas zijn beginnen te hanteren, en ze heeft die volledig autonoom van hen geleerd.’
De AI-techniek die de vorsers hanteerden om Sophy te trainen heet reinforcement learning: de kunstmatige intelligentie leert door middel van bekrachtiging. ‘Het leert de game gewoon zelf te spelen, zonder gedrag af te kijken van menselijke spelers’, zegt Ann Nowé, professor computerwetenschappen en hoofd van het AI Lab een de Vrije Universiteit Brussel. ‘De meest gangbare technieken om AI te trainen baseren zich op data mining. Bij supervised learning wordt bijvoorbeeld een beeld vergeleken met miljoenen gelabelde beelden van honden of katten om vast te stellen of het beeld in kwestie ook een hond of een kat is. Dan heb je unsupervised learning, waarbij er geen gelabelde data zijn, maar men dingen uit datasets groepeert op basis van bepaalde kenmerken die ze vertonen. Het voordeel van reinforcement learning is dat je verder kunt gaan dan het niveau van de menselijke expert. De technieken die ze in dit experiment hebben gebruikt, zijn niet nieuw. Maar het is bijzonder interessant om ze vertaald te zien in een duidelijke toepassing. Een racegame is een omgeving met een heel complexe dynamiek, in tegenstelling tot een bordspel, waar de omgeving en de spelregels volkomen duidelijk zijn.’
De AI, uw vriend
Het klinkt misschien wat omslachtig om een ‘wezen’ dat uit computercode bestaat met mensen te laten wedijveren in een videogame, die per slot van rekening ook een brok software is. Maar de reden waarom men vandaag kunstmatig intelligente ‘agents’ in games loslaat is omdat ze het leerproces flink versnellen. Per definitie geeft de evolutie van zelflerende AI flink op het gaspedaal geduwd de afgelopen jaren. Er was misschien twintig jaar verschil tussen schaken en Go, maar de sprongen die worden gemaakt in AI die leert via videogames (er werden de afgelopen jaren ook AI’s getraind op oude Atari-videospelletjes en de tactische game DotA 2) brachten alles nog wat in een stroomversnelling. Ook Sophy maakte enorme vorderingen: de overwinning die Sophy Rouge boekte was al veel overtuigender dan die van een eerdere Sophy-agent die als eerste over de streep kwam voor het onderzoek dat in Nature verscheen. ‘Er zijn een paar factoren die die versnellingen een duw in de rug gaven’, zegt Nowé. ‘Natuurlijk speelt de groei van rekenkracht mee. Maar de technieken en algoritmen van reinforcement learning worden ook constant verbeterd, en er is over het algemeen meer en meer aandacht voor die tak van AI-research. Dit onderzoek toont dat ook aan.’
Natuurlijk racete Sophy niet alleen voor de entertainmentwaarde: de vorsers van het onderzoek in Nature zien onder meer toekomstige applicaties in robotica. Per slot van rekening begeven drones, autonoom rijdende wagens en androïde robots zich ook in een complexe fysische omgeving: de echte wereld. Nowé ziet ook mogelijke toepassingen in de studie van klimaatverandering en de epidemiologie: ‘Daarvoor worden al decennia steeds complexer wordende ‘fysische’ computermodellen gebruikt.’
Maar ook, denkt Yamauchi, kan Sophy een nieuwe schrede zetten in de richting van artificiële intelligentie die naast de mens werkt en hem bijstaat, de natte droom van AI-onderzoekers. Een eerste babystapje wat dat betreft kan al redelijk snel arriveren. Bij zijn recente lancering zette Gran Turismo 7, de nieuwste editie van de games voor Sony’s PlayStation 5-console, nog klassieke, voorgeprogrammeerde AI-tegenstanders aan de startlijn. Maar met een update zal Sophy – een ingeblikte versie ervan althans, die kan draaien op de PlayStation 5-hardware – binnenkort ook in de game terechtkomen. Maar het is niet de bedoeling dat ze het tegen spelers zal opnemen, zegt Yamauchi. ‘We mikken eerder op een Sophy-agent die je als speler zal leren om beter te worden in het spel. Onze filosofie is dat AI je vriend moet worden. Daarom ook vonden we het belangrijk dat ‘sportiviteit’ een rol speelde in haar creatie. AI-onderzoek biedt ons een goede gelegenheid om echt na te denken over wat het betekent om mens te zijn, en hoe technologie en samenleving naast elkaar kunnen bestaan.’
Seat Cupra’s rijden ook in het metaverse
Nieuwe Cupra-wagens van Seat worden in twee werelden opgeleverd: bij een dealer in uw buurt, en in het metaverse, waar het Spaanse automerk zichzelf een plekje heeft uitgehouwen dat het Cupra Metahype doopte. Daar rijden potentiële eigenaars van de voor 2024 aangekondigde elektrische wagen Cupra UrbanRebel, in een eenvoudige racegame. Maar op dat Metahype-platform zullen er ook brand spaces zijn voor culturele ervaringen waar Seat een hand in heeft, zoals het door Seat gesponsorde Primavera Sound-festival in Barcelona. Het wordt een omgeving waarin bezoekers elkaar kunnen tegenkomen via hun avatar (plat op hun computerscherm of driedimensionaal met een VF-bril) en non-fungible tokens (die gevreesde NFT’s) met elkaar kunnen uitwisselen, zoals een UrbanRebel-NFT die Cupra zelf zal uitleveren.
Volgens CEO Wayne Griffiths biedt het een ’emotionele ervaring’, die bewijst dat Cupra ‘meer dan een automerk’ is. Futuriste Cathy Hackl kwam het allemaal nog een wat diepere betekenis geven: ‘Consumenten willen niet meer gewoon volgers van een merk zijn: ze willen ermee samenwerken, deel zijn van de brand experience.’
Willen we dat echt? De hele ervaring doet een beetje aan het inmiddels braakliggende Second Life denken, de onlinewereld waarin honderden merken vijftien jaar geleden vruchteloos een soortgelijke brand experience uitstalden. NFT’s hebben een kwalijke naam door hun speculatieve karakter en hun ecologische impact (blockchain-transacties vreten energie). En Hackl heeft haar expertise al voor rekening van zoveel merken laten rijden (eerder al Nokia en Amazon) dat het steeds moeilijker wordt om haar ernstig te blijven nemen.
Wél interessant is echter de hybride motorsportervaring die Cupra in het vooruitzicht stelt, met piloten die race-uitvoeringen van de UrbanRebel over echte racebanen besturen, terwijl ze in een VR-bril die ze – al rijdend! – voor hun ogen hebben een futuristisch race-universum zien. Wat ze besturen is dus echt, wat ze zien is virtueel. Met hopelijk, natuurlijk, niet te veel muren of andere harde objecten in de echte wereld.
Fout opgemerkt of meer nieuws? Meld het hier