Pokémon Go-maker gebruikt spelersdata om navigatiesysteem te trainen

Niantic, het techbedrijf achter een hoop AR-spellen, verzamelt al enkele jaren visuele scans van de omgeving, en wil daar nu een navigatiesysteem mee bouwen.

Niantic werkt aan een groot ‘geospatiaal model’ dat je kan helpen om door de fysieke wereld te navigeren. Dat meldt het bedrijf op zijn site. Het gaat om een groot AI-model in de stijl van een LLM zoals ChatGPT. In plaats van massa’s tekst, maakt het model echter gebruik van scans van de echte wereld. Die miljoenen scans zijn gemaakt door de vele spelers van zijn mobiele games, waarvan Pokémon Go waarschijnlijk het bekendst is. Het lijkt de eerste keer te zijn dat er een groot AI-model getraind wordt op input van mobiele games.

Dat zit zo. Spelers van de Niantic-games wordt af en toe gevraagd om punten in de wereld, zoals een brug, een standbeeld of belangrijk gebouw, te ‘scannen’ door ze met de camera van hun mobiele telefoon vanuit verschillende hoeken in beeld te brengen. Met die scans bouwde Niantic vervolgens 3D-kaarten. ‘De voorbije vijf jaar hebben we bij Niantic gewerkt aan ons ‘Visual Positioning System (VPS). Dat gebruikt een enkel beeld van een telefoon om de positie en oriëntatie te bepalen op een 3D-kaart, gebouwd door mensen die interessante locaties in onze games en in Scaniverse hebben gescand,’ aldus Niantic in zijn mededeling.

Navigatie

Het idee is dat zo’n VPS beelden kan interpreteren vanuit verschillende ooghoeken en perspectieven, en dus ook weet waar je bent als je aan de minder gefotografeerde kant van de kathedraal staat.

Het zogeheten ‘large geospacial model’ (lgm) werd getraind met scans van meer dan tien miljoen wereldwijde locaties. Veel daarvan zijn bovendien gemaakt vanuit het perspectief van een voetganger, en op locaties die niet toegankelijk zijn voor de meer traditionele ‘streetview’-auto’s. In totaal heeft het bedrijf 50 miljoen neurale netwerken getraind, die navigatie moeten toelaten op een miljoen locaties. Het bedrijf hoopt dat de technologie (via licenties, bijvoorbeeld) kan bijdragen aan toepassingen rond AR-brillen, robotica en autonome systemen.

Augmented reality

Niantic bestaat sinds 2010 en maakt ‘augmented reality’ games, waarbij de actie zich op je schermpje afspeelt, maar je wel naar plaatsen in de fysieke wereld moet gaan. Het bedrijf werd vooral bekend met Pokémon Go, het AR-spel dat je toelaat de bekende monstertjes te vangen tijdens je wandeling in het park of onderweg naar de supermarkt. Naast dat game heeft Niantic ook Pikmin Bloom uit (ook gebaseerd op een Nintendo-serie) en waren er gelijkaardige games gebaseerd op Harry Potter en Monster Hunter.

Elk van die games bevatte een of andere vorm van scanning of geomapping, bij Ingress, het eerste Niantic-game, was dat zelfs een vrij groot deel van de gameplay. Dat het bedrijf nu met een AI-navigatiemodel uitkomt is dus ook geen echt grote verrassing. Vraag is natuurlijk wel of de vele (vaak jonge) spelers die de scans uitvoerden, wisten dat ze daarin meestapten.