Google koppelt nieuwe AI-modellen aan robotica

Aan de hand van enkele video’s toont Google DeepMind de vooruitgang die het boekt om robots slimmer en behendiger te maken door ze te koppelen aan Gemini AI-modellen.

Wat krijg je als je de typische large language models van AI koppelt aan robots? Juist, slimmere robots die je kan bedienen met een prompt of met een stem. Tot zover de eenvoudige theorie: in de praktijk is dat allemaal net iets ingewikkelder. Met DeepMind werkt Google al even op deze technologie. Het doel is om het vermogen van Gemini – de chatbot en Gen AI tool van Google – om te redeneren, begrijpen en handelen helemaal te integreren in de fysieke wereld via robotica.

In een blogupdate toont Google hoe ver het staat. Gebouwd op Gemini 2.0, vormen Gemini Robotics en Gemini Robotics-ER nu de basis voor een nieuwe generatie behulpzame robots. Die kunnen door de integratie met Gemini veelzijdiger uit de hoek komen, of interactief gemaakt worden. In de demo hieronder bijvoorbeeld toont een DeepMind-medewerker hoe een robotarm met de stem bediend wordt om een specifieke taak zelfstandig tot een goed einde te brengen. In dit voorbeeld: in een fruitschaal de banaan herkennen, vastnemen en naar het juiste schaaltje verplaatsen. In dezelfde demo maakt de medewerker het ook wat extra uitdagend door de schaaltjes bijvoorbeeld te verplaatsen. Het is maar een van de demo’s die Google in de blogupdate deelt.

Gemini Robotics en Robotics-ER zijn de meest geavanceerde ‘vision-language(-action)’ modellenvan Google. Ze bouwen voort op Gemini’s multimodale begrip van de wereld en voegen fysieke acties toe als een nieuwe outputmodaliteit. Het model biedt geavanceerd ruimtelijk inzicht. Robotica-experts kunnen daarop verder bouwen en zo hun eigen programma’s laten uitvoeren via het redeneervermogen van Gemini. Google werkt hiervoor trouwens samen met Apptronik: een specialist in humanoïde robots.