AI-ring zet gebarentaal om in tekst

De SpellRing van Cornell University. © Cornell
Ronald Meeus
Ronald Meeus Freelance journalist

Terwijl spraaktechnologie na een kwarteeuw eindelijk zijn potentieel begint waar te maken, vonden onderzoekers aan de Amerikaanse Cornell-universiteit nu ook een manier om gebarentaal om te zetten naar tekst: een ring die handbewegingen trackt via een ingebouwde microsonar.

Hoewel de SpellRing al meteen als een consumentenproduct klinkt, is het toestel nog lang niet klaar voor commerciële primetime. Het trackt bovendien voorlopig alleen nog maar vingerspelling (een manier om afzonderlijke letters uit te beelden) en geen volwaardige gebarentaal (een volwaardige visuele taal met een eigen grammatica en structuur, en gebaren die volledige woorden en concepten vertegenwoordigen). Maar het Smart Computer Interfaces for Future Interactions (SciFi)-labo aan de Cornell University in het Amerikaanse Ithaca (staat New York) werkt ook al aan die volgende stap, en het heeft alvast een eerste stap gezet om gebaren om te zetten naar tekst voor computers en smartphones.

Microsonar

De SpellRing, die om de duim moet worden gedragen, is uitgerust met een microsonar, die geluidsgolven stuurt en ontvangt die niet waar te nemen zijn met het menselijk gehoor. Daarmee worden de hand- en vingerbewegingen van de drager getrackt, terwijl een minigyroscoop de bewegingen van zijn volledige hand volgt. Een algoritme zet die data vervolgens om in tekst.

Fijnmaziger

Er bestaan al andere oplossingen die gebarentaal naar tekst omzetten: het Amerikaanse SignAll, bijvoorbeeld, gebruikt daar gewoon de camera van een smartphone voor. Maar de SpellRing levert een beter en fijnmaziger resultaat, vertelt doctoraatsstudent Hyunchul Lim in een blogpost van Cornell. De onderzoekers lieten hun uitvinding inmiddels uitproberen door een testpubliekje van gebarentaalgebruikers, en die wisten meer dan 20.000 woorden met een accuratesse van 82 procent tot 92 procent (afhankelijk van de moeilijkheid van de woorden) aan het systeem toe te vertrouwen.

Fout opgemerkt of meer nieuws? Meld het hier

Partner Content