Character.AI, een start-up die een chatbot uitbrengt op basis van generatieve AI, zegt dat er nieuwe maatregelen komen om jongeren te beschermen. Het bedrijf wordt aangeklaagd omdat het zou hebben bijgedragen aan de zelfmoord van een tiener.
Character.ai is een van ondertussen meerdere bedrijven die zich specialiseren in slimme chatbots. Het Californische bedrijf werd opgericht door voormalige Google-ingenieurs en bouwt AI-metgezellen, specifiek gebaseerd op generatieve kunstmatige intelligentie.
In een rechtszaak die in oktober in Florida werd aangespannen, zegt de moeder van een 14-jarige tiener nu dat zo’n chatbot verantwoordelijk is voor de zelfmoord van haar zoon. De tiener had een intieme relatie opgebouwd met een chatbot geïnspireerd door het ‘Game of Thrones’-personage Daenerys Targaryen, en had gesproken over de wens om een einde aan zijn leven te maken.
Volgens de klacht moedigde de robot hem aan om actie te ondernemen. Het bedrijf deed er volgens de advocaten van de moeder alles aan om bij de jongen een schadelijke verslaving te creëren voor de chatproducten, misbruikte hem en slaagde er uiteindelijk niet in hulp te bieden of zijn ouders op de hoogte te stellen toen hij zelfmoordgedachten uitte.
Niet de enige
Vervelend voor Character.ai is dat er ook in Texas een tweede klacht werd ingediend, deze keer door twee gezinnen. In een van de gevallen gaat het om een 17-jarige autistische tiener die naar verluidt een geestelijke gezondheidscrisis kreeg na het gebruik van het platform. Het tweede gezin stelt dat Character.AI een tiener heeft aangemoedigd zijn ouders te vermoorden omdat ze zijn schermtijd beperkten.
Het platform bevat ondertussen miljoenen door gebruikers gecreëerde personages, vaak gebaseerd op historische of populaire figuren, die dienen als denkbeeldige vrienden en zijn vaak populair bij jonge gebruikers op zoek naar emotionele steun. Dat kan volgens critici erg verslavend werken.
Character.AI reageert nu op de controverse met een apart AI-model voor minderjarige gebruikers. Dat zou de inhoud strenger filteren en ook automatisch verwijzen naar de nationale preventiedienst wanneer het zelfmoordgedachten registreert.
Vanaf volgend jaar wil de chatbot ook ouderlijk toezicht invoeren en een reeks waarschuwingen over schermtijd en het nemen van pauzes. Ook het feit dat de bots geen echte mensen zijn, zal duidelijker worden aangegeven.
Geen safety-by-design
Camille Carlton, van het Center for Humane Technology, een van de technische experten in de zaak, merkt op dat het al de tweede keer is dat Character.AI veiligheidsmaatregelen neemt als reactie op een nieuwsverhaal of rechtszaak waarbij een tiener schade leed. Het toont volgens haar dat het bedrijf niet bezig is met het ontwerpen van een fundamenteel veilig product, maar vooral met ‘damage control’ voor zijn reputatie.
Fout opgemerkt of meer nieuws? Meld het hier