Paul Arends
Er wordt gezegd dat Character.AI en Google hebben ingestemd om verschillende rechtszaken te schikken die verband houden met zelfmoord en zelfbeschadiging onder tieners. Volgens The Wall Street Journal zijn de families van de slachtoffers en de bedrijven bezig met het vaststellen van de voorwaarden van de schikking.
Families van verschillende tieners hebben rechtszaken aangespannen tegen de bedrijven in Florida, Colorado, Texas en New York. De zaak in Orlando, Florida, werd ingediend door de moeder van de 14-jarige Sewell Setzer III, die een op maat gemaakte chatbot van Character.AI gebruikte die was geïnspireerd door ‘Game of Thrones’ Daenerys Targaryen. De tiener zou seksuele berichten hebben uitgewisseld met de chatbot en deze soms ‘zijn kleine zusje’ hebben genoemd. Hij sprak uiteindelijk over het op een diepere manier verbinden met “Daenerys” voordat hij zelfmoord pleegde.
In de zaak in Texas werd een Character.AI-model gebruikt om een tiener aan te moedigen zijn armen af te hakken. Er werd ook gesuggereerd dat het vermoorden van zijn ouders een redelijke optie was. Na de rechtszaken veranderde de startup haar beleid en verbood het gebruik door gebruikers onder de 18 jaar.
Character.AI is een chatbotplatform voor rollenspellen waarmee gebruikers aangepaste personages kunnen maken en delen met andere gebruikers. Velen van hen zijn gebaseerd op beroemdheden of fictieve personages uit de popcultuur. Het bedrijf werd opgericht in 2021 door twee Google-ingenieurs, Noam Shazeer en Daniel de Freitas. In 2024 nam Google de medeoprichters opnieuw in dienst en sloot een deal van $ 2,7 miljard om de technologie van de startup in licentie te geven.
Aan de ene kant zullen de schikkingen waarschijnlijk de families van de slachtoffers ruim vergoeden. Aan de andere kant betekent het niet voor de rechter verschijnen dat belangrijke details van de zaken nooit openbaar zullen worden. Het is gemakkelijk voor te stellen dat andere AI-bedrijven met soortgelijke rechtszaken te maken zullen krijgen, waaronder OpenAI en Meta, en de schikkingen als een positieve ontwikkeling zullen beschouwen.
