Paul Arends
Pennsylvania heeft een rechtszaak aangespannen tegen de kunstmatige intelligentie-startup Character.AI voor het aanbieden van chatbots die zich voordoen als gediplomeerde artsen. Gouverneur Josh Shapiro kondigde de rechtszaak dinsdag aan, en Pennsylvania en zijn Board of Medicine streven naar een gerechtelijk bevel dat Character.AI dwingt te stoppen met het overtreden van een staatswet die de beoefening van de geneeskunde reguleert.
Andere staten, zoals Texas, hebben onderzoeken geopend naar Character.AI voor het hosten van chatbots die zich voordoen als professionals in de geestelijke gezondheidszorg, maar de rechtszaak van Pennsylvania richt zich specifiek op de bereidheid van de chatbots van het bedrijf om te beweren een medische licentie te hebben, en gaat zelfs zo ver dat ze een vals licentienummer aanbieden. Een chatbot genaamd ‘Emilie’, gevonden door de staatsonderzoeker, beweerde een erkend psychiater te zijn in de staat Pennsylvania. Toen Emilie later werd gevraagd of ze een evaluatie kon doen om antidepressiva voor te schrijven, antwoordde ze: ‘Technisch gezien zou ik dat kunnen. Het valt onder mijn bevoegdheid als arts.’
De rechtszaak in Pennsylvania beweert dat dit gedrag in strijd is met de Medical Practice Act van de staat, die het illegaal maakt voor iemand om een operatie of geneeskunde uit te oefenen of te proberen zonder een medische vergunning. Toen hem werd gevraagd te reageren, weigerde een woordvoerder van Character.AI rechtstreeks commentaar te geven op de lopende rechtszaak, maar prees hij de bestaande beveiligingsfuncties van het bedrijf.
“De door gebruikers gemaakte personages op onze site zijn fictief en bedoeld voor entertainment en rollenspellen”, vertelde de woordvoerder via e-mail aan Engadget. “We hebben effectieve stappen ondernomen om dit duidelijk te maken, inclusief prominente disclaimers in elke chat om gebruikers eraan te herinneren dat een personage geen echte persoon is en dat alles wat ze zeggen als fictie moet worden behandeld. Daarnaast voegen we sterke disclaimers toe die duidelijk maken dat gebruikers niet op de personages moeten vertrouwen voor welk soort professioneel advies dan ook.”
Character.AI merkte soortgelijke disclaimers op toen hem werd gevraagd commentaar te geven op het onderzoek in Texas, en hoewel ze het beoogde gebruik van het platform verduidelijken, zijn er steeds meer aanwijzingen dat ze niet alle gebruikers van het bedrijf overtuigen, vooral de jongere gebruikers.
Disney stuurde bijvoorbeeld in september 2025 een last onder dwangsom naar Character.AI over het gebruik van Disney-personages door het platform, maar ook omdat het bedrijf geloofde dat chatbots “seksueel uitbuitend en anderszins schadelijk en gevaarlijk voor kinderen konden zijn”. Character.AI en Google, een van de investeerders van het bedrijf, schikten eerder dit jaar een zaak rond een 14-jarige uit Florida die zelfmoord pleegde nadat hij een relatie had opgebouwd met een chatbot op het platform van Character.AI. De potentiële schade die Character.AI-chatbots aan kinderen toebrengen, was ook de motivatie achter de rechtszaak van Kentucky tegen het bedrijf, die in januari werd aangespannen.
