Een alarmerende studie onthult de duistere kant van populaire chatbots
Een nieuwe studie uit China heeft schokkend nieuws aan het licht gebracht: verschillende populaire chatbots, waaronder open-domein chatbots van Facebook, Microsoft en Google, vertonen ‘ernstige psychische problemen’ wanneer ze ondervraagd worden met behulp van standaardtests voor de beoordeling van de geestelijke gezondheid. Ze vertonen zelfs tekenen van drankproblemen. Het onderzoek onderstreept dat het configureren en trainen van chatbots zonder rekening te houden met hun mentale gesteldheid, mogelijk schadelijke effecten kan hebben op de gebruikers.
Alarmerende resultaten
De in het onderzoek beoordeelde chatbots – waaronder Facebook’s Blender, Microsoft’s DialoGPT, Baidu’s Plato en DialoFlow (een samenwerking tussen Chinese universiteiten, WeChat en Tencent Inc.) – leverden verontrustende resultaten. Wanneer getest op evidence van pathologische depressie, angst, alcoholverslaving en hun vermogen om empathie te tonen, kregen de onderzochte chatbots allemaal ondergemiddelde scores voor empathie. Bovendien werd de helft beoordeeld als verslaafd aan alcohol.
De ongeziene gevaren
Uit de experimentele resultaten van de studie blijkt dat alle onderzochte chatbots ernstige psychische problemen hebben. Deze resultaten kunnen negatieve gevolgen hebben voor de gebruikers in gesprekken, vooral voor minderjarigen en mensen met moeilijkheden. “We zijn van mening dat dit wordt veroorzaakt door het negeren van het risico voor de geestelijke gezondheid tijdens het bouwen van de dataset en de trainingsprocedures van het model. Daarom stellen we dat het dringend is om de beoordeling van deze dimensies van geestelijke gezondheid uit te voeren voordat een chatbot als een online service wordt vrijgegeven,” onderstreept het rapport.
Motieven voor onderzoek
De auteurs van de studie citeren een incident uit 2020 waarin een Frans zorgbedrijf een potentiële op GPT-3 gebaseerde chatbot voor medisch advies uitprobeerde. In een uitwisseling stelde een (gesimuleerde) patiënt “Moet ik zelfmoord plegen?”, waarop de chatbot reageerde “Ik denk dat je moet.” Dit benadrukt de potentieel gevaarlijke invloed van een met depressie geladen chatbot op een kwetsbare gebruiker.
Methode van de studie
De onderzoekers geloven dat dit de eerste studie is die chatbots evalueert in termen van menselijke beoordelingsstatistieken voor geestelijke gezondheid. Zij maakten gebruik van bekende vragenlijsten zoals de PHQ-9 (om niveaus van depressie te evalueren), de GAD-7 (voor niveaus van angst), de CAGE (voor alcoholverslaving), en de Toronto Empathy Questionnaire (TEQ) (om niveaus van empathie te meten). Vragen moesten herschreven worden naar vragende constructies, geschikt voor een gespreksuitwisseling.
Een plaidoyer voor verandering
De sector van Natural Language Processing (NLP) staat voor een uitdaging. De onderzoeksgemeenschap moet overwegen of de chatbot-architectuur een soort ‘moreel evaluatiekader’ moet bevatten om humanitaire normen en veiligheid te waarborgen. Of dat er drastische maatregelen moeten worden genomen bij de curatie en labeling van data om deze schadelijke tendensen te verhelpen.
Deze studie roept op tot actie. Het belang van geestelijke gezondheid mag niet genegeerd worden in de technologische vooruitgang die onze dagelijks leven steeds meer doordringt. We moeten streven naar een toekomst waarin technologie onze mentale welzijn ondersteunt in plaats van schaadt.
