Cela fait quelques temps que les spécialistes alertent sur les effets pervers de l’IA. ChatGPT vient d’être mis en cause dans le suicide d’un adolescent. Face à ce drame, OpenAI a décidé de prendre des mesures concrètes, dont la mise en place d’un contrôle parental.

De plus en plus de gens, et a fortiori les jeunes, recourent à l’IA pour confier leurs problèmes plutôt qu’à des psychologues. Le succès du chatbot Psychologist du site Character.ai l’an dernier le suggérait déjà. Cette tendance est probablement corrélée à l’augmentation des troubles de santé mentale et au manque de professionnels. Pour autant, Sam Altman, le patron d’OpenAI, le disait lui-même : il ne confierait pas sa santé à ChatGPT sans la supervision d’un médecin.

À raison. ChatGPT est actuellement mis en cause dans le suicide d’un adolescent, selon nos confrères de Neowin. En réponse à sa détresse, le chatbot lui aurait proposé de rédiger une lettre d’adieu et d’envisager un « beau suicide », plutôt que de l’orienter vers des dispositifs de prévention. Face à cette tragédie, OpenAI va introduire des contrôles parentaux dans ChatGPT.

OpenAI introduit des contrôles parentaux dans ChatGPT pour préserver la santé mentale des jeunes

Avant même cette tragédie, le patron de la maison-mère de ChatGPT partageait ses inquiétudes liées à la dépendance de certains utilisateurs à l’IA – OpenAI avait même proposé une mise à jour pour préserver leur santé mentale. Les détails de ce drame sont glaçants et les conclusions restent à tirer. L’entreprise a annoncé plusieurs mesures concrètes pour améliorer la détection et la prise en charge de la détresse émotionnelle, et qu’elle partagerait d’ici les quatre prochains mois ses avancées.

L’entreprise collabore désormais avec l’Expert Council on Well-Being and AI, pour orienter l’évolution de ses produits selon le bien-être mesuré. Elle va également étendre son Global Physician Network afin de s’appuyer sur l’expertise de spécialistes dans divers domaines (troubles alimentaires, santé des jeunes, addictions) pour optimiser l’entraînement de ses modèles et améliorer la recherche.

ChatGPT connaîtra lui-même des améliorations, comme celle de son routage afin de réorienter automatiquement vers GPT-5 et ses réponses plus réfléchies toute conversation identifiée comme présentant des signaux de « détresse aiguë ». Et dès le mois prochain, OpenAI va déployer des contrôles parentaux dans ChatGPT.

Le but ? Permettre aux parents de lier leur compte et celui de leur adolescent, configurer la manière dont ChatGPT leur répond en fonction de règles comportementales activées par défaut, et recevoir une notification quand le chatbot détecte un signal de « détresse aiguë ». OpenAI n'a pas encore précisé les critères de ce système d’alerte, mais assure que des experts guideront le processus.