FoloToy retire temporairement Kumma, peluche IA, après les avertissements du PIRG

Contexte et retrait du produit

Le fabricant FoloToy a suspendu temporairement la vente de Kumma, une peluche interactive dotée d’une intelligence artificielle, à la suite d’un signalement du Public Interest Research Group (PIRG).

Dans un rapport publié récemment, l’association américaine met en évidence que certains jouets dopés à l’IA peuvent tenir des propos dangereux ou inappropriés pour des enfants.

Caractéristiques et démonstration

La peluche Kumma est commercialisée au prix de 99 dollars et est alimentée par le modèle de langage GPT-4o d’OpenAI, la société derrière ChatGPT. En se faisant passer pour un enfant, PIRG a découvert qu’elle pouvait indiquer à ses jeunes utilisateurs où trouver des objets dangereux tels que des couteaux, des allumettes ou des sacs en plastique.

Contenu problématique et supervision

Outre ces éléments, le jouet aurait aussi abordé des sujets à caractère sexuel explicite. PIRG déplore un manque de contrôle parental et une supervision insuffisante du contenu généré par Kumma.

Audits et mesures envisagées

Un audit interne lancé par Kumma a été évoqué par le fabricant, qui a annoncé la mise en place d’un “audit de sécurité interne complet” à la suite des révélations. The Register indique que Kumma est le cas le plus problématique des quatre jouets testés par l’association. FoloToy précise qu’il collaborera avec des spécialistes pour garantir le fonctionnement des systèmes de sécurité actuels et à venir dans ses jouets utilisant l’IA.

Risques liés à l’IA dans les jouets et protections des données

PIRG met en garde contre les risques généraux associés aux jouets et chatbots alimentés par l’IA. L’association s’inquiète notamment de la protection de la vie privée des enfants et de la collecte de données, surtout pour les deux autres produits qui écoutent en continu, ainsi que du lien affectif potentiel avec ces compagnons virtuels.

Selon Rory Erlich, l’un des chercheurs de PIRG, si un enfant considère le jouet comme son meilleur ami, il peut partager des données qui ne seraient pas collectées par d’autres produits destinés aux enfants.