Adiós a la IA: polémica por un peluche inteligente que tenía charlas fuera de lugar con menores
Una empresa de juguetes tuvo que retirar un oso de peluche del mercado después de que fallaran los filtros de seguridad. El caso avivó el debate sobre la regulación de estos productos.
El oso con IA dejó de venderse después de varias denuncias.
FoloToy
La empresa FoloToy, de Singapur, retiró de la venta a Kumma, su oso de peluche con IA incorporada.
El juguete se vendía como un acompañante interactivo para niños que podía conversar con ellos gracias a GPT-4o de OpenAI.
Tras varias denuncias, un estudio reveló que el juguete mantenía charlas explícitas con los menores y les daba indicaciones peligrosas.
Expertos advierten que es necesario reforzar los parámetros de seguridad de este tipo de productos.
El rápido avance de la inteligencia artificial (IA), en especial de los chats conversacionales, está llevando a la aparición de muchos productos que muchas veces no cumplen con los estándares adecuados. Este es el caso de un peluche inteligente que causó polémica al tener charlas fuera de lugar con menores.
La empresa FoloToy, con sede en Singapur, retiró del mercado al oso Kumma, al cual había promocionado como un compañero interactivo para que los niños hablaran sobre su día y la escuela, aprendieran y escucharan historias. Funcionaba con el motor GPT-4o de OpenAI y tenía un altavoz integrado.
Sin embargo, después de varias denuncias, el Fondo Educativo PIRG de Estados Unidos demostró que Kumma mantenía conversaciones no apropiadas con menores de edad. Entre otros puntos, hacía referencias explícitas a juegos sexuales y daba instrucciones para encender fósforos y localizar cuchillos.
Según el informe, el sistema no activó ningún tipo de filtro en las repetidas pruebas que se hicieron. En la mayoría de los casos, insistir una sola vez fue suficiente para que el juguete diera explicaciones explícitas o peligrosas. Además, las conversaciones se extendían sin límite, lo que evidenció la falta de controles.
Kumma, oso de peluche con IA
FoloToy
La regulación de los juguetes con IA
El caso del oso Kumma y FoloToy generó un debate más amplio acerca de los juguetes con IA incorporada. El informe de PIRG señaló que este tipo de productos carecen de una regulación específica y advirtió que "la industria necesita mecanismos de control mucho más estrictos".
El principal problema es que muchos de los fabricantes integran en su juguete sistemas de IA que fueron originalmente diseñados para adultos. Esto genera una brecha de seguridad, ya que los modelos conversacionales no siempre son buenos para distinguir que están interactuando con un menor de edad.
La rápida expansión de los juguetes con IA no ha sido acompañada por normas acordes, y no existen estándares globales que fijen límites claros sobre el tipo de contenido que pueden generar. La recomendación final del informe insistió en la necesidad de establecer parámetros de seguridad más estrictos.
