IA, adolescentes y conversaciones peligrosas: cuáles son los riesgos y cómo detectar señales de alerta

En Quilmes, provincia de Buenos Aires, un adolescente agarra su celular y abre ChatGPT. Desde hace un tiempo, las conversaciones con el bot giran en torno al tiroteo que está planeando realizar en su colegio. El 19 de agosto, las palabras clave y las amenazas fueron advertidas por el FBI, que dio aviso a la Policía Federal Argentina; no está claro si, antes de eso, la plataforma de OpenAI frenó la charla o le puso trabas.

Si para muchos adultos es complicado navegar las interacciones con la IA, cuyas respuestas suelen estar plagadas de "alucinaciones", datos erróneos y una tendencia excesiva a darle la razón al usuario, estos riesgos se exacerban aún más en el caso de niños y adolescentes. ¿Qué estándar estamos dispuestos a exigirle a una IA cuando el que está detrás del teclado es un menor?

"Si un chico le dijera algo así a un docente o a un familiar, esperaríamos que ese adulto entendiera que la conversación cambió y buscara ayuda. La pregunta es qué debería ocurrir cuando esa misma señal aparece en una conversación con una inteligencia artificial", señaló Daniela Buján, co-creadora de Auroria, una IA pedagógica diseñada exclusivamente para uso escolar.

Según explicó a C5N, el problema va más allá de las alertas que haya o no haya emitido ChatGPT. "La situación no desaparece porque la IA haya bloqueado una respuesta. Sigue habiendo un chico que acaba de expresar algo gravísimo. Una IA puede reconocer una señal, pero cuidar, interpretar el contexto, evaluar e intervenir siguen siendo responsabilidades humanas", reforzó.

Es clave que los adultos acompañen a los chicos en el uso de la IA.

Freepik

Qué riesgos representa el uso de IA para chicos y adolescentes

"Lo primero que tenemos que hacer los padres es informarnos. Antes de darle acceso a un chico a cualquier tecnología, deberíamos saber para quién fue diseñada, qué riesgos tiene y qué impacto puede tener sobre alguien que todavía está formando su autonomía, su criterio y su manera de vincularse con el mundo. Con la IA me parece que todavía estamos subestimando muchísimo esos riesgos", advirtió Buján.

"No estamos hablando solamente de desarrollo cognitivo y de qué pasa cuando una herramienta piensa, escribe o resuelve sistemáticamente por un chico. También tenemos que hablar de dependencia, de uso compulsivo, de impacto emocional y de vínculos que pueden sentirse íntimos aunque del otro lado no haya una persona", enumeró.

La especialista señaló que, en el caso de las redes sociales, el camino fue exactamente el contrario: primero se pusieron en manos de los adolescentes y después, tras acumular evidencia sobre problemas de ansiedad, depresión, autoestima, atención y otros impactos, se empezaron a discutir límites, prohibiciones y responsabilidades de las plataformas. "Llegamos tarde, pero confío en que con la IA todavía tenemos la posibilidad de no repetir la misma historia", sostuvo.

Cuáles son las señales de riesgo que pueden detectar los adultos

Buján advirtió que no existe una señal única que ayude a los padres o maestros a detectar que un chico está haciendo un uso problemático de la IA: la clave es observar patrones y, sobre todo, escuchar. "Cambios bruscos de conducta, aislamiento, irritabilidad extrema, una fijación creciente con la violencia o la venganza, amenazas directas, un deterioro marcado en sus vínculos o incluso una dependencia muy intensa de una IA como espacio de conversación deberían llamarnos la atención", señaló.

"Y si un chico expresa directamente que quiere hacerse daño o hacerle daño a otra persona, ahí ya no estamos frente a una señal para 'seguir observando': estamos frente a algo que requiere intervención adulta inmediata", afirmó. Sin embargo, aclaró que no corresponde trasladar toda la responsabilidad a padres y docentes, porque las empresas que diseñan tecnología para menores también deben hacerse cargo.

¿Qué pasa cuando las conversaciones de un chico con la IA sobrepasan los límites de la plataforma?

Pexels

"No podemos naturalizar un modelo en el que una IA conversa durante horas con un chico, recibe información profundamente sensible y toda la responsabilidad de reconocer que algo grave está ocurriendo queda por fuera del producto. Si construimos tecnologías capaces de generar ese nivel de vínculo, también tenemos que hacernos responsables de pensar qué pasa cuando esa conversación cruza un límite", analizó.

¿Cómo debe ser una IA segura para chicos y adolescentes?

Además de acompañar y conversar con los menores, es importante saber qué características debería tener una tecnología diseñada para ellos. "Lo primero es dejar de pensar la seguridad como una lista de filtros. Que una IA no entregue instrucciones peligrosas es indispensable, pero es apenas el piso", señaló Buján.

"Una IA para chicos debería estar diseñada desde el principio alrededor de su edad, su etapa de desarrollo, su nivel de autonomía y el rol que conservan los adultos que lo acompañan. Tiene que saber poner límites, contradecir cuando corresponde, no reforzar ideas dañinas, no ocupar un rol terapéutico, no fomentar dependencia emocional y reconocer cuándo una conversación dejó de ser algo que la tecnología debería intentar sostener sola", indicó.

Esto es particularmente importante cuando entra en juego un rasgo habitual de la IA: la sycophancy, una tendencia a mostrarse excesivamente de acuerdo con el usuario, acompañar su marco de pensamiento o validar aquello que plantea. Aunque no hay evidencia pública de que haya tenido relación con el caso de Quilmes, para Buján el fenómeno muestra por qué el estándar debe ser mucho más alto cuando la persona que conversa con una IA es un chico o adolescente.

"Una inteligencia artificial para menores no puede estar diseñada únicamente para resultar amable, útil o agradable. Tiene que saber contradecir, poner límites y reconocer que acompañar no significa validar todo lo que una persona dice. Y, sobre todo, tiene que saber que existen conversaciones que no le corresponde sostener sola", concluyó.