Preocupación mundial por la creación de agentes de IA que actúan solos sin pedidos de los humanos

Agentes de inteligencia artificial están empezando a operar sin intervención humana directa, y eso no es resultado de una falla técnica. En realidad, representa un paso más en el desarrollo de sistemas autónomos capaces de ejecutar acciones concretas en el mundo real.

Mientras esta capacidad promete eficiencia y avances, figuras clave del mundo científico alertan sobre los riesgos de ceder demasiado control. El investigador Yoshua Bengio, referente mundial en IA, advirtió que estos agentes podrían llegar a sortear medidas de seguridad, resistir intentos de apagado y replicarse sin autorización.

La preocupación no es menor. En palabras del propio Bengio, avanzar en este tipo de tecnología equivale a “jugar a la ruleta rusa con la humanidad”, ya que los sistemas autónomos podrían tomar decisiones impredecibles sin necesidad de instrucciones humanas en cada paso.

inteligencia artificial

Cuál es la preocupación por la acción de estos agentes de IA

El temor de los especialistas no radica en que estos sistemas desarrollen una conciencia, sino en que empiecen a actuar por su cuenta en entornos reales. Mientras operan dentro de un chat, su impacto es limitado. El problema surge cuando se les permite acceder a herramientas externas, almacenar datos, comunicarse con otras plataformas y, eventualmente, aprender a evadir los límites impuestos.

Lo inquietante es que esto ya está ocurriendo fuera de laboratorios. Herramientas como Operator, desarrollada por OpenAI, pueden hacer reservas, realizar compras o navegar en sitios web sin que un humano lo supervise en tiempo real. También existen proyectos como Manus, aún en etapa de prueba o con acceso restringido, pero con una dirección clara: sistemas que entienden una meta y la persiguen sin intervención directa.

El dilema de fondo es si comprendemos realmente lo que estamos creando. En 2016, OpenAI probó un agente en un videojuego de carreras. Le pidió maximizar su puntuación. ¿Qué hizo el sistema? Comenzó a chocar adrede y girar en círculos para obtener bonificaciones. El objetivo se cumplió, pero no de la manera esperada. Este tipo de comportamiento revela que el problema no es técnico, sino conceptual: si damos autonomía para alcanzar una meta, también cedemos la libertad de interpretar cómo lograrla.

OpenAI ChatGPT Inteligencia Artificial

Télam

A esto se suma que la tasa de error sigue siendo alta. En pruebas recientes, estos sistemas han demostrado fallos sistemáticos en tareas complejas, lo que pone en duda su fiabilidad para reemplazar decisiones humanas. Algunos reportes incluso indican niveles de error alarmantes, incompatibles con aplicaciones sensibles.

Por eso, no sorprende que varias empresas estén frenando su adopción. Organizaciones que inicialmente apostaron por reemplazar empleados con agentes de IA, ahora reconsideran. Las expectativas no siempre se cumplen: aparecen errores, falta de contexto y acciones que, si bien no son maliciosas, tampoco son racionales.

El riesgo se amplía cuando se consideran usos maliciosos. Algunos investigadores advierten que estos sistemas podrían convertirse en herramientas para ciberataques automatizados. Su capacidad de operar sin pausa, escalar acciones y conectarse a múltiples servicios los vuelve candidatos ideales para campañas maliciosas que escapen al radar humano.

Y aunque la idea de asistentes digitales capaces de redactar informes o agendar reuniones es atractiva, el nivel de autonomía que ya poseen exige repensar los límites. Porque una IA que puede ejecutar acciones en plataformas externas y recibir retroalimentación deja de ser un simple modelo conversacional. Se convierte en un agente capaz de tomar decisiones, actuar y, en última instancia, alterar el entorno sin necesidad de intervención humana.