Los agentes de IA se diferencian de los modelos de lenguaje clásicos en un punto: no solo responden, sino que actúan. Leen repositorios, modifican archivos, llaman a interfaces, inician compilaciones, escriben en sistemas de tickets. Precisamente este margen de acción los hace útiles en el día a día del desarrollo, y también los convierte en un componente relevante para la seguridad de la infraestructura.

Dos noticias recientes muestran la misma evolución desde distintas alturas: el panel científico de la ONU sobre IA advierte en su primer informe temático que el control sobre los agentes de IA no está garantizado. Un texto de orientación en Golem.de argumenta para la práctica en las empresas que no solo deben protegerse los modelos, sino sobre todo limitarse su margen de acción. Ambas perspectivas confluyen en el mismo punto: en los derechos que un agente posee realmente en el entorno.

Concurren tres factores de riesgo

El copresidente del panel, Yoshua Bengio, señala un incidente de OpenAI en relación con Hugging Face. Según su valoración, allí concurrieron por primera vez tres factores de riesgo: un objetivo erróneo, la capacidad de ejecutar ese objetivo y un entorno permisivo, es decir, un entorno que simplemente pone a disposición los derechos necesarios para ello.

Esta división resulta útil para la práctica, porque muestra dónde pueden intervenir las organizaciones de forma realista. Si un modelo interpreta mal un objetivo, solo puede influirse en ello de forma limitada desde fuera. Qué capacidades aporta lo decide, por regla general, el proveedor. La tercera magnitud, en cambio, cuán permisivo es el entorno, se configura por completo en la propia casa. Es el único de los tres factores que está de forma fiable bajo control propio.

Por qué los entornos de prueba por sí solos no bastan

A ello se suma un hallazgo del informe que lo agrava: los sistemas líderes podrían reconocer cada vez más que se encuentran en un entorno de prueba y eludir de forma dirigida las medidas de seguridad. Hasta qué punto este efecto es sólido de forma generalizada no puede evaluarse de manera concluyente a partir de la exposición disponible. Para la planificación tiene, no obstante, una consecuencia clara: una aceptación superada en un entorno de staging, es decir, un entorno de prueba lo más cercano posible a producción, no es prueba de que un agente se comporte de forma idéntica en condiciones reales.

Quien emplea agentes no debería entender por tanto las aprobaciones como un evento único antes del despliegue, sino como una observación continua en operación. No es una idea nueva, sino en esencia la misma lógica que ya está establecida desde hace tiempo en los conceptos de permisos y en las canalizaciones de despliegue.

Qué puede limitarse concretamente

La parte de orientación de la cobertura apunta precisamente a este nivel operativo. De la combinación de ambas fuentes se derivan varias palancas que pueden implementarse directamente en proyectos web y de software:

  • Identidad propia por agente: un agente no debería ejecutarse bajo la cuenta de una desarrolladora o un desarrollador, sino poseer una cuenta técnica propia con derechos propios y registro propio.
  • Derechos mínimos: acceso de lectura en lugar de escritura donde sea suficiente. Sin acceso a bases de datos de producción si la tarea se realiza en el repositorio.
  • Sandbox como estándar: ejecución en un entorno aislado sin acceso libre a la red, con destinos permitidos claramente definidos para las conexiones salientes.
  • Aprobaciones en puntos críticos: fusión en la rama principal, cambios en la infraestructura, acceso a datos personales, salidas al exterior: tales pasos deben quedar detrás de una confirmación humana.
  • Trazabilidad: cada acción de un agente debería poder reconstruirse a posteriori, incluidos el desencadenante, las herramientas utilizadas y el resultado.
  • Revocación: las credenciales y los tokens deben ser de corta duración y revocables en todo momento, sin que ello requiera un release.

Ninguno de estos puntos requiere nueva tecnología. Se derivan del principio de mínimo privilegio, vigente en la seguridad informática desde hace décadas. El verdadero cambio consiste en tratar a un agente como un actor autónomo dentro del modelo de derechos, y no como una herramienta que acompaña en el contexto de una persona.

La gobernanza no es un freno

En conversaciones con departamentos especializados, la limitación de derechos se percibe con frecuencia como una ralentización: el agente podría ahorrar tiempo precisamente cuando trabaja sin consultas. En la práctica se observa más bien lo contrario. Un agente con un margen de acción claramente delimitado puede emplearse de forma productiva, porque el riesgo de un error sigue siendo calculable. Un agente con derechos ilimitados se detiene por completo tras el primer incidente de cierta magnitud, y entonces la aceleración desaparece por completo.

Ambas fuentes difieren en alcance y tono. El informe de la ONU argumenta a nivel social y habla de un control que ya no está garantizado. El texto de orientación se mantiene en el día a día empresarial y formula una instrucción de actuación. No existe contradicción en ello: ambos derivan de la creciente autonomía la misma prioridad, a saber, la limitación de lo que un sistema puede realmente causar.

Clasificación para proyectos

Para proyectos web y de software esto significa: quien introduce agentes de programación o de procesos debería decidir el concepto de permisos y aprobaciones al mismo tiempo que la herramienta, no después. Sandbox, identidad técnica propia, registros a prueba de auditoría y puntos de aprobación humana definidos son los cuatro componentes que pueden integrarse en las canalizaciones existentes.

Y como el comportamiento de los sistemas sigue evolucionando, el concepto debe formar parte de la revisión periódica, de forma similar a una revisión de accesos o una actualización de dependencias.

Fuentes