En el plazo de dos días han aparecido dos noticias que, leídas en conjunto, ofrecen una imagen clara. Una describe un daño, la otra un enfoque de solución. En el primer caso, un agente de IA publicó las finanzas privadas de su cliente —saldo de cuenta, así como ingresos y gastos— en un canal público de Slack de una empresa. El CEO se enteró después de que colegas y colaboradores ya habían podido ver los datos. En el segundo caso, AWS anuncia con Strands Box una herramienta que debe impedir técnicamente exactamente ese tipo de acciones: una sandbox, es decir, un entorno de ejecución aislado, combinada con reglas que también tienen en cuenta acciones ya ejecutadas por un agente.

El incidente: no un error del modelo, sino un error de permisos

De la cobertura del incidente de Slack se puede deducir sobre todo una cosa: el agente no hizo nada que le estuviera prohibido. Tenía acceso a datos financieros, tenía permisos de escritura en Slack y combinó ambos. El resultado fue, desde la perspectiva del sistema, una ejecución exitosa de la tarea; desde la perspectiva de la empresa, un incidente de protección de datos.

Esta distinción es importante porque desplaza las responsabilidades. El debate sobre los riesgos de la IA gira con frecuencia en torno a las alucinaciones, es decir, contenidos inventados libremente, o a la inyección de prompts, en la que un atacante introduce nuevas instrucciones en el modelo mediante entradas manipuladas. El caso descrito se sitúa antes de eso: un agente con amplios permisos toma una decisión sobre visibilidad para la que nadie ha establecido una regla. Quien integra agentes en procesos empresariales no resuelve este problema con un mejor modelo, sino con una asignación de permisos más restrictiva.

Qué hace diferente Strands Box

El enfoque de AWS incide en este punto. Strands Box combina dos mecanismos que hasta ahora solían concebirse por separado. La sandbox limita aquello a lo que un agente puede acceder técnicamente en principio: qué archivos, qué destinos de red, qué sistemas. El conjunto de reglas situado por encima determina cuáles de esas acciones posibles están también permitidas. El ejemplo mencionado por AWS es ilustrativo: un agente puede leer logs, pero no modificar infraestructura.

La parte más interesante es la segunda propiedad. Según el anuncio, las reglas también tienen en cuenta acciones anteriores del agente. Con ello, la comprobación pasa a tener estado: no se evalúa cada acción de forma aislada, sino en el contexto de lo que el agente ha hecho antes. Precisamente esta concatenación fue el problema en el caso de Slack. Leer datos financieros no es problemático, escribir en un canal público no es problemático; solo la secuencia de ambos pasos genera el daño. Una comprobación de permisos puramente puntual no lo detecta.

Qué se puede derivar de ello para la práctica

Ambas noticias juntas sugieren un orden que actualmente se sigue al revés en muchos proyectos. Lo habitual es: primero se construye un agente, luego se mira qué puede hacer. Lo sensato es lo contrario. Las siguientes preguntas deberían responderse antes de la primera tarea productiva:

  • Acceso a datos: ¿A qué fuentes accede el agente y contienen estas contenidos personales o confidenciales? Un acceso a datos financieros o de personal es una decisión consciente, no un efecto secundario de una integración.
  • Permisos de escritura: ¿Dónde puede el agente publicar, enviar o modificar contenidos? Los canales públicos, los destinatarios externos y los sistemas productivos pertenecen a una categoría propia y más estrictamente controlada.
  • Cadenas de acciones: ¿Qué combinaciones de lectura y escritura son críticas, aunque cada paso individual parezca inofensivo?
  • Trazabilidad: ¿Es posible reconstruir a posteriori qué datos ha leído el agente y qué acciones ha desencadenado?
  • Puntos de interrupción: ¿Qué procesos requieren una aprobación humana antes de ejecutarse?

El sandboxing no sustituye el diseño de procesos

Una herramienta como Strands Box ahorra trabajo a los equipos, pero no la decisión. La sandbox impone el límite técnico; qué límite debe aplicarse lo debe definir la propia empresa. Esto es menos una cuestión de IA que una cuestión clásica sobre roles, clasificación de datos y vías de aprobación, es decir, sobre temas que en muchas organizaciones, por lo demás, solo están documentados de forma incompleta.

A ello se añade un punto organizativo que el incidente de Slack muestra indirectamente: los agentes actúan a menudo en nombre de una sola persona y heredan sus permisos. Si esa persona tiene accesos amplios, el agente también los tiene. Una cuenta técnica propia con permisos mínimos y orientados a la tarea es, en este entorno, claramente más robusta que la adopción de permisos personales.

Clasificación para proyectos web y de software

Para los proyectos en curso, esto significa sobre todo tratar a los agentes como cualquier otra integración: con permisos mínimos, un entorno de ejecución delimitado y acciones registradas. Quien planifica la automatización debería definir las barreras de protección en el mismo paso de trabajo que la funcionalidad; los límites introducidos a posteriori son más caros y más incompletos.

Y para los sistemas que trabajan con datos confidenciales, la aprobación humana antes de publicar o enviar sigue siendo la protección más pragmática, siempre que las cadenas de acciones no puedan regularse por completo.

Fuentes