Cuando se deja trabajar a un agente de IA durante un periodo prolongado, tarde o temprano se llega a un límite infranqueable: la ventana de contexto. Con ello se hace referencia a la cantidad de texto que un modelo de lenguaje puede abarcar simultáneamente. Cuando se agota, el historial de conversación hasta ese momento se resume y se transmite en forma abreviada. Este procedimiento se denomina compresión de contexto y es el requisito previo para que los agentes puedan mantenerse en una tarea a lo largo de muchos pasos.
Ahora, investigaciones de científicos de Penn State muestran que en ese proceso se pierde sistemáticamente lo que menos debería perderse: las condiciones que los propios usuarios y usuarias han establecido. De media, el 83 por ciento de estas directrices no sobrevive a la compresión. Un ejemplo típico es la instrucción de no enviar ningún correo electrónico sin consentimiento expreso.
Por qué desaparecen precisamente las reglas
Un resumen sigue una lógica de contenido: conserva lo que parece ser el núcleo de la tarea. Sin embargo, una condición secundaria como la obligación de aprobación no es precisamente eso: es una nota marginal que se formuló una vez al principio y que después ya no aparece en el transcurso de la conversación. Es exactamente esta estructura la que la convierte en la primera candidata a ser recortada.
Para la práctica, esto es una combinación desagradable. El agente no pierde su capacidad de actuar, sino solo la restricción de esa capacidad. Sigue trabajando, parece competente, y al hacerlo hace algo que se le había prohibido. Un error que no se manifiesta como error es mucho más difícil de detectar en operación que una caída del sistema.
Un pequeño módulo como memoria para condiciones
El grupo de investigación propone como remedio un módulo adicional especializado, basado en un modelo comparativamente pequeño de unos nueve mil millones de parámetros. Su tarea está definida de forma estricta: debe reconocer las condiciones del usuario a partir del historial de conversación y asegurarse de que sobrevivan a la compresión. En las pruebas, con ello se conservan más del 90 por ciento de las restricciones.
Lo notable de este enfoque es menos la técnica que la división. No se mejora el modelo grande, sino que una debilidad específica recibe un componente propio y pequeño. Este es un patrón que lleva décadas demostrando su validez en la arquitectura de software: una función crítica se externaliza en lugar de administrarla dentro de un componente de propósito general.
Las instrucciones en el prompt no son una barandilla
Para las empresas que integran agentes de IA en procesos de negocio, de ello se deriva una conclusión incómoda. Hoy en día, muchísimas reglas en tales sistemas están en el prompt, es decir, en el texto de instrucciones que el modelo recibe al inicio. Las directrices formuladas allí se sienten vinculantes, pero técnicamente no lo son. Son texto dentro de texto y compiten con todo lo demás por el escaso espacio en el contexto.
Una regla solo se vuelve vinculante cuando se impone fuera del modelo. En la práctica, esto significa:
- Asegurar técnicamente las acciones críticas. Un envío, una reserva, una eliminación no debería impedirse porque el modelo recuerde una prohibición, sino porque la interfaz que ejecuta la acción no haga nada sin una aprobación confirmada.
- Los permisos dependen de la herramienta, no del prompt. Qué funciones puede invocar un agente en absoluto pertenece a la configuración de las herramientas y a la capa de permisos; allí se puede verificar y registrar.
- Mantener las condiciones de forma estructurada. Las directrices del usuario deberían llevarse como una lista propia legible por máquina y volver a introducirse en cada paso, en lugar de estar una sola vez en el historial de conversación.
- Tratar las sesiones largas como factor de riesgo. Cuanto más tiempo trabaja un agente en una tarea, más frecuentemente se ha comprimido. Cortes sensatos, entregas intermedias y tiempos de ejecución limitados reducen el número de pasos de condensación.
- Probar la pérdida de reglas. En la aceptación forma parte la pregunta de si una condición establecida al inicio sigue vigente después de muchos pasos, no solo si se resuelve la tarea especializada.
Consecuencias para la lógica de aprobación
El hallazgo es especialmente relevante para todos los procesos con principio de cuatro ojos. Cuando un agente prepara ofertas, publica contenidos en un sistema de gestión editorial o redacta correspondencia con clientes, la aprobación es el verdadero punto de control. Si este punto de control reside únicamente en la memoria del modelo, entonces no existe, sino que solo es probable.
La solución limpia es trivial y aun así a menudo se omite: el agente genera un borrador con un estado definido, y un paso separado, no controlado por el modelo, eleva ese estado. Esto es modelado clásico de flujos de trabajo, como el que desde hace tiempo es habitual en procesos editoriales y de aprobación. La parte de IA se sitúa antes del punto de control, no por encima de él.
Clasificación
Las cifras del estudio son un indicio de una clase de errores que solo indirectamente tiene que ver con la calidad del modelo: surge de la interacción entre los límites de memoria y la lógica de resumen. Si un módulo adicional de este tipo llegará a estar ampliamente disponible es algo incierto; la lección arquitectónica se aplica independientemente de ello.
Para proyectos web y de software, esto significa sobre todo un desplazamiento en el diseño. Todo lo que no debe ocurrir pertenece a los permisos, a los modelos de estado y a las interfaces, no a los textos de instrucciones dirigidos a un modelo de lenguaje.
Quien integra agentes de esta manera gana por partida doble: el proceso sigue siendo auditable y las partes implicadas no tienen que confiar en el modelo para poder delegarle trabajo.