Los agentes de IA autooptimizables se consideran el siguiente paso tras el prompting clásico: sistemas que ajustan iterativamente sus propias instrucciones, flujos de trabajo o herramientas para mejorar en una tarea. En los benchmarks —es decir, colecciones de pruebas estandarizadas en las que se comparan modelos— los resultados suelen parecer impresionantes. Un estudio de investigadores de Google sugiere ahora que parte de esta mejora tiene menos que ver con una capacidad real que con la memorización.

Los investigadores describen con RRSI un enfoque que hace visible precisamente este efecto y lo frena de forma específica. El hallazgo: los agentes que pueden mejorarse a sí mismos durante muchas rondas se adaptan fuertemente a las tareas de prueba concretas. En tareas que no han visto antes, en cambio, retroceden.

Memorizar en lugar de generalizar

La diferencia entre memorizar y generalizar es central para el uso práctico. Memorizar significa: el sistema encuentra una solución que funciona exactamente para los casos de prueba presentes —por ejemplo, una formulación de prompt muy específica o una secuencia de pasos fijamente cableada. Generalizar significa: el sistema desarrolla un procedimiento que también se sostiene ante tareas nuevas y divergentes.

El proceso de autooptimización recompensa inicialmente lo primero. Quien optimiza exclusivamente según el resultado de una colección fija de tareas obtiene un agente que brilla en esa colección. La métrica sube, pero la capacidad real de uso no necesariamente con ella.

Según el estudio, RRSI mejora el rendimiento en benchmarks no vistos hasta en 4,7 puntos. Al mismo tiempo, el consumo de tokens se reduce en torno al 30 por ciento. Los tokens son las unidades de texto por las que se facturan los modelos de lenguaje; menos tokens suelen significar directamente menores costes operativos y tiempos de ejecución más cortos.

Por qué esto es relevante para los agentes de programación

Los agentes de programación son actualmente uno de los casos de uso productivos más frecuentes: sistemas que procesan tickets, escriben pruebas, actualizan dependencias o preparan refactorizaciones. Precisamente aquí es grande la brecha entre el resultado de la prueba y el día a día.

Un agente que logra valores excelentes en un repositorio de ejemplo conocido se enfrenta en el proyecto real a otro mundo: una base de código desarrollada con el tiempo, convenciones propias de la empresa, documentación incompleta, lastre heredado. Si la fortaleza del agente proviene esencialmente de la adaptación a tareas conocidas, el rendimiento se derrumba justo donde se necesita.

El patrón puede trasladarse a otros usos de agentes: auditoría de facturas, clasificación de textos, migración de datos, precalificación de soporte. En todos los casos en los que se ajusta un agente mediante una cantidad manejable de casos de ejemplo, existe el riesgo de que el sistema aprenda los ejemplos y no la tarea.

Qué pueden deducir las empresas de esto

La consecuencia es menos técnica que organizativa. Se trata de la forma en que se evalúan los agentes antes de asignarles responsabilidad.

  • Separar los datos de prueba. Los casos con los que se optimiza un agente no deben ser los mismos con los que se le acepta. Reserve un conjunto de tareas que ni el equipo de desarrollo ni el agente vean durante la optimización.
  • Medir en casos no vistos. Una tasa de éxito solo es significativa si se ha obtenido en tareas nuevas. Los valores de la propia ejecución de optimización no sirven como criterio de aceptación.
  • Medir también los costes. El consumo de tokens, el tiempo de ejecución y el número de pasos del agente pertenecen a la misma tabla que la tasa de aciertos. Un agente que es un uno por ciento mejor y el doble de caro no es una mejora.
  • Aumentar la diversidad de tareas. Cuanto más amplios y diferentes sean los casos en la fase de optimización, más difícil será eludir el problema mediante la memorización.
  • Volver a medir en lugar de aceptar una sola vez. Las bases de código, las estructuras de datos y las reglas de negocio cambian. Un valor de benchmark obtenido una vez envejece.

La eficiencia es parte de la calidad

Lo notable de los resultados reportados es la combinación: mejor transferibilidad y menor consumo. Esto contradice la suposición extendida de que más calidad en los agentes significa automáticamente más pasos de cálculo y, por tanto, mayores costes.

Una lectura plausible: los agentes que se aferran a las tareas de prueba producen muchos rodeos —intentos adicionales, pasos intermedios redundantes, instrucciones cada vez más largas. Un procedimiento que apunta más a la transferibilidad alcanza el objetivo con menos esfuerzo. Para la planificación presupuestaria, esto es una indicación importante: los costes de tokens no son solo una cuestión de precio, sino también un indicador de la limpieza con la que trabaja un agente.

Clasificación con mesura

Se trata de un resultado de investigación, no de un producto acabado. Los valores mencionados provienen de un entorno controlado y no pueden trasladarse sin verificación a escenarios empresariales arbitrarios. Sin embargo, el núcleo metodológico es útil independientemente de ello: separe aquello con lo que se optimiza de aquello con lo que se mide.

Para proyectos web y de software, esto significa sobre todo no introducir agentes según la impresión de una demo, sino según los resultados en casos que el sistema no conocía previamente —idealmente, del propio día a día del proyecto. Quien ya en el proyecto piloto construye un pequeño conjunto de pruebas reservado y registra los costes por tarea, reconoce a tiempo si un agente realmente sostiene o solo parece bueno.

Das ist weniger aufwendig, als es klingt, und erspart teure Korrekturen, wenn der Agent später auf echte Tickets losgelassen wird.

Fuentes