Las funciones de IA están pasando actualmente en masa de los prototipos a las aplicaciones web productivas: asistentes de búsqueda, generadores de texto, agentes que rellenan formularios previamente o clasifican previamente tickets. En cuanto estas funciones llegan a usuarios y usuarias reales, surge una pregunta que en el prototipo aún podía ignorarse: ¿qué ocurrió exactamente cuando el sistema dio una respuesta incorrecta?
Justo en este punto interviene la versión 1.0.0 de OpenObserve. La plataforma incorpora un entorno propio de observabilidad para aplicaciones con grandes modelos de lenguaje. A ello se suman alertas ampliadas, soporte para Service Level Objectives y consultas más rápidas con PromQL.
La observabilidad es más que el monitoreo
El monitoreo responde a la pregunta de si un sistema está funcionando: ¿es accesible el servicio, cuál es el tiempo de respuesta, cuánto espacio libre queda en el disco? La observabilidad apunta a la pregunta de por qué un sistema se comporta como se comporta. Para ello se combinan valores de medición, datos de registro y trazas de ejecución de solicitudes individuales, de modo que un incidente concreto pueda reconstruirse a posteriori.
En las aplicaciones web clásicas esta diferencia resulta incómoda, pero manejable. En las aplicaciones de IA se convierte en el problema central. Un modelo de lenguaje no necesariamente entrega la misma salida para la misma entrada. No hay ningún stacktrace que explique por qué una respuesta está equivocada en cuanto a contenido. Y entre la entrada del usuario y la respuesta emitida suelen mediar varios pasos intermedios: una búsqueda en una base de conocimiento, una llamada a una herramienta, una segunda llamada al modelo que resume el resultado intermedio.
Dónde suelen fallar los agentes
Cuando una respuesta resulta incorrecta, el modelo en sí es solo una de varias causas posibles. En la práctica, las fuentes de error se distribuyen a lo largo de toda la cadena:
- Contexto: La consulta de conocimiento entregó los fragmentos de texto equivocados o desactualizados. El modelo trabajó correctamente, con material deficiente.
- Prompt: Un cambio en la instrucción tiene efectos secundarios en lugares en los que nadie pensó durante las pruebas.
- Llamadas a herramientas: Un servicio conectado responde lentamente, con un error o en un formato inesperado.
- Cancelación y repetición: Los tiempos de espera agotados provocan reintentos que multiplican los costos y la latencia sin que ello sea visible en el frontend.
- Cambio de modelo: Un proveedor actualiza un modelo y el comportamiento se desplaza aunque no se haya cambiado nada en el código propio.
Sin una trazabilidad integral de estos pasos, la búsqueda de errores se convierte en conjeturas. Precisamente por eso, un entorno especialmente adaptado a aplicaciones LLM es más que una característica de comodidad: decide si una función de IA se opera o solo se espera que funcione.
Los SLO aportan obligatoriedad al debate
El segundo componente relevante de la nueva versión son los Service Level Objectives. Un SLO es un objetivo de calidad medible para un servicio, por ejemplo referido a la disponibilidad o al tiempo de respuesta durante un periodo definido. El valor de esta técnica reside menos en la cifra en sí que en el debate que obliga a mantener: ¿qué calidad debe un feature a sus usuarios en realidad, y cuánta desviación es tolerable antes de que el equipo deba reaccionar?
Para las funciones de IA esto es especialmente útil porque se evalúan mal de forma binaria. Un asistente rara vez está simplemente «defectuoso». Se vuelve más lento, más caro o menos preciso. Los SLO convierten esta zona gris en una magnitud verificable y dan a los equipos una base para decidir cuándo un deterioro es un caso para el servicio de guardia y cuándo para la próxima planificación de sprint.
Las alertas ampliadas lo complementan. Lo decisivo no es la cantidad de notificaciones, sino su tasa de acierto: quien recibe demasiadas alertas las ignora. Quien define demasiado pocas se entera de los problemas por las llamadas de los clientes.
La velocidad de consulta no es un asunto secundario
Que OpenObserve haya acelerado las consultas PromQL suena a un detalle técnico. PromQL es el lenguaje de consulta con el que se pueden evaluar series temporales, es decir, valores de medición registrados a lo largo del tiempo. Está muy extendido en la práctica operativa.
La velocidad de estas consultas determina cómo transcurre un análisis de incidentes. Si una evaluación tarda perceptiblemente, los equipos formulan menos hipótesis y se rinden antes. Si el sistema responde rápido, surge un proceso iterativo: suposición, consulta, acotamiento, siguiente suposición. Precisamente en las aplicaciones de IA, con sus muchos pasos intermedios, esta forma de aproximación suele ser el único camino viable hacia la causa.
Qué deberían llevarse los responsables de ello
El beneficio práctico de tales herramientas depende de que la observabilidad se planifique desde temprano. Algunos puntos merecen atención ya en la fase de concepción:
- Formular la trazabilidad como requisito. Cada paso de una interacción de IA debería registrarse con entrada, salida, duración y modelo utilizado, y no solo cuando lleguen las quejas.
- Considerar la protección de datos. Las entradas y las respuestas pueden ser datos personales.Los plazos de conservación, los derechos de acceso y la anonimización forman parte del concepto, no de un proyecto de adaptación posterior.
- Definir objetivos de calidad. Sin umbrales acordados, cualquier discusión sobre la calidad de un asistente sigue siendo una cuestión de intuición.
- Registrar los costes. El consumo de tokens y los reintentos son métricas operativas que se analizan mejor allí donde también se encuentran la latencia y la tasa de errores.
- Aclarar la responsabilidad operativa. ¿Quién vigila los paneles de control, quién reacciona a las alarmas, quién decide sobre una reversión del prompt?
Para los proyectos web y de software esto significa: las funciones de IA son, desde el momento en que se ponen en producción, objetos operativos ordinarios con un comportamiento de error poco habitual. Quien las entrega sin una observabilidad integral traslada la búsqueda de errores a las usuarias y usuarios. Por eso merece la pena planificar la observabilidad, los objetivos de calidad y las alertas en el mismo paso que la propia función: el esfuerzo es manejable, el precio de una adaptación posterior bajo presión es mucho mayor.
Fuentes
- OpenObserve muestra por qué los agentes de IA dan respuestas incorrectas — heise developer News