En pocos días han aparecido tres noticias que convergen en la misma pregunta: ¿de dónde obtienen su contexto los asistentes de IA y quién controla lo que fluye hacia ellos? Para las empresas que integran la IA en procesos existentes, no se trata de un debate académico, sino de una cuestión de permisos, almacenamiento de datos y procesos de verificación.

Computer History: la vida laboral cotidiana como línea de tiempo consultable

OpenAI ha presentado una función llamada Computer History. Registra en el Mac clics, pulsaciones de teclas y cambios de aplicación, y a partir de ello crea una línea de tiempo consultable a la que pueden acceder ChatGPT y Codex —la herramienta de OpenAI para tareas de programación—. La utilidad es evidente: un asistente que sabe en qué ticket, qué archivo y qué herramienta se trabajó por última vez tiene que preguntar menos y ofrece respuestas más adecuadas.

Llama la atención la implementación técnica. Según el informe, las grabaciones se almacenan localmente como archivos Markdown sin cifrar. Según OpenAI, no se utilizan para el entrenamiento de modelos. Ambas cosas juntas arrojan una imagen mixta: los datos no abandonan el dispositivo automáticamente, pero allí se encuentran en un formato que cualquier persona y cualquier proceso con acceso a archivos puede leer en texto plano.

Para las empresas esto significa concretamente: una línea de tiempo de este tipo contiene potencialmente entradas de contraseñas, nombres de clientes, contenidos de contratos, títulos de documentos internos y fragmentos de sistemas para los que existen reglas de acceso claras. Quien desee utilizar la función debería aclarar de antemano en qué dispositivos puede estar activa, cómo se tratan los archivos en las copias de seguridad y en la gestión de endpoints, y qué roles de la empresa pueden acceder a ellos.

Prompt Injections en la sala del tribunal

Lo fácil que resulta burlar los procesos de verificación asistidos por IA lo demuestra un caso de Connecticut. Un demandante había incrustado instrucciones invisibles en escritos judiciales: en fuente de 3 puntos y texto blanco sobre fondo blanco. Para los lectores humanos el texto era prácticamente imperceptible; un sistema automatizado, en cambio, podría haberlo interpretado sin más como una instrucción. El objetivo era, al parecer, influir en un posible sistema de verificación por IA del tribunal.

Tales manipulaciones se denominan prompt injection: los atacantes introducen instrucciones de contrabando en contenidos que procesa un modelo de lenguaje, y el modelo las trata como especificaciones legítimas del usuario. El juez competente, Spader, comparó el intento con una influencia encubierta sobre los miembros del jurado y privó al demandante del derecho a la presentación electrónica.

El incidente es instructivo también porque no requería ninguna técnica sofisticada. Bastaban el tamaño y el color de la fuente en un documento corriente. Exactamente este patrón puede trasladarse a muchos procesos empresariales en los que los documentos llegan desde el exterior y se preseleccionan o evalúan de forma automática: solicitudes de empleo, ofertas, reclamaciones, facturas, solicitudes de subvención.

Consecuencias para los procesos de verificación automatizados

Del caso pueden derivarse algunas reglas prácticas que se aplican independientemente del modelo utilizado:

  • Los contenidos entrantes son datos, no instrucciones. Las especificaciones del sistema y los documentos externos deben permanecer claramente separados en el prompt, para que el texto de un archivo PDF no pueda asumir el papel de una instrucción.
  • Normalizar el texto antes del procesamiento. Formatos como tamaños de fuente minúsculos, texto blanco o caracteres invisibles deberían detectarse y registrarse durante la extracción, en lugar de acabar silenciosamente en la ventana de contexto.
  • Ninguna decisión con consecuencias sin aprobación humana. Cuando una evaluación por IA participa en decisiones sobre rechazo, priorización o pago, se necesita una instancia de control verificable.
  • Hacer visibles las anomalías. Un paso de verificación que reporta intentos de manipulación como hallazgo es más valioso que uno que simplemente los ignora.

Watermarking: detección con límites claros

La tercera noticia concierne a la dirección opuesta: la cuestión de si un texto procede de un modelo. Anthropic quiere poner a disposición de terceros una API de verificación con la que se puedan detectar de forma más fiable los textos generados con Claude. El procedimiento se basa en el método SynthID de Google y modifica la fuente de aleatoriedad en la elección de palabras. Según la empresa, la calidad del texto no debe verse afectada.

Igualmente importantes son los límites mencionados: en textos muy basados en hechos, en código y con reescrituras intensas, el procedimiento puede llegar a sus límites. Esto es plausible, pues la marca de agua vive del margen de maniobra en la elección de palabras. Donde apenas hay alternativas o donde un texto se reformula posteriormente, la señal desaparece.

Para la práctica se deriva de ello una expectativa sobria. Una marca de agua puede ser un indicio entre varios, por ejemplo en procesos editoriales o en la revisión de contenidos enviados. No es una prueba y, además, solo cubre textos del proveedor correspondiente. Los procesos que se basan en una respuesta inequívoca de sí o no no funcionarán de forma fiable con esta técnica. También el momento de disponibilidad sigue abierto hasta ahora; se ha anunciado la puesta a disposición, no el inicio.

El denominador común: aprobaciones en lugar de confianza

Las tres novedades muestran el mismo desplazamiento. Los asistentes de IA resultan más útiles cuanto más contexto reciben, y más vulnerables cuanto menos se verifica de dónde procede ese contexto. Una línea de tiempo de la vida laboral cotidiana es un almacén de conocimiento productivo y, al mismo tiempo, un conjunto de datos sensible. Una verificación automatizada de documentos ahorra tiempo y, a la vez, abre una nueva superficie de ataque.

Una marca de agua crea verificabilidad, pero solo dentro de un marco limitado.

Quien integra IA en flujos de trabajo debería, por tanto, responder pronto a dos preguntas: qué fuentes de datos puede ver un asistente y en qué puntos decide una persona. Ambas cosas forman parte de la arquitectura, no de una directriz posterior.

Para proyectos web y de software esto significa: los accesos al contexto y los niveles de aprobación deben formar parte del concepto de permisos desde el principio, con fuentes de datos documentadas y un punto claramente definido en el que una persona decide. Cada pipeline que procesa documentos ajenos necesita una verificación previa de contenidos ocultos y un registro de lo que ha entrado en el modelo. Y los procedimientos de detección como las marcas de agua son útiles como indicio adicional, no como base de decisiones automáticas.

Fuentes