Quienes utilizan asistentes de IA en desarrollo, soporte o documentación envían contenidos: fragmentos de código, borradores de contratos, registros de errores y, en ocasiones, datos de clientes.Dos informes recientes ponen en el centro la cuestión de qué ocurre con estas entradas tras el envío, y hasta qué punto son fiables las promesas de los proveedores.
Los plazos de conservación como criterio de exclusión
OpenAI y Anthropic aseguran a sus clientes empresariales que sus datos no se utilizan para el entrenamiento de los modelos.Sin embargo, esta promesa solo afecta a una parte de la cadena de procesamiento.Cuando Anthropic anunció que conservaría durante 30 días los registros de uso de su modelo insignia Fable, Palantir, Nvidia y Booz Allen Hamilton restringieron su uso para tareas sensibles.
Lo llamativo no es el plazo en sí, sino la reacción.Que no se entrene con datos de clientes no significa automáticamente que no se almacenen.Los registros se generan para la detección de abusos, para el soporte y para el aseguramiento de la calidad, y están presentes durante un periodo definido, por lo que en principio pueden consultarse, analizarse y, en caso de duda, ser también objeto de solicitudes de las autoridades.Para organizaciones con requisitos de protección de secretos o con conjuntos de datos muy regulados, esto basta para excluir una herramienta para determinadas clases de tareas.
Personas que leen también
La segunda noticia se refiere a la evaluación de las respuestas del modelo.Según un informe de 404 Media, OpenAI hace que cientos de trabajadores contratados lean conversaciones reales de ChatGPT y las evalúen en una escala de uno a siete.El objetivo es, entre otros, reducir la adulación y el comportamiento excesivamente humano del modelo, es decir, propiedades que solo pueden evaluarse en diálogos reales.
Para ello, los prompts se anonimizan.Sin embargo, la anonimización solo elimina los metadatos identificativos, no el contenido: en casos concretos, los textos pueden seguir conteniendo datos sensibles, por ejemplo cuando alguien copia un documento completo o una consulta a una base de datos en el campo de entrada.Quien quiera excluir esto debe desactivar la opción Mejorar el modelo para todos.Por lo tanto, está activada por defecto.
La línea común de ambos casos
Ambas noticias describen proveedores distintos y mecanismos distintos: almacenamiento de registros por un lado, evaluación humana de la calidad por otro.Sin embargo, el núcleo común es el mismo: entre la promesa pública no entrenamos con sus datos y el procesamiento real hay un ámbito que se regula en la configuración por defecto y en las condiciones secundarias y que muchos equipos nunca revisan.
A ello se suma una diferencia que en la práctica suele pasarse por alto: las cuentas privadas, las tarifas de equipo y los accesos Enterprise o API no están sujetos a las mismas reglas en los grandes proveedores.Cuando los empleados trabajan con su acceso personal, las condiciones prometidas para clientes empresariales no se aplican necesariamente.Es precisamente aquí donde surge la TI en la sombra, no por mala intención, sino porque la cuenta privada está disponible más rápido que el acceso autorizado.
En qué deben fijarse las empresas al elegir
De los incidentes descritos pueden deducirse algunas preguntas de verificación sobrias que deberían responderse antes de introducir un asistente:
- Duración del almacenamiento: ¿Cuánto tiempo se conservan las entradas y los registros, y puede acortarse el plazo contractualmente o reducirlo a cero?
- Finalidad del almacenamiento: ¿Sirve exclusivamente para la detección de abusos y la operación, o también para la evaluación de la calidad y la mejora del producto?
- Acceso de terceros: ¿Pueden proveedores externos o trabajadores contratados ver los contenidos, y en qué condiciones?
- Configuraciones predeterminadas: ¿Qué opciones relevantes para los datos están activadas por defecto, y quién en la empresa las modifica de forma centralizada?
- Dependencia de la tarifa: ¿Qué promesas se aplican solo al uso Enterprise o API y no a las cuentas privadas?
- Capacidad de demostración: ¿Puede documentarse el tratamiento de los datos de modo que se sostenga en un acuerdo de encargo de tratamiento o en una auditoría?
La configuración es parte de la arquitectura
El caso OpenAI muestra cuánto depende de una sola configuración predeterminada.Quien introduce asistentes en la empresa no debería dejar tales interruptores a la decisión individual, sino establecerlos y documentarlos de forma centralizada mediante funciones de administración.Esto incluye también una indicación clara de qué categorías de datos deben introducirse siquiera en un campo de entrada: los datos personales, las credenciales de acceso y los documentos contractuales, por regla general, no forman parte de ellos, independientemente de la promesa del proveedor.
Técnicamente puede atenuarse mucho antes de que se convierta en una cuestión contractual.Un gateway que agrupa las solicitudes de los sistemas internos puede filtrar contenidos antes del envío, insertar marcadores de posición para campos sensibles y registrar qué sistemas llaman a qué modelos.Las tareas con datos especialmente protegidos pueden trasladarse a modelos operados localmente o en la propia infraestructura, mientras que las tareas generales siguen ejecutándose a través de servicios externos potentes.Esta distribución según la sensibilidad suele ser más económica que intentar operarlo todo en casa, o externalizarlo todo.
La confianza necesita una alternativa
La reacción de Palantir, Nvidia y Booz Allen Hamilton es también instructiva porque no supuso una renuncia total: se restringió el uso para tareas sensibles, no el uso en general.Esta diferenciación es el camino practicable.Sin embargo, presupone que en la empresa se sabe qué tareas se consideran sensibles y que para estos casos existe una alternativa designada.
Igual de importante es la intercambiabilidad.
Si un proveedor cambia sus prácticas de almacenamiento, esto debería poder conllevar una decisión de configuración y no un nuevo desarrollo.Las capas de abstracción entre la aplicación y el modelo cuestan poco en la implementación y mantienen abierta esta opción.
Para proyectos web y de software esto significa: la gestión de datos de un proveedor de IA es un criterio de arquitectura, no solo un tema para el departamento jurídico.Quien define desde temprano qué contenidos pueden salir de la propia red, quién administra centralmente las configuraciones predeterminadas y conecta modelos detrás de una interfaz intercambiable, mantiene capacidad de acción cuando cambian las condiciones.Actualmente esta es la suposición más realista que la expectativa de compromisos estables.