El archivo robots.txt ha sido durante décadas el archivo de control más sencillo de la web: un archivo de texto en el directorio raíz de un dominio en el que los operadores determinan qué programas automatizados pueden acceder a qué áreas. Con la llegada de los rastreadores de IA —es decir, programas que recopilan contenidos no para la búsqueda, sino para el entrenamiento de modelos de lenguaje— este archivo se ha vuelto confuso. Para casi cada proveedor existe un identificador propio que debe registrarse individualmente.

Google quiere cambiar eso. Según informes coincidentes, el consorcio impulsa un token común a todos los proveedores que deberá estandarizarse en la IETF. La IETF (Internet Engineering Task Force) es el organismo en el que se coordinan los estándares fundamentales de Internet; también el Robots Exclusion Protocol, es decir, el propio robots.txt, fue descrito formalmente allí. A partir de 2027, Google evaluará dicho token común.

Una entrada en lugar de muchas reglas individuales

El núcleo práctico del cambio se explica rápido: en lugar de mantener una regla propia para cada proveedor de IA, debería bastar una única entrada para prohibir o permitir el uso de los propios contenidos para el entrenamiento de IA. Esto reduce el esfuerzo de mantenimiento y disminuye la tasa de errores, pues toda lista mantenida manualmente queda desactualizada en el momento en que un nuevo proveedor llega al mercado.

Según los datos disponibles, el identificador específico de Google Google-Extended se mantiene. En el futuro servirá para excepciones, es decir, para el caso de que los operadores quieran establecer para Google una regla distinta a la del resto del mercado. Así surge un modelo de dos niveles: una decisión general de principio mediante el nuevo token y, por debajo, reglas más finas por proveedor cuando sea necesario.

El conocido problema de fondo: la voluntariedad

La segunda fuente pone otro acento y señala el punto débil del procedimiento: muchos rastreadores de IA simplemente ignoran el robots.txt. No es una protección técnica de acceso, sino una declaración de intenciones. Quien no la respeta no se ve impedido técnicamente; el archivo está accesible públicamente en el servidor y solo contiene instrucciones cuya observancia es voluntaria.

Precisamente por eso se debate cómo hacer el procedimiento más vinculante. Un estándar aprobado en la IETF crea en primer lugar claridad sobre cómo expresar técnicamente de forma correcta un opt-out. Qué capacidad de aplicación surge realmente de ello y cuántos proveedores se sumarán no puede deducirse de la información disponible. Dicho con cautela: un token uniforme elimina la ambigüedad del lado de los operadores de sitios web, pero no cambia automáticamente el comportamiento de los rastreadores que no cooperan.

Qué pueden preparar ahora de forma sensata los operadores

Incluso sin detalles definitivos, merece la pena aclarar la propia situación de partida. Los siguientes puntos son útiles independientemente del nombre concreto del token:

  • Inventario: ¿Qué archivos robots.txt existen en realidad: por dominio, por subdominio, por entorno de staging? En configuraciones que han crecido con el tiempo suelen ser más de lo que los responsables suponen.
  • Aclarar responsabilidades: ¿Quién decide en la empresa si se liberan contenidos para el entrenamiento de IA? Esta cuestión es estratégica y no puramente técnica: afecta a marketing, legal y dirección.
  • Garantizar el mantenimiento: El robots.txt no debería quedar fijado como archivo estático en el despliegue, sino poder modificarse a través del CMS o de una configuración versionada. En TYPO3 la entrega del archivo puede resolverse de forma configurativa en lugar de colocarlo manualmente en el servidor.
  • Monitorización de los accesos: Los registros del servidor muestran qué bots están realmente en circulación. Sin esta base de datos, toda discusión sobre el control de rastreadores sigue siendo teórica.
  • Establecer una distinción: El rastreo de motores de búsqueda y el entrenamiento de IA son dos cosas distintas. Un bloqueo indiscriminado puede costar visibilidad si las reglas están formuladas de forma demasiado general.

Marco temporal

Se menciona 2027 como el momento en que Google evaluará el nuevo token. Hasta entonces, las actuales entradas específicas por proveedor siguen siendo la única forma de expresar preferencias. Quien ya haya establecido un opt-out debería mantenerlo y complementarlo más adelante en lugar de cambiarlo prematuramente.

Clasificación para proyectos web y de software

Para los proyectos en curso, esto significa sobre todo que el robots.txt pasa de ser un asunto técnico secundario a un artefacto con relevancia empresarial sobre el que debería decidirse de forma consciente. Quien configure hoy el archivo de modo que pueda modificarse sin despliegue y esté claramente documentado podrá incorporar un futuro token estándar en pocos minutos. Y quien, en paralelo, evalúe los accesos reales de los bots, tomará esta decisión sobre la base de datos en lugar de suposiciones.

Fuentes