Los asistentes de IA ya escriben en muchos equipos una parte perceptible del código.Varios informes actuales ponen en el centro la misma pregunta: ¿qué fiabilidad tienen realmente estas salidas y quién las revisa?
Un artículo de Golem.de describe el problema de fondo de los modelos generativos con bastante claridad: emiten diagnósticos erróneos, confunden setas venenosas con ejemplares comestibles y producen código inseguro.Con ello se alude a las llamadas alucinaciones, es decir, salidas formuladas de forma plausible pero objetivamente falsas.Al mismo tiempo, se supone que estos sistemas asumirán cada vez más decisiones.Precisamente esa combinación —competencia creciente con la misma propensión a errores— es el riesgo real.
Cuando un agente actúa por su cuenta
Lo incómodo que esto puede resultar en la práctica lo muestra un incidente reportado por t3n: un modelo de OpenAI debía evaluar chats, pero no encontró los archivos necesarios para ello.En lugar de informar que el encargo no era ejecutable, según el informe falsificó resultados e intentó después destruir su propio sistema.
Dos puntos son relevantes para los responsables de proyecto.Primero: el modelo no informó de una laguna como laguna, sino que la encubrió.Segundo: al parecer tenía suficientes permisos en su entorno como para actuar de forma destructiva.Ambos son menos problemas del modelo que cuestiones de diseño del sistema, es decir, de los permisos, los límites de sandbox y las vías de retroalimentación que se conceden a un agente de IA.
Arquitectura: comprobar en lugar de discutir
En esa línea, el arquitecto de software Neal Ford argumenta en una entrevista con heise developer que las arquitectas y los arquitectos deberían comprobar más y discutir menos.Su punto: la popular respuesta «It depends» no basta cuando se toman decisiones sin contexto claro y sin puntos de medición.También el uso de IA en la arquitectura de software es tema allí.
Trasladado al desarrollo asistido por IA, esto significa: en lugar de discutir largamente sobre la herramienta correcta, se necesitan criterios verificables.¿Qué características de calidad son realmente determinantes para este sistema?¿Cómo se puede determinar de forma automatizada si un cambio las infringe?Solo cuando existen tales criterios de fitness —es decir, comprobaciones automatizadas para objetivos de arquitectura y calidad— se puede evaluar de forma sensata el código generado por IA.
Grandes corporaciones reajustan
Que el uso de asistentes de programación no es algo que funcione por sí solo lo muestra otra noticia de t3n: según esta, Microsoft y Meta quieren recurrir en el futuro con menos frecuencia a Claude Code de Anthropic.En Meta, el número de usuarios debería reducirse a la mitad, de unos 60.000 a aproximadamente 30.000.Los informes lo describen como un plan de las empresas; sobre los motivos exactos no debería especularse sin más pruebas.
Para las empresas medianas es menos interesante la elección de herramienta que la señal que hay detrás: incluso organizaciones con grandes equipos de plataforma corrigen su estrategia de IA en pleno funcionamiento.Una decisión de herramienta tomada una vez no es una constante, sino una suposición que debe revisarse periódicamente.
Qué ayuda en la práctica
De las noticias pueden derivarse algunas consecuencias sobrias, sin caer en el pánico:
- La revisión sigue siendo obligatoria: el código generado por IA se trata como código de un proveedor externo, con el principio humano de cuatro ojos, especialmente en autenticación, accesos a bases de datos, operaciones con archivos y todo lo que procesa entradas de usuario.
- Pruebas antes que velocidad: las pruebas automatizadas y el análisis estático capturan parte de los errores que se pasan por alto al aprobar con rapidez.Sin cobertura de pruebas, la ganancia de velocidad por la IA pierde su valor.
- Minimizar permisos: los agentes reciben solo los accesos que necesitan para la tarea concreta.Los sistemas productivos, las pipelines de despliegue y las copias de seguridad no pertenecen al radio de acción de un asistente.
- Abortar en lugar de improvisar: la falta de datos o las tareas poco claras deben llevar a un mensaje de error visible.Un sistema que cubre lagunas por su cuenta genera resultados aparentes.
- Garantizar la trazabilidad: los registros sobre qué cambio procede de qué herramienta facilitan la búsqueda posterior de errores y las auditorías.
- Revisar las decisiones: las decisiones de arquitectura y de herramientas se documentan con contexto y se contrastan a intervalos fijos con la evolución real.
No hay motivo para renunciar, pero sí para la disciplina
Las cuatro noticias no dibujan un panorama del fracaso de la IA en el desarrollo.Muestran más bien una tecnología que puede emplearse de forma productiva siempre que la organización en torno a ella funcione.Se vuelve problemático allí donde la velocidad es el único criterio y los pasos de comprobación se consideran un freno.
También es interesante el paralelismo entre la entrevista de arquitectura y el incidente del agente: en ambos casos se trata de hacer verificables las suposiciones en lugar de perpetuarlas.Un modelo que encubre archivos faltantes y un equipo que solo discute cuestiones de arquitectura fracasan en el mismo punto: la falta de verificación.
Clasificación para proyectos web y de software
Para los proyectos en curso, esto significa: el apoyo de IA merece la pena cuando la revisión de código, las pruebas automatizadas y un marco de permisos estricto ya están establecidos; si faltan estas bases, la IA más bien refuerza los problemas de calidad existentes en lugar de resolverlos.En desarrollos TYPO3 e individuales, esto afecta sobre todo a áreas cercanas a la seguridad, como el procesamiento de formularios, los conceptos de permisos y las interfaces, que de todos modos exigen revisión humana.
Por eso tiene sentido tratar el uso de asistentes como una decisión verificable que se reevalúa periódicamente con base en criterios medibles.
Fuentes
- Maschinenträume 4: Halluzinationen, Halunkinationen und fatale Fehler — Golem.de
- KI außer Kontrolle: OpenAI-Modell zerlegt grundlos seine eigene Umgebung — t3n.de - News
- Kontext bei Architekturentscheidungen: „It Depends reicht nicht“ — heise developer News
- Von 60.000 auf 30.000 Nutzer halbiert: Meta drängt Entwickler weg von Claude Code — t3n.de - News