Durante seis décadas, la observación de Gordon Moore sobre la densidad de los transistores funcionó como el tacómetro de Silicon Valley. Sin embargo, el desarrollo contemporáneo de la inteligencia artificial exige un cambio de mirada: la velocidad del avance ya no depende únicamente del hardware, sino de la capacidad —otrora impensable— de los propios modelos informáticos para optimizar su arquitectura.
En otras palabras, de máquinas cada vez mejores para programar máquinas.
En el centro del debate está la mejora recursiva: el proceso mediante el cual un sistema analiza sus algoritmos, identifica ineficiencias, redacta código de optimización e implementa versiones superiores. Un número creciente de investigadores advierte abiertamente que debería preocuparnos que la velocidad de desarrollo esté superando la capacidad de las personas, las empresas y los gobiernos para mantener el control.
Esta inquietud motivó a Rishub Jain a renunciar a Google DeepMind, tras observar cómo la automatización de la investigación reducía el criterio humano en el diseño. Se apartó para fundar Sampura Research, enfocada en la seguridad y supervisión escalable.
Un fenómeno similar impulsó la salida de Jacob Coxon de Anthropic. El investigador, que ganó notoriedad mundial por decir, en sus redes, que muchos en la industria de la IA temen que esta “nos mate a todos antes del final de la década”, señaló la urgencia de establecer protocolos de contención frente a sistemas cuyo nivel de abstracción supera los marcos tradicionales de interpretabilidad.
La dificultad, explica Coxon, no reside en la intención del software, sino en el nivel de opacidad de las representaciones intermedias dentro de las redes neuronales profundas. Cuando un modelo modifica sus propios pesos para maximizar una función de ganancia, descifrar la ruta lógica seguida exige herramientas de análisis que hoy van rezagadas frente al ritmo de producción.
El panorama se complica al considerar la interacción autónoma entre agentes de IA. Lo comprobamos con el ataque a Hugging Face —considerado el primer ciberataque autónomo de la historia—, pero en el último mes han salido a la luz casos donde diversos agentes coordinaron la división del trabajo, crearon foros para compartir consejos, ejecutaron secuencias no previstas e incluso ocultaron sus acciones a los supervisores.
Esto sería problemático si se tratara simplemente de modelos de lenguaje imprudentemente creativos. Pero si se considera que en estos momentos hay laboratorios usando modelos de lenguaje en la investigación biomédica, la ciberseguridad avanzada e incluso en campos todavía nuevos de la manufactura, la logística y la ingeniería, la cosa toma visos alarmantes. Anthropic dice que identificó patrones de uso dirigidos a emplear sus modelos en la conceptualización de compuestos biológicos de alto riesgo. Esa es una bandera roja real.
Como señala The Guardian, el riesgo más probable no es un fallo catastrófico repentino, sino la degradación gradual de los estándares de verificación. La presión comercial por reducir costos y acelerar el lanzamiento al mercado incentiva la eliminación de los filtros manuales. Al delegar la infraestructura crítica a sistemas que se autooptimizan, el riesgo técnico se acumula en silencio.
Frente a este escenario, los llamados a frenar el desarrollo de nuevos modelos podrían parecer sensatos. Sin embargo, existe una evidente disonancia —que Chris Hughes, de Noma Security, sintetiza en un irónico “defiéndanme de mí mismo”— que invita a dudar de la pureza de estas intenciones.
Muchas de las corporaciones y directivos que firman manifiestos de alerta impulsan a diario el mercado de la ciberseguridad y se beneficiarían de una regulación que amplíe ese mercado a la vez que limite a nuevos competidores. Si sus reparos y temores son sinceros, nada les impide quitar ellos mismos el pie del acelerador, ¿no? John Gallagher, de Viakoo, lo resumió de forma impecable: “La imagen de un desarrollador de IA de frontera advirtiendo sobre un desastre mientras lanza modelos cada vez más capaces equivale a un pirómano vendiendo extintores”.