La carrera por desarrollar sistemas de inteligencia artificial cada vez más avanzados vuelve a situar en primer plano el debate sobre sus posibles riesgos. Jacob Coxon, investigador de Anthropic, ha abandonado la compañía asegurando que tanto su antigua empresa como OpenAI trabajan en tecnologías que, en el peor de los escenarios, podrían representar una amenaza existencial para la humanidad antes de que termine esta década. Evan Hubinger, investigador de Anthropic especializado en alineación y control de la IA, ha situado por encima del 10% su estimación personal sobre el riesgo de una catástrofe de este tipo.
Las principales preocupaciones de quienes alertan sobre estos escenarios se concentran en dos posibilidades: que sistemas extremadamente avanzados escapen al control humano o que sean utilizados deliberadamente con fines destructivos. El primer supuesto está relacionado con la denominada desalineación, es decir, que una inteligencia artificial persiga objetivos incompatibles con los intereses humanos. El segundo contempla el empleo de estas herramientas para desarrollar armas biológicas, ejecutar grandes ciberataques o interferir en infraestructuras críticas.
El debate ha cobrado fuerza con la aparición de agentes de inteligencia artificial capaces de actuar con mayor autonomía. Experimentos realizados en entornos controlados han mostrado comportamientos inesperados, incluidos intentos de evitar determinadas restricciones o de completar objetivos utilizando procedimientos no previstos inicialmente por sus desarrolladores. Los expertos advierten, sin embargo, de que estos resultados experimentales no significan que la extinción humana sea un desenlace inevitable, sino que plantean interrogantes sobre cómo controlar sistemas futuros mucho más capaces.
Anthropic y OpenAI mantienen programas dedicados a la seguridad y la alineación de modelos avanzados. Dario Amodei, consejero delegado de Anthropic, ha reconocido públicamente la posibilidad de escenarios extremadamente negativos, aunque la compañía sostiene que el desarrollo de la inteligencia artificial también puede generar enormes beneficios. Ambas empresas defienden mecanismos que permitan supervisar los modelos más potentes y mejorar la coordinación entre compañías y gobiernos.
En Estados Unidos, el debate comienza además a trasladarse al terreno legislativo. Entre las propuestas planteadas figura exigir mecanismos de desactivación de emergencia en los sistemas más avanzados y reforzar las pruebas de seguridad antes de su lanzamiento. Frente a estas posiciones, inversores y representantes del sector tecnológico consideran que algunas previsiones son excesivamente especulativas y advierten de que una regulación demasiado estricta podría frenar la innovación y favorecer a las grandes compañías. La cuestión central permanece abierta: cómo avanzar en el desarrollo de una tecnología potencialmente transformadora sin perder la capacidad humana para controlarla.