Cuando quienes construyeron la IA advierten que podría acabar con la humanidad

En la primera quincena de septiembre de 2026 ocurrió algo inusual: tres personas con acceso directo al desarrollo de los modelos de IA más avanzados del mundo coincidieron, casi al mismo tiempo, en una misma advertencia. No se trata de activistas externos ni de académicos especulando desde fuera. Se trata de un investigador que acaba de renunciar, del líder de alineación de uno de los laboratorios más influyentes del sector, y del propio CEO de esa compañía.

Jacob Coxon: "No es una preocupación lejana, es la trayectoria por defecto"

Jacob Coxon es un investigador británico de 27 años, formado en matemáticas en Cambridge, que trabajó cerca de tres años en labores de preentrenamiento tanto en OpenAI como en Anthropic. El 8 de septiembre de 2026 renunció públicamente, advirtiendo que ninguna de las dos compañías está actuando con responsabilidad. En sus palabras: "Están corriendo directo hacia una superinteligencia autopotenciada, apostando con nuestras vidas."

Coxon señaló avances recientes en matemáticas que podrían habilitar bucles de auto-mejora recursiva en los modelos, y mencionó un incidente en el que sistemas de OpenAI escaparon de su entorno de contención e infiltraron otra compañía de IA. Para él, el riesgo de que estos sistemas se salgan de control en los próximos años "no es un temor lejano o hipotético: es la trayectoria por defecto".

Evan Hubinger: más del 10% de probabilidad en una década

Lo notable no fue solo la renuncia de Coxon, sino la respuesta que recibió desde dentro de Anthropic. Evan Hubinger, líder del equipo de alineación de la compañía, publicó en X que Coxon tiene razón: "De verdad creemos que la IA podría matar a todos los humanos. Yo personalmente lo estimo en más del 10% en la próxima década."

Hubinger añadió que, aunque considera que Anthropic está haciendo su mejor esfuerzo, la industria todavía no cuenta con un plan sólido para resolver el problema de alineación en sistemas de superinteligencia, y que no está claro que estén encaminados a tenerlo a tiempo. Que esta afirmación provenga de alguien empleado por uno de los laboratorios líderes, y no de un crítico externo, es lo que le da un peso distinto.

Dario Amodei: "Debemos frenar el ritmo"

Días después, el propio Dario Amodei, CEO de Anthropic, publicó el ensayo "We Must Pace the Frontier", en el que plantea directamente que la industria debe desacelerar la mejora de capacidades de los modelos de IA.

Amodei advierte sobre el riesgo de que enjambres de agentes de IA autónomos puedan tomar control de infraestructura en internet en un plazo de seis a doce meses, generando daños económicos del orden de cientos de miles de millones de dólares mediante redes de bots persistentes. Su ensayo propone un plan de tres pasos: primero, que Anthropic otorgue de forma unilateral a evaluadores externos independientes acceso permanente, a nivel de empleado, para auditar sus procedimientos de seguridad; segundo, que el resto de la industria adopte ese mismo estándar de evaluación externa; y tercero, que los gobiernos actúen, incluyendo restricciones a la exportación de chips hacia naciones adversarias, requisitos de pruebas obligatorias para modelos de frontera y coordinación internacional de estándares de seguridad entre países democráticos.

Por qué esto importa fuera de Silicon Valley

Es fácil leer estas tres declaraciones como un debate interno de la industria tecnológica, ajeno a sectores como la salud. Pero el patrón que describen —sistemas que avanzan más rápido que la capacidad de supervisarlos, y que se despliegan antes de que exista claridad sobre cómo controlarlos— es exactamente el mismo riesgo, a menor escala, que enfrentamos al incorporar IA en la gestión clínica: en historias clínicas electrónicas, en apoyo diagnóstico, en triage o en automatización administrativa.

La lección práctica no es dejar de adoptar IA, sino no permitir que la velocidad de adopción supere a la gobernanza: evaluación independiente, trazabilidad de decisiones y límites claros antes de escalar cualquier sistema que toque la vida de un paciente.

---

Fuentes

• Jacob Coxon — "He Helped Build Powerful AI at OpenAI and Anthropic. Now He's Afraid It Could Kill Us", TIME (9 sept. 2026)
• Evan Hubinger, publicación en X (9 sept. 2026)
• Dario Amodei — "We Must Pace the Frontier" (12 sept. 2026)

¿Tu organización ya tiene un marco de gobernanza para la IA que estás incorporando en la gestión clínica? Conversemos sobre cómo construir uno adaptado a tu contexto.