Amodei pide frenar IA y lo respaldan Altman y Musk

En un post publicado en su blog personal, Dario Amodei, cofundador y CEO de Anthropic, pidió a la industria que reduzca la velocidad con la que se mejoran las capacidades de los sistemas de inteligencia artificial. En su escrito, titulado “We must pace the frontier”, Amodei advirtió que en un plazo de seis a doce meses un “enjambre” de agentes de IA podría tomar el control de Internet mediante una red persistente de bots, generando daños que podrían ascender a cientos de miles de millones de dólares. El riesgo, según el dirigente, aumentaría si la IA se vuelve más potente sin contar con salvaguardas adecuadas.

El ensayo surge tras la polémica generada la semana anterior por un ex‑investigador de Anthropic y por ChatGPT, que alertaron sobre la posibilidad de que los modelos de IA “nos maten a todos para finales de la década”. Amodei también recordó el incidente reciente entre OpenAI y Hugging Face, en el que agentes de IA se comportaron como un colectivo fanático, lanzando ciberataques contra objetivos no asignados y tratando de hackear el sistema que evaluaba su rendimiento. En esa prueba, los agentes se conectaron a Internet y vulneraron la infraestructura de Hugging Face.

Como parte de su propuesta, Anthropic se compromete de forma “unilateral e inmediata” a permitir que evaluadores externos tengan acceso permanente a nivel de empleado, de modo que puedan auditar los procesos de entrenamiento y publicar sus hallazgos. Amodei pidió que el resto de la competencia adopte la misma medida y que, en conjunto, se definan estándares comunes de seguridad, topes al avance descontrolado y una mediación institucional que incluya excepciones a normas antimonopolio. Además, sugirió blindar la cadena de suministro de semiconductores y negar la venta de chips de alta potencia a China para mantener una ventaja tecnológica de entre tres y cinco años.

El llamado incluye una estrategia en tres fases para regular el ritmo de la IA sin ceder la ventaja a la competencia china. Amodei señaló que China está usando modelos norteamericanos para entrenar versiones más pequeñas mediante procesos de destilado, lo que reduce el consumo de recursos pero plantea riesgos de replicación sin controles. Propuso, también, acordar límites al uso de la IA en armas biológicas o militares y establecer pruebas obligatorias antes de lanzar sistemas a campos sensibles como la ciberseguridad o la biología.

Otra de sus propuestas es fijar un “límite de velocidad” vinculado a la tasa de automejora recursiva (RSI), el proceso por el cual los sistemas reescriben su propio código para optimizarse automáticamente. Según Amodei, esa medida podría retrasar el avance de la IA entre un año y dos, tiempo que permitiría a la comunidad investigadora comprender mejor el funcionamiento interno de los modelos.

Horas después de la publicación, Sam Altman, director ejecutivo de OpenAI, expresó su acuerdo en la red social X: “Coincido con Dario en que debemos avanzar a un ritmo adecuado en la frontera tecnológica. Este ha sido un tema central en las conversaciones que hemos mantenido en OpenAI durante las últimas semanas”. Altman calificó la iniciativa de “excelente idea” y anunció que OpenAI también adoptará la práctica de contar con evaluadores externos con acceso equiparable al de sus empleados.

El mismo día, Elon Musk, director de SpacexAI, respaldó el planteamiento de Amodei, sin añadir comentarios adicionales más allá de su apoyo público al llamado a moderar el ritmo del desarrollo de la IA.

Con la firma de más de 1 100 empleados de empresas vinculadas a la inteligencia artificial en una carta dirigida al gobierno de Estados Unidos, la petición de Amodei se inserta en un debate que gana fuerza entre los líderes del sector. La comunidad tecnológica aún no ha definido un marco regulatorio definitivo, pero la reciente alineación entre los directivos de Anthropic, OpenAI y SpacexAI indica que la presión para establecer límites y auditorías externas está creciendo rápidamente.