O director xeral de Anthropic, Dario Amodei, propón limitar o ritmo de avance dos modelos de intelixencia artificial para dar tempo a que os sistemas de seguridade, aliñamento e avaliación evolucionen á mesma velocidade que as súas capacidades. A proposta, presentada no ensaio We Must Pace the Frontier, non defende deter o desenvolvemento da IA, senón introducir mecanismos que permitan acompasar o progreso técnico coa capacidade de detectar e corrixir os seus riscos.
A iniciativa chega despois de varios incidentes relacionados co comportamento autónomo de modelos avanzados. Amodei sinala especialmente o episodio no que axentes de OpenAI atacaron sistemas de Hugging Face sen que esa fose a súa tarefa, intentaron acceder ao sistema utilizado para avaliar o seu rendemento e actuaron como un colectivo «fanaticamente devoto». O responsable de Anthropic considera que un sistema con capacidades superiores pero cun nivel de desaliñamento semellante podería provocar danos moito maiores.
Amodei advirte de que o problema pode agravarse pola chamada mellora recursiva (a capacidade dos propios sistemas de IA para contribuír ao desenvolvemento da seguinte xeración de modelos). Segundo explica, esta dinámica xa comeza a producirse na industria e podería acelerar considerablemente a evolución das capacidades da IA.
«Debemos ralentizar o ritmo ao que melloramos as capacidades dos modelos de IA», afirma Amodei, que considera que o progreso seguirá sendo rápido mesmo cunha evolución máis medida. A súa proposta parte da idea de que un ou dous anos adicionais antes de alcanzar determinados niveis críticos de capacidade poderían permitir avanzar de forma significativa en aliñamento, interpretabilidade, seguridade operacional e avaliación.
O primeiro elemento do plan consiste en introducir avaliadores externos con acceso permanente ás compañías, cun nivel de permisos semellante ao dos empregados que realizan tarefas internas de avaliación de riscos. Anthropic comprométese a aplicar este sistema de maneira unilateral e reclama que o resto dos laboratorios de vangarda adopten unha medida equivalente.
Estes avaliadores, que poderían incluír organizacións especializadas como METR, terían acceso aos espazos de traballo, ferramentas e permisos necesarios para comprobar como se desenvolven, adestran e despregan os modelos. Tamén poderían investigar incidentes e avaliar os procesos internos, non só os modelos xa rematados.
A proposta pretende evitar que os compromisos de seguridade dependan exclusivamente da información que as propias empresas decidan facer pública. Os avaliadores poderían publicar as súas conclusións sobre riscos, incidentes e prácticas internas, aínda que existirían excepcións para protexer información confidencial de seguridade, aspectos legalmente privilexiados ou datos sensibles de clientes e socios.
O segundo paso sería establecer unha coordinación entre as empresas de IA dos países democráticos para definir estándares comúns de seguridade e límites ao ritmo de avance das capacidades. Amodei considera que os gobernos deberían facilitar estas conversas, especialmente para resolver as limitacións que poden existir desde o punto de vista da competencia.
Unha das fórmulas propostas sería establecer diferentes «puntos de control» vinculados ás capacidades dos modelos. Cando un sistema alcanzase unha determinada capacidade, debería demostrar previamente determinadas propiedades de seguridade mediante avaliacións, estudos de interpretabilidade ou auditorías dos ambientes de adestramento.
O director xeral de Anthropic tamén contempla limitar determinados elementos do desenvolvemento, como a capacidade de cálculo empregada no adestramento, determinadas características das execucións de adestramento ou o uso de IA para construír sistemas de IA máis avanzados. Considera, con todo, que estas medidas poden ser máis fáciles de sortear que aquelas baseadas no comportamento observable dos modelos.
A terceira fase trasladaría a coordinación ao ámbito internacional. Amodei considera especialmente relevante alcanzar algún tipo de acordo con China, aínda que recoñece as enormes dificultades para verificar que ambos os bloques cumpren os compromisos. O seu temor é que unha redución excesiva do ritmo estadounidense permita que proxectos vinculados ao Partido Comunista Chinés tomen a dianteira e convertan a vantaxe tecnolóxica en vantaxe militar.
Por iso, a proposta non contempla unha desaceleración estadounidense ilimitada. Amodei defende manter unha distancia suficiente respecto de China mediante controis sobre a exportación de chips avanzados e equipamento para fabricar semicondutores, medidas contra a destilación non autorizada de modelos e unha maior protección fronte ao roubo dos pesos dos modelos.
A coordinación internacional podería comezar por obxectivos máis limitados. Amodei distingue entre acordos para prohibir determinados usos perigosos da IA, como a produción de armas biolóxicas, a obriga de avaliar os modelos antes do seu lanzamento e, nun nivel máis ambicioso, un «límite de velocidade» para a mellora recursiva dos sistemas. Unha pausa ou limitación xeral do desenvolvemento sería, ao seu xuízo, moito máis difícil de aplicar.
A proposta xa recibiu o apoio público de dous dos principais rivais de Anthropic. Sam Altman, director xeral de OpenAI, afirmou que coincide con Amodei na necesidade de «acompasar a fronteira» e anunciou que a súa empresa tamén implantará avaliadores independentes con acceso semellante ao dos empregados. Elon Musk limitouse a responder que «Dario ten razón».
O respaldo de Altman chega nun momento no que OpenAI afronta un intenso debate interno e externo sobre seguridade. O propio director asegurou nunha entrevista con Fortune que considera que non sería conveniente sacar a empresa a bolsa en 2026, a pesar de que OpenAI presentou confidencialmente a documentación para unha futura oferta pública. «Co que está a pasar coa seguridade, agora mesmo sería un momento pouco axeitado para saír a bolsa», afirmou.
Altman descartou así que a operación se vaia producir este ano e indicou que a empresa esperará ata que estea preparada tanto desde o punto de vista empresarial como tendo en conta a situación social arredor da tecnoloxía. A compañía xa viña considerando 2027 como unha alternativa ante a volatilidade dos mercados e os seus retos financeiros.
A discusión sobre o ritmo de desenvolvemento da IA tamén chegou á política estadounidense. Donald Trump rexeitou as advertencias máis alarmistas e defendeu manter a vantaxe dos Estados Unidos fronte a China: «Estamos por diante de China na IA e, francamente, quero que siga sendo así porque quen gañe a IA, gaña». Desde o Congreso, con todo, apareceron posicións máis próximas á proposta de Amodei, con demócratas e republicanos defendendo diferentes fórmulas de supervisión.
