Un investigador sénior de seguridade de Anthropic estima que existe máis dun 10 % de posibilidades de que a intelixencia artificial poida «matar a todos os humanos» antes de que remate a década. A declaración produciuse poucas horas despois de que outro investigador da empresa anunciase a súa marcha por desacordos coa estratexia de seguridade da compañía e coa carreira da industria para desenvolver sistemas capaces de mellorarse por si mesmos.
Jacob Coxon, investigador que traballou no adestramento de sistemas de IA en Anthropic e anteriormente en OpenAI, comunicou a súa saída a través de X. Na súa mensaxe acusou ambas as empresas de estar «correndo directamente cara á superintelixencia que se mellora a si mesma e xogando coas nosas vidas», pese a que os propios investigadores que desenvolven estas tecnoloxías consideran posible que a IA poida acabar coa humanidade antes de 2030.
Evan Hubinger, responsable dun dos equipos de seguridade de IA de Anthropic, respondeu publicamente a Coxon e recoñeceu compartir boa parte das súas preocupacións. Segundo Hubinger, o desenvolvemento de sistemas capaces de mellorarse a si mesmos está avanzando «máis rápido do que pensabamos». Na súa valoración persoal, situou por riba do 10% a probabilidade de que a IA poida acabar con todos os humanos durante a vindeira década.
A advertencia resulta especialmente significativa porque Hubinger admitiu que Anthropic «aínda non ten un plan» para garantir que os sistemas avanzados permanezan seguros e aliñados cos valores humanos, e engadiu que tampouco considera que a empresa estea claramente encamiñada a desenvolver ese plan.
O temor ao que se coñece como mellora recursiva consiste na posibilidade de que un sistema de IA suficientemente avanzado sexa capaz de modificar e mellorar as súas propias capacidades, xerando ciclos sucesivos de mellora cada vez máis rápidos. Este escenario non se produciu ata o momento na forma extrema descrita por estes investigadores, aínda que as compañías do sector traballan activamente en sistemas con maiores capacidades de autonomía e razoamento. Parte do código utilizado actualmente para desenvolver software tamén xa é xerado ou asistido por modelos de IA.
Coxon considera que Anthropic e os seus competidores están «bloqueados nunha carreira» por desenvolver primeiro os sistemas máis avanzados, o que estaría levando a priorizar a velocidade fronte aos riscos asociados. A súa saída ten especial relevancia polo perfil de Anthropic, fundada por antigos membros de OpenAI que abandonaron a compañía precisamente polas súas preocupacións sobre a seguridade da IA.
