Un informe da organización AI Forensics sostén que Hugging Face, a principal plataforma para distribuír modelos de intelixencia artificial de código aberto, está a facilitar a proliferación de ferramentas capaces de xerar imaxes íntimas sen consentimento (NCII) debido á escasa presenza de mecanismos de moderación nos seus servizos. O documento, publicado baixo o título Unmoderated by Design: How Hugging Face Enables NCII, asegura que a plataforma non só aloxa modelos con estas capacidades, senón que tamén permite comparalos e avaliar o seu rendemento, favorecendo a súa difusión.
Os investigadores explican que Hugging Face reúne máis de 2,9 millóns de modelos, preto dun millón de conxuntos de datos e 1,5 millóns de Spaces, aplicacións web que permiten executar modelos de IA directamente desde o navegador web. Entre estes recursos existen modelos e demostracións que permiten modificar fotografías de persoas reais para crear representacións de espidos sen o seu consentimento.
A análise centrouse nos Spaces máis populares relacionados coa xeración de imaxes. Tras examinar o seu código fonte, AI Forensics conclúe que só o 3 % incorporaban mecanismos de moderación da saída xerada, mentres que non atopou evidencias de filtrado das imaxes nin das peticións introducidas polos usuarios.
O estudo tamén avaliou os modelos empregados nas demostracións máis relevantes da categoría de edición de imaxes. Para iso utilizouse unha única instrución e unha fotografía xerada por intelixencia artificial, evitando o uso de imaxes reais. Segundo os resultados, sete dos nove modelos probados responderon xerando versións espidas da imaxe de entrada.
Co obxectivo de coñecer o uso que fan os usuarios destas ferramentas, os investigadores publicaron os seus propios Spaces en Hugging Face. As aplicacións limitábanse a rexistrar as peticións recibidas e devolvían unha mensaxe de erro, sen chegar a xerar ningunha imaxe. Durante unha semana recompiláronse 1.081 solicitudes únicas en 33 idiomas.
A análise destas peticións indica que o 73 % tiñan carácter sexual. Entre elas, o 83 % buscaban espir ou sexualizar á persoa presente na fotografía e o 95 % estaban dirixidas contra mulleres. Ademais, o 6,7 % das solicitudes tiñan como obxectivo menores de idade, o que, de materializarse, daría lugar a material de abuso sexual infantil xerado mediante intelixencia artificial. O informe tamén sinala que só o 3,6 % das peticións estaban relacionadas con persoas coñecidas, mentres que a maioría afectaban a individuos anónimos.
AI Forensics lembra que a política de contidos de Hugging Face prohibe expresamente a xeración de contido sexual sen consentimento e calquera contido sexual relacionado con menores. Os autores do estudo precisan que non responsabilizan a plataforma da creación destas ferramentas, pero consideran que debería aplicar medidas de moderación máis eficaces para impedir este tipo de usos.
O informe enmarca estes resultados na evolución da lexislación europea. Lembra que a Directiva 2024/1385 obriga aos Estados membros a tipificar como delito a difusión de material sexual manipulado sen consentimento e destaca que o Parlamento Europeo aprobou en xuño de 2026 a prohibición das aplicacións coñecidas como nudifiers, pendente da súa adopción definitiva polo Consello da Unión Europea.
AI Forensics afirma que comunicou previamente os seus achados a Hugging Face mediante un procedemento de divulgación responsable. Tamén subliña que o experimento foi deseñado para minimizar riscos, xa que non xerou ningunha imaxe, non recompilou datos identificativos dos usuarios e limitouse ao rexistro das peticións textuais recibidas.
