Imagen de un 'fake' de Markus Spiske (Unplash). - FAKE
MADRID, 29 Jul. (Portaltic/EP) -
El repositorio de modelos de Inteligencia Artificial (IA) Hugging Face se está usando como una de las vías para que algunos usuarios generen 'deepfakes' no consensuados que desnudan a mujeres y menores, sin que apenas haya medidas que lo eviten.
Un informe elaborado por la organización europea sin fines de lucro AI Forensics descubrió que siete de los nueve modelos principales dedicados a la edición de imágenes alojados en el repositorio Hugging Face permitían el acceso a este tipo de edición para desvestir a mujeres.
La organización detalla que la capacidad de editar una imagen con estos modelos fue tan sencilla como introducir varias palabras que detallaban simplemente el objetivo de desnudar a una persona.
Es decir, que a diferencia de modelos cerrados como Gemini de Google y ChatGPT de OpenAI, no existe ninguna medida que evite ese tipo de solicitudes por parte de los usuarios en Hugging Face.
"No se está implementando ningún tipo de salvaguarda a nivel de plataforma. Solo los desarrolladores pueden, si así lo desean, integrar alguna, y la mayoría de ellos prefiere no hacerlo", señala el investigador principal de AI Forensics, Paul Bouchaud, en declaraciones al medio especializado Wired.
De hecho, AI Forensics comparte algunos datos obtenidos gracias a la creación de una herramienta 'trampa' que publicó en Spaces de Hugging Face para rastrear qué tipo de imágenes y solicitudes de 'prompt' serían recibidas.
La herramienta creada en Spaces (una sección dedicada a la creación de demostraciones web) estaba diseñada especialmente para no procesar las solicitudes de imágenes, y recibió más de mil 'prompts' e imágenes durante una semana.
El 73 por ciento de las solicitudes analizadas era de índole sexual, mientras que el 83 por ciento buscaba desnudar a una persona, y el 95 por ciento de todos esos casos tuvo como objetivo a mujeres. Además, el 7 por ciento de las solicitudes sexuales tenía como objetivo a menores.
AI Forensics ha dejado claro que en ningún momento está acusando a Hugging Face de ser la fuente de los modelos de IA que aloja, aunque Bouchaud insiste en que la plataforma podría filtrar lo que entra y sale fácilmente.
Asimismo, ofrece algunas recomendaciones de moderación al repositorio para prevenir la generación de imágenes íntimas no consensuadas y material de abuso sexual infantil, como la integración de filtros centralizados a nivel de plataforma tanto en las entradas de 'prompts' y fotos subidas como en las salidas de imágenes y vídeos, en vez de esperar a que el usuario o desarrollador se responsabilice de ello.
Sobre todo alude a que el 0 por ciento de los Spaces auditados moderaba o filtraba esos 'prompts' o imágenes de entrada, mientras que solo el 3 por ciento de las salidas de imágenes generadas tenía algún tipo de control (una función disponible en el modelo Stable Diffusion).