Agencias, Ciudad de México.- Investigadores de Stanford Internet Observatory han detectado material de abuso sexual infantil (CSAM, en inglés) en la base de datos que empresas como Stable Diffusion utilizan para entrenar sus modelos de Inteligencia Artificial (IA) generativa de imagen, lo que ha motivado su retirada.
LAION-5B es una base de datos con 5,850 millones de pares de texto-imagen que se utiliza para el entrenamiento de IA generativas dedicadas a la creación de imágenes. Su finalidad, como explican desde LAION en su página web, es la de “democratizar la investigación y la experimentación en el entrenamiento de modelos multimodales a gran escala”.
Ya en su descripción matizan que la base de datos no está curada y que la “naturaleza no seleccionada del conjunto de datos” los enlaces que contiene pueden dar lugar a “contenido muy incómodo y perturbador”.
Un equipo de investigación de Stanford Internet Observatory liderado por Jeffrey Hancock se propuso saber el papel que ha tenido el material de abuso sexual infantil en el entrenamiento de los modelos de IA generativa de imágenes, dada su capacidad para generar contenidos explícitos de adultos, y también de abuso de menores.
Para ello, recurrieron a una combinación de coincidencia de hash perceptual de PhotoDNA, coincidencia de hash criptográfica, consultas de vecinos más cercanos y clasificadores de aprendizaje automático, como detallan en el resumen del texto de la investigación.
Su trabajo identificó “cientos de casos de CSAM conocidos en el conjunto de capacitación, así como muchos candidatos nuevos que posteriormente fueron verificados por partes externas”.
LAION, siglas en inglés de la organización sin fines de lucro Red Abierta de Inteligencia Artificial a Gran Escala, dijo en un comunicado que “tiene una política de tolerancia cero para el contenido ilegal, y que, por precaución extrema, hemos retirado los conjuntos de datos de LAION para garantizar que sean seguros antes de volver a publicarlos”.
Si bien las imágenes representan sólo una fracción del índice de LAION de unas 5.800 millones de imágenes, el grupo de Stanford dice que probablemente influya en la capacidad de las herramientas de IA para generar resultados dañinos y reforzar el abuso previo de víctimas reales que aparecen muchas veces.
According to a study by the Stanford Internet Observatory shared with 404 Media, the researchers found the suspected instances of CSAM through a combination of perceptual and cryptographic hash-based detection and analysis of the images themselveshttps://t.co/xHid8ciXGY
— AI Safety Summit (@AISafetySummit) December 20, 2023
No es un problema fácil de resolver, y se remonta a que muchos proyectos de IA generativa fueron “lanzados apresuradamente al mercado” y los hicieron ampliamente accesibles porque el campo es muy competitivo, dijo David Thiel, director general de tecnología del Observatorio de Internet de Stanford y autor del informe.
“El recolectar información de todo internet y usar ese conjunto de datos para entrenar modelos es algo que debería haber quedado confinado a una operación de investigación, si acaso, y no es algo que debería haber sido de código abierto sin una atención mucho más rigurosa”, agregó Thiel en una entrevista.
Una de las principales usuarias de LAION que ayudó a dar forma al desarrollo del conjunto de datos es la startup Stability AI, con sede en Londres, que desarrolló los modelos generativos de texto a imagen de Stable Diffusion. Las nuevas versiones de Stable Diffusion hacen más difícil crear contenido nocivo, pero una versión anterior introducida el año pasado —que Stability AI dice que no lanzó al público— todavía está integrada en otras aplicaciones y herramientas, y es aún “el modelo más popular para generar contenido explícito”, según el informe de Stanford.
“No podemos retirarlo. Ese modelo está en manos de muchas personas en sus computadoras locales”, dijo Lloyd Richardson, director de tecnología de la información del Centro Canadiense para la Protección Infantil, que gestiona la línea telefónica directa de Canadá para denunciar la explotación sexual en línea.
Stability AI dijo el miércoles que en sus servidores sólo hay versiones filtradas de Stable Diffusion y que “desde que asumimos el desarrollo exclusivo de Stable Diffusion, Stability AI ha tomado medidas proactivas para mitigar el riesgo del uso indebido”.
“Esos filtros eliminan el contenido inseguro e impiden que llegue a los modelos”, refirió la empresa en una declaración preparada. “Al retirar ese contenido antes de que llegue al modelo, podemos ayudar a evitar que el modelo genere contenido inseguro”.
LAION fue creada por Christoph Schuhmann, investigador y profesor alemán, quien dijo a la AP este año que parte de la razón de hacer pública una base de datos visual tan grande era garantizar que el futuro del desarrollo de la IA no fuera controlado por un puñado de empresas poderosas.
“Será mucho más seguro y mucho más justo si podemos democratizarlo para que toda la comunidad de investigación y todo el público en general se pueda beneficiar de eso”, agregó.
Gran parte de los datos de LAION provienen de otra fuente: Common Crawl, un depósito de datos constantemente recopilados del internet abierto, pero Rich Skrenta, director ejecutivo de Common Crawl, dijo que “correspondía” a LAION escanear y filtrar lo que tomaba antes de hacer uso de ello.
LAION informó esta semana que desarrolló “filtros rigurosos” para detectar y eliminar contenido ilegal antes de publicar sus conjuntos de datos y que todavía trabaja para mejorar esos filtros. El informe de Stanford reconoció que los desarrolladores de LAION hicieron algunos intentos para filtrar contenido explícito de “menores de edad”, pero que podrían haber hecho un mejor trabajo si hubieran consultado antes con expertos en seguridad infantil.
Gratitude as well to those who helped create the LAION datasets so that the public could also have access to large scale data on text and image pairings, the engineering effort that went into that is pretty amazing.https://t.co/E6OfpGcLEAhttps://t.co/UMyZZTGTVQ pic.twitter.com/KWe8QU8SJT
— cultural technology (@MathYouF) November 3, 2022
Muchos generadores de texto a imagen se derivan de alguna manera de la base de datos LAION, aunque no siempre es claro cuáles son. OpenAI, desarrollador de DALL-E y ChatGPT, dijo que no utiliza LAION y que ha hecho ajustes a sus modelos para rechazar solicitudes de contenido sexual que involucre a menores.
Google creó Imagen —su modelo de texto a imagen— con base en un conjunto de datos de LAION, pero decidió no hacerlo público en 2022 luego de que una auditoría de la base de datos “descubrió una amplia gama de contenido inapropiado, incluidas imágenes pornográficas, insultos racistas y estereotipos sociales dañinos”.
Intentar eliminar los datos retroactivamente es difícil, por lo que el Observatorio de Internet de Stanford pide medidas más drásticas. Una es que cualquiera que haya construido conjuntos de entrenamiento a partir de LAION-5B —llamado así por los más de 5.000 millones de pares imagen-texto que contiene— “los elimine o trabaje con intermediarios para limpiar el material”. Otra es hacer que una versión anterior de Stable Diffusion desaparezca de todos lados, excepto los rincones más oscuros de internet.
“Las plataformas legítimas pueden dejar de ofrecer versiones de él para descargar”, especialmente si son utilizadas con frecuencia para generar imágenes de abuso y no tienen medidas de seguridad para bloquearlas, dijo Thiel.
Como ejemplo, Thiel mencionó a CivitAI, una plataforma preferida por las personas que crean pornografía generada por IA, pero que, explica, carece de medidas de seguridad para compararla con la creación de imágenes de niños. El informe también pide a la empresa de IA Hugging Face, que distribuye datos de entrenamiento para los modelos, que implemente mejores métodos para reportar y eliminar enlaces a material de abuso.
Hugging Face dijo que trabaja periódicamente con reguladores y grupos de seguridad infantil para identificar y eliminar material abusivo. Mientras tanto, CivitAI dijo que cuenta con “políticas estrictas” con respecto a la generación de imágenes que muestran a niños, y ha desplegado actualizaciones para proporcionar más salvaguardas. La compañía indicó también que está trabajando para asegurarse de que sus políticas se “adapten y crezcan” a medida que la tecnología evoluciona.
El informe de Stanford también cuestiona si cualesquiera fotografías de niños —incluidas las más benignas e inocentes— deberían ser introducidas en los sistemas de IA sin el consentimiento de sus familias dados los resguardos que ordena la ley federal de Protección de la Privacidad Infantil en Línea.
Rebecca Portnoff, directora de ciencia de datos de Thorn, una organización que desarrolla productos contra el abuso sexual infantil, dijo que su organismo ha realizado investigaciones que muestran que la prevalencia de imágenes generadas por IA entre los abusadores es pequeña, pero que crece constantemente.
Los desarrolladores pueden mitigar estos daños si se aseguran de que los conjuntos de datos que utilizan para desarrollar modelos de IA están libres de material de abuso. Portnoff dijo que también hay oportunidades para mitigar los usos nocivos en el futuro, cuando los modelos ya están en circulación.
Actualmente, las empresas de tecnología y los grupos de seguridad infantil asignan a los videos e imágenes un “hash” —una firma digital única— para rastrear y eliminar material de abuso infantil. Según Portnoff, el mismo concepto se puede aplicar a los modelos de IA de los que se hace mal uso.
“Eso no está sucediendo actualmente”, dijo. “Pero es algo que, en mi opinión, puede y debe hacerse”.
LAION ha retirado temporalmente la base de datos, como confirmó al portal especializado 404 Media, para asegurarse de que los conjuntos de datos “son seguros antes de volver a publicarlos”.
https://twitter.com/ZakugaMignon/status/1640304069758599168
