Les données de formation sur l’IA comprenaient du matériel sur les abus sexuels sur enfants, selon des chercheurs de Stanford

Stable Diffusion, créateur de l’outil d’image générative open source Stability AI, a supprimé un ensemble de données de formation à l’IA largement utilisé après que les chercheurs ont découvert que le grattoir de données avait ingéré du matériel d’abus sexuel sur des enfants – ou CSAM.

La découverte a été faite par des scientifiques de Stanford et rapportée par 404 Media.

Les grands modèles de langage et les générateurs d’images d’IA comme Stable Diffusion, Midjourney et Dall-E s’appuient sur des ensembles de données massifs pour former et générer ultérieurement du contenu. Beaucoup de ces ensembles de données, comme LAION-5B, incluent des images récupérées sur Internet.

Beaucoup de ces images représentent des préjudices causés à des mineurs et sont condamnées au niveau international comme illégales.

« De nombreux modèles plus anciens, par exemple, ont été formés sur le corpus ImageNet1, étiqueté manuellement, qui contient 14 millions d’images couvrant tous les types d’objets », a écrit David Thiel, chercheur à Stanford. «Cependant, des modèles plus récents, tels que Stable Diffusion, ont été formés sur les milliards d’images récupérées dans l’ensemble de données LAION-5B2.

« Cet ensemble de données, alimenté par une exploration essentiellement non guidée, comprend une quantité importante de matériel explicite », a expliqué Thiel.

Selon le rapport de Stanford, les images illégales ont été identifiées à l’aide d’une détection basée sur le hachage perceptuel et cryptographique qui comparait le hachage d’une image dans l’ensemble de données à celui d’un CSAM connu. L’image est signalée comme CSAM potentielle si les hachages sont similaires.

Thiel a noté que les ensembles de données utilisés pour former les générateurs d’images n’incluaient pas les images en question, mais pouvaient néanmoins donner accès au matériel illégal.

« Les ensembles de données LAION n’incluent pas les images réelles ; au lieu de cela, ils incluent un lien vers l’image originale sur le site à partir duquel elle a été récupérée », a déclaré Thiel. Dans de nombreux cas, ces images avaient déjà été supprimées.

« Les ensembles de données à l’échelle du Web sont très problématiques pour un certain nombre de raisons, même avec les tentatives de filtrage de sécurité », a déclaré Thiel. « En dehors du CSAM, la présence d’images intimes non consensuelles (NCII) ou de contenu » limite « dans de tels ensembles de données est essentiellement certaine, sans parler des problèmes potentiels de droits d’auteur et de confidentialité. »

Bien que LAION et Stability AI n’aient pas encore publié de déclarations officielles, LAION a déclaré à 404 Media qu’elle travaillait avec des universités, des chercheurs et des ONG pour améliorer ses filtres et qu’elle travaillait avec l’Internet Watch Foundation (IWF) pour identifier et supprimer les contenus soupçonnés de violer les lois..

Thiel a souligné la tendance des modèles d’IA à associer les femmes à la nudité et le fait que les applications NCII basées sur l’IA sont de plus en plus faciles à créer.

« Nous savons déjà que de nombreux points de contrôle SD1.5 sont tellement biaisés qu’il faut mettre ‘enfant’ dans les invites négatives pour les amener à ne pas produire de CSAM, et qu’ils ont tendance à corréler les femmes avec la nudité », a écrit Thiel dans un communiqué de BlueSky. fil de discussion. « C’est pourquoi les applications de ‘déshabillage’ qui ont été à l’origine de tant d’incidents NCII sont triviales à produire. »

Plus tôt ce mois-ci, la société d’analyse Graphika a publié un rapport selon lequel les images intimes non consensuelles (NCII) ont grimpé en flèche depuis janvier pour atteindre plus de 2 408 % autour de 32 000 images, en partie grâce aux applications de déshabillage IA qui permettent aux utilisateurs de retirer les vêtements d’une image en utilisant Technologie de contrefaçon profonde de l’IA.

Les ensembles de données comme LAION et les modèles formés sur eux, a conclu Thiel, devraient être mis de côté.

et nous pouvons aider à établir des liens avec d’autres personnes qui ont besoin d’aide ici.

Alors que Thiel a tiré la sonnette d’alarme sur le CSAM dans les données de formation des modèles d’IA, il a souligné l’importance du développement open source, le qualifiant de meilleur que les modèles « gardés » par un petit groupe d’entreprises.

« Je sais que certains utiliseront ces résultats pour argumenter contre le ML open source, ce qui n’est pas mon intention », a-t-il déclaré. « Le ML open source présente de nombreux problèmes, mais il en va de même pour le ML, gardé par une poignée de mégacorps et de riches accélérationnistes. Tous deux ont été déployés à la hâte, sans garanties appropriées.

En octobre, l’Internet Watch Foundation, un groupe de surveillance d’Internet basé au Royaume-Uni, a averti que les contenus pédopornographiques pourraient « submerger » Internet après que le groupe ait trouvé plus de 20 000 images en un seul mois.

Ajoutant au problème de la lutte contre le CSAM en ligne, Dan Sexton, directeur technique de l’IWF, a déclaré à Decrypt que, parce que les générateurs d’images IA sont de plus en plus sophistiqués, il devient de plus en plus difficile de dire si une image est générée par l’IA ou par un être humain réel.

et par conséquent, vous ne pouvez pas non plus leur faire confiance. »

Sexton a déclaré que la mission de l’IWF visant à supprimer les contenus pédopornographiques d’Internet se concentre principalement sur le « Web ouvert », également connu sous le nom de Web de surface, en raison de la difficulté de retirer du Dark Web les contenus pédopornographiques.

a déclaré Sexton.