Twitter vante le blocage « transparent » des contenus sur la maltraitance des enfants alors qu'Elon Musk fait face à un contrôle accru de l'UE
Le géant des médias sociaux Twitter affirme qu’un nouveau système visant à empêcher la diffusion de matériel pédopornographique (CSAM) sur sa plateforme a été « déployé de manière transparente », testant la technologie développée par le groupe à but non lucratif Thorn.
Le compte Twitter Safety a annoncé mardi avoir participé à un test bêta de la solution Safer du groupe, basée sur l'IA, pour détecter, supprimer et signaler de manière proactive les contenus textuels contenant de l'exploitation sexuelle d'enfants.
Grâce à notre partenariat continu avec @thorn, nous faisons davantage pour créer une plateforme sécurisée. X a participé aux tests de la solution de Thorn pendant sa phase bêta afin de détecter de manière proactive l'exploitation sexuelle des enfants par SMS. Ce travail s’appuie sur nos efforts incessants pour lutter contre la sexualité des enfants…
– Sécurité (@Safety) 7 mai 2024
"Grâce à notre partenariat continu avec Thorn, nous faisons davantage pour créer une plateforme sécurisée", a écrit le compte Twitter Safety. « Ce travail s’appuie sur nos efforts incessants pour lutter contre l’exploitation sexuelle des enfants en ligne, dans le but spécifique d’étendre nos capacités à lutter contre les contenus très préjudiciables où un enfant court un risque imminent. »
"Cette solution auto-hébergée a été déployée de manière transparente dans nos mécanismes de détection, nous permettant de nous concentrer sur les comptes à haut risque", poursuit-il.
Lancé en 2022 par les acteurs Demi Moore et Ashton Kutcher, Thorn développe des outils et des ressources axés sur la défense des enfants contre les abus et l'exploitation sexuels. En avril, Google, Meta et OpenAI ont signé un engagement émis par Thorn et une autre organisation à but non lucratif All Tech is Human, s'engageant à appliquer des garde-fous autour de leurs modèles d'IA.
«Nous avons beaucoup appris de nos tests bêta», a déclaré Rebecca Portnoff, vice-présidente de la science des données de Thorn, à Decrypt. « Même si nous savions dès le départ que les abus sexuels sur enfants se manifestaient dans tous les types de contenu, y compris le texte, nous avons vu concrètement lors de ce test bêta comment l'apprentissage automatique/l'IA pour le texte peut avoir un impact réel à grande échelle.
Comme l'explique Portnoff, le modèle Safer AI comprend un modèle de langage formé sur des textes liés à la sécurité des enfants et un système de classification qui génère des prédictions multi-étiquettes pour les séquences de texte. Les scores de prédiction vont de 0 à 1, indiquant la confiance du modèle dans la pertinence du texte pour diverses catégories de sécurité des enfants.
Bien que Portnoff n'ait pas pu divulguer quelles autres plateformes de médias sociaux participaient au test bêta de la suite de produits Safer, elle a déclaré que la réponse des autres sociétés avait été positive.
"Certains partenaires ont partagé que le modèle est particulièrement utile pour identifier les activités préjudiciables d'abus sexuels sur enfants, hiérarchiser les messages signalés et soutenir les enquêtes sur les mauvais acteurs connus", a déclaré Portnoff.
En raison de la prolifération des outils d'IA générative depuis le lancement de ChatGPT en 2022, des groupes de surveillance d'Internet comme l'Internet Watch Foundation, basée au Royaume-Uni, ont tiré la sonnette d'alarme concernant un flot de pédopornographie générée par l'IA circulant sur les forums du Dark Web, affirmant que le contenu était illicite. pourrait submerger Internet.
L'annonce de l'équipe de sécurité de Twitter est intervenue quelques heures avant que l'Union européenne n'exige que l'entreprise explique les informations faisant état d'une « diminution des ressources de modération de contenu ».
Le dernier rapport de transparence que Twitter a soumis aux régulateurs européens indique que les mesures de réduction des coûts d'Elon Musk ont réduit la taille de l'équipe de modération de contenu de la plateforme de près de 20 % depuis octobre 2023 et réduit le nombre de langues surveillées de 11 à 7.
"La commission recherche également plus de détails sur les évaluations des risques et les mesures d'atténuation liées à l'impact des outils d'IA générative sur les processus électoraux, la diffusion de contenus illégaux et la protection des droits fondamentaux", ajoute la demande.
L’UE a ouvert une procédure formelle contre Twitter en décembre 2023, craignant que l’entreprise ait violé la loi sur les services numériques dans plusieurs domaines, notamment la gestion des risques, la modération du contenu, les « modèles sombres » et l’accès aux données pour les chercheurs.
La commission a déclaré que Twitter devait fournir les informations demandées d'ici le 17 mai et répondre aux questions supplémentaires d'ici le 27 mai.
Edité par Ryan Ozawa.
