Image : Capture d’écran de Forensic Sketch AI-rtist par Sasha Luccioni
Deux développeurs ont utilisé le modèle de génération d’images DALL-E 2 d’OpenAI pour créer un programme de croquis médico-légal qui peut créer des croquis de police “hyper-réalistes” d’un suspect basés sur les entrées de l’utilisateur.
Le programme, appelé Forensic Sketch AI-rtist, a été créé par les développeurs Artur Fortunato et Filipe Reynaud dans le cadre d’un hackathon en décembre 2022. Les développeurs ont écrit que le but du programme est de réduire le temps qu’il faut habituellement pour dessiner un suspect d’un crime, qui est « d’environ deux à trois heures », selon une présentation téléchargée sur Internet.
“Nous n’avons pas encore sorti le produit, nous n’avons donc aucun utilisateur actif pour le moment”, ont déclaré Fortunato et Reynaud à Motherboard dans un e-mail conjoint. “A ce stade, nous essayons toujours de valider si ce projet serait viable à utiliser dans un scénario réel ou non. Pour cela, nous prévoyons de contacter les services de police afin d’avoir des données d’entrée sur lesquelles nous pourrons tester cela.
Des éthiciens et des chercheurs en IA ont déclaré à Motherboard que l’utilisation de l’IA générative dans la criminalistique policière est incroyablement dangereuse, avec le potentiel d’aggraver les préjugés raciaux et sexistes existants qui apparaissent dans les descriptions initiales des témoins.
“Le problème avec les croquis médico-légaux traditionnels n’est pas qu’ils prennent du temps à produire (ce qui semble être le seul problème que ce programme de croquis médico-légal AI tente de résoudre). Le problème est que toute esquisse médico-légale est déjà sujette aux préjugés humains et à la fragilité de la mémoire humaine », a déclaré Jennifer Lynch, directrice du contentieux de surveillance de l’Electronic Frontier Foundation, à Motherboard. “L’IA ne peut pas résoudre ces problèmes humains, et ce programme particulier les aggravera probablement de par sa conception même.”
Le programme demande aux utilisateurs de fournir des informations soit via un modèle qui demande le sexe, la couleur de la peau, les sourcils, le nez, la barbe, l’âge, les cheveux, les yeux et les descriptions de la mâchoire, soit via la fonction de description ouverte, dans laquelle les utilisateurs peuvent saisir n’importe quelle description. du suspect. Ensuite, les utilisateurs peuvent cliquer sur “générer un profil”, qui envoie les descriptions à DALL-E 2 et produit un portrait généré par l’IA.
“La recherche a montré que les humains se souviennent des visages de manière holistique, et non caractéristique par caractéristique. Un processus d’esquisse qui repose sur des descriptions de caractéristiques individuelles comme ce programme d’IA peut donner un visage étonnamment différent de celui de l’agresseur », a déclaré Lynch. “Malheureusement, une fois que le témoin a vu le composite, cette image peut remplacer dans son esprit son souvenir flou du véritable suspect. Cela n’est qu’exacerbé par une image générée par l’IA qui semble plus « réelle » qu’un croquis dessiné à la main. »
Créer des profils de suspects hyperréalistes ressemblant à des innocents serait particulièrement nocif pour les Noirs et les Latinos, avec Les Noirs sont cinq fois plus susceptibles d’être arrêtés par la police sans cause qu’un blanc. Les personnes de couleur sont aussi plus susceptibles d’être arrêtés, fouillés et soupçonnés d’un crimemême lorsqu’aucun crime n’a été commis.
“Si ces croquis médico-légaux générés par l’IA sont un jour rendus publics, ils peuvent renforcer les stéréotypes et les préjugés raciaux et peuvent entraver une enquête en attirant l’attention sur des personnes qui ressemblent au croquis plutôt qu’à l’auteur réel”, a déclaré Lynch, ajoutant que les erreurs d’identification par témoin oculaire ont contribué à 69 % des condamnations injustifiées qui ont ensuite été infirmées par des preuves ADN aux États-Unis. Dans l’ensemble, des analyses médico-légales fausses ou trompeuses, y compris des croquis de la police, ont contribué à près de 25 % de toutes les condamnations injustifiées à travers les États-Unis.
L’ajout de DALL-E 2 dans le processus déjà peu fiable de descriptions de témoins aggrave le problème. Sasha Luccioni, chercheuse scientifique à Visage étreignant qui a tweeté à propos du programme de croquis de la police, a déclaré à Motherboard que DALL-E 2 contient de nombreux biais– par exemple, il était connu d’afficher principalement des hommes blancs lorsqu’on lui demandait de générer une image d’un PDG. Luccioni a déclaré que bien que ces exemples reviennent à plusieurs reprises, nous n’avons toujours pas été en mesure d’identifier la source exacte des biais du modèle et sommes donc incapables de prendre les bonnes mesures pour les corriger. OpenAI développe continuellement des méthodes pour atténuer les biais dans la sortie de son IA.
“Typiquement, ce sont les groupes marginalisés qui sont déjà encore plus marginalisés par ces technologies à cause des biais existants dans les ensembles de données, à cause du manque de surveillance, car il y a beaucoup de représentations des personnes de couleur sur Internet qui sont déjà très raciste et très injuste. C’est comme une sorte de facteur aggravant », a ajouté Luccioni. Comme d’autres experts en IA, elle décrit le processus comme une boucle de rétroaction dans laquelle les modèles d’IA contiennent, produisent et perpétuent des biais alors que les images qu’ils génèrent continuent d’être utilisées.
Fortunato et Reynaud ont déclaré que leur programme part du principe que les descriptions de la police sont dignes de confiance et que “les policiers devraient être les seuls responsables de veiller à ce qu’un croquis juste et honnête soit partagé”.
“Toute incohérence créée par celui-ci doit être corrigée manuellement ou automatiquement (en demandant des modifications), et le dessin résultant est l’œuvre de l’artiste lui-même, assisté d’EagleAI et du témoin”, ont déclaré les développeurs. “L’objectif final de ce produit est de générer le dessin le plus réaliste d’un suspect, et toute erreur doit être corrigée. De plus, le modèle ne produira probablement pas le résultat idéal en une seule tentative, nécessitant ainsi des itérations pour obtenir le meilleur résultat possible.
Les développeurs eux-mêmes admettent qu’il n’existe aucune métrique pour mesurer la précision de l’image générée. Dans une affaire pénale, les inexactitudes peuvent ne pas être corrigées tant que le suspect n’a pas été retrouvé ou n’a pas déjà passé de temps en prison. Et tout comme avec quand la police partage les noms et les photos des suspects sur les réseaux sociaux, le partage d’une image inexacte avant cette date peut également éveiller la méfiance envers des populations déjà surcriminalisées. Les critiques soulignent également que l’hypothèse des développeurs sur la neutralité de la police ignore preuves bien documentées ce les flics mentent régulièrement tout en présentant des preuves et en témoignant dans des affaires pénales.
L’outil d’intelligence artificielle de Fortunato et Reynaud n’est pas le premier logiciel à créer la controverse avec des images générées de suspects. En octobre 2022, le service de police d’Edmonton (EPS) a partagé une image générée par ordinateur d’un suspect qui a été créée avec le phénotypage de l’ADN, ce qui a provoqué des réactions négatives de la part d’experts en matière de confidentialité et de justice pénale, et le service a supprimé l’image de son site Web et des médias sociaux. Encore une fois, le manque de précision dans la diffusion d’une photo apparemment réaliste a mis en danger des innocents. «J’ai donné la priorité à l’enquête – qui dans ce cas impliquait la poursuite de la justice pour la victime, elle-même membre d’une communauté racialisée, plutôt que le préjudice potentiel à la communauté noire. Ce n’était pas un compromis acceptable et je m’en excuse », a écrit Enyinnah Okere, directrice de l’exploitation d’EPS, dans un communiqué de presse à la suite du contrecoup.
L’année dernière, un rapport du Center on Privacy & Technology ont constaté que les outils de reconnaissance faciale de l’IA entraînent souvent des biais et des erreurs dans les affaires médico-légales. Le rapport indique que la reconnaissance faciale n’est pas une source fiable de preuves d’identité et que l’algorithme et les étapes humaines d’une recherche par reconnaissance faciale peuvent aggraver les erreurs des autres. “Étant donné que les visages contiennent des informations intrinsèquement biaisées telles que la démographie, les expressions et les traits de comportement supposés, il peut être impossible d’éliminer le risque de biais et d’erreur”, indique le rapport.
“Je pense qu’à mesure que cette technologie mûrit, nous devrions commencer à développer des normes de choses pour lesquelles ces modèles peuvent et ne peuvent pas être utilisés. Donc, pour moi, cet artiste médico-légal est très clairement quelque chose pour lequel nous ne devrions pas utiliser la technologie générative », a déclaré Luccioni. “Et donc, peu importe à quel point nous connaissons les biais des modèles, il n’y a que certaines applications pour lesquelles il ne devrait pas être utilisé.”
OpenAI a refusé de commenter le dossier sur l’utilisation de sa technologie dans le projet de Fortunato et Reynaud.