L'outil Microsoft AI accusé de générer des images violentes et sexuelles et d'ignorer les droits d'auteur

Shane Jones, un ingénieur de Microsoft, a fait part de ses inquiétudes concernant le contenu sexuellement suggestif et violent généré par leur outil d'image d'IA, Copilot Designer (anciennement Bing Image Creator ). Jones, qui travaille dans l'entreprise depuis six ans, a accusé le géant du logiciel d'ignorer ses avertissements et de ne pas prendre les mesures adéquates.

En essayant l'outil d'image d'IA basé sur OpenAI de Microsoft, Copilot Designer, sorti en mars 2023, Jones a découvert des résultats inquiétants. Semblable au DALL-E d'OpenAI, les utilisateurs saisissent des invites textuelles pour créer des images. Cependant, Jones affirme que la " créativité " encouragée est allée trop loin.

Le vétéran de Microsoft teste activement les vulnérabilités du produit depuis un certain temps déjà. Cette pratique est connue sous le nom de red-teaming. Son exploration avec Copilot Designer a abouti à des résultats préoccupants qui violaient les principes d'IA responsable fréquemment cités par Microsoft.

Un employé tire la sonnette d'alarme sur le potentiel de contenu nuisible de Copilot Designer

Lors des tests, Jones a découvert que l'outil de génération d'images d'IA créait du contenu dérangeant, notamment des démons, des thèmes violents ainsi que des références à l'avortement, des adolescents armés, de la violence sexualisée contre les femmes et de la toxicomanie chez les mineurs.

"Cela a été un moment révélateur", a déclaré Jones, qui n'a cessé de tester le générateur d'images, dans une interview à CNBC . "C'est à ce moment-là que j'ai réalisé pour la première fois, wow, ce n'est vraiment pas un modèle sûr." Pour aggraver les choses, il n'a même pas affiché d'avertissements concernant le contenu.

Ironiquement, Bing Image Creator a affiché des avertissements de violation de contenu pour des expressions sûres à utiliser et même des images censurées qu'il avait générées par lui-même l'année dernière. Jones est actuellement l'un des principaux responsables de l'ingénierie logicielle au siège social de Redmond, dans l'État de Washington.

Il est à noter que Jones ne travaille pas sur Copilot à titre professionnel mais en tant qu'équipe rouge. Il fait partie des employés (et des étrangers) qui, pendant leur temps libre, choisissent de tester la technologie d'IA de l'entreprise et de voir où des problèmes peuvent surgir.

Des inquiétudes font surface concernant le générateur d'images IA de Microsoft

Alarmé par son expérience, Jones a commencé à rendre compte en interne de ses conclusions en décembre. Bien qu'il ait reconnu ses inquiétudes, le géant du logiciel n'a pas retiré le produit du marché. Au lieu de cela, la société aurait renvoyé Jones vers OpenAI.

Lorsque Jones n'a pas eu de réponse de la startup d'IA dirigée par Sam Altman, il a publié une lettre ouverte sur LinkedIn demandant au conseil d'administration d'OpenAI de retirer DALL-E 3 (la dernière version du modèle d'IA) pour une enquête.

Le service juridique de Microsoft a demandé à Jones de supprimer immédiatement sa publication sur LinkedIn et il n'a eu d'autre choix que de s'y conformer. Il a fait monter ses inquiétudes en janvier lorsqu'il a écrit une lettre aux sénateurs américains à ce sujet et rencontré des membres du comité sénatorial du commerce, des sciences et des transports.

Il a récemment envoyé une lettre à la présidente de la Federal Trade Commission, Lina Khan, et une autre au conseil d'administration de Microsoft. "Au cours des trois derniers mois, j'ai exhorté à plusieurs reprises Microsoft à retirer Copilot Designer de l'usage public jusqu'à ce que de meilleures garanties puissent être mises en place", a écrit Jones dans la lettre adressée à Khan.

Puisque Microsoft a " refusé cette recommandation ", Jones a déclaré qu'il exhortait l'entreprise à ajouter des informations sur le produit et à modifier la note de l'application Android sur Google pour refléter qu'elle est réservée à un public mature.

"Nous nous engageons à répondre à toutes les préoccupations des employés conformément aux politiques de notre entreprise et apprécions les efforts des employés pour étudier et tester notre dernière technologie afin d'améliorer encore sa sécurité", a déclaré un porte-parole de Microsoft à CNBC.

La société a assuré qu'elle disposait de " canaux de reporting internes robustes " qui enquêtent et résolvent correctement tout problème. Pourtant, certains utilisateurs ont récemment signalé que l'IA Copilot de Microsoft générait des réponses agressives et troublantes lorsqu'on leur demandait des questions spécifiques.