La décision a été prise par Google après que son modèle d'IA a créé des images avec une origine raciale, une couleur de peau et un sexe incorrects par rapport à l'histoire des pères fondateurs américains et des soldats allemands pendant l'ère nazie.

L'incident s'est produit lorsque certains utilisateurs ont demandé à Gemini de créer des images de groupes ou de personnages historiques tels que les pères fondateurs des États-Unis. En conséquence, l'IA a renvoyé des images de personnes non blanches, une inexactitude dans les images historiques.
Cela a conduit certains à penser que Google évite délibérément de représenter les personnes blanches, allant ainsi à l’encontre de la réalité historique.
The Verge a réalisé un test avec Gemini, qui comprenait un dessin d’« un sénateur américain des années 1800 ». En conséquence, l’IA a créé des personnes qui ressemblaient à des femmes noires et à des Amérindiens.

En fait, la première femme sénatrice américaine était une femme blanche en 1922. La vision de l’IA de Gemini est censée effacer essentiellement l’histoire du racisme et de la discrimination sexuelle.
Après que Google a désactivé la capacité de Gemini à générer des images humaines, le système a répondu à cette demande par la réponse suivante : « Nous travaillons à améliorer la capacité de Gemini à générer des images humaines. Nous espérons que cette fonctionnalité sera bientôt de retour et vous informerons dès que la mise à jour sera disponible. »
Le modèle d'IA de génération de texte Gemini (anciennement Bard) de Google a été lancé en février pour concurrencer OpenAI et Copilot de Microsoft. Cet outil génère une collection d'images en fonction du contenu textuel descriptif de l'utilisateur.