Commentaires : Google retire les prénoms genrés des suggestions automatiques de Gmail

Okay, je vais essayer d’être claire, puisque je ne l’ai visiblement pas été. Ce n’est pas pour une minorité que j’espère vous ne considérez pas être les LGBTQ. Ca touche tout le monde ! Il n’existe pas de “il” ou de “elle” prédéfini pour tous les métiers, rémunérés ou non. La prédiction d’IA est pour tous et toutes, et ce n’est pas dans 50% des mails qu’on va avoir 100% d’erreurs, mais dans 100% des mails qu’il y aura 50% d’erreurs. Donc 100% de relecture. Ce qu’on devrait déjà faire en fait, mais qui reliera systématiquement ses mails ? Mais ce qui veut dire que la productivité n’est pas toujours au rendez-vous.
Non, ce n’est pas pour faire plaisir à je-ne-sais-quelle-minorité. C’est pas une minorité qui est impactée, c’est tout le monde, et encore plus les gens communiquant avec des personnes dont les métiers ont une représentation attribuée à un genre, et dont l’attribution tend à être fausse.
C’est pour ça que je parlais de fiabilité et que j’insistais sur ce point. Si c’est une question purement minoritaire, je ne serais pas aussi catégorique. Appeler une femme “il” ou un homme “elle” est une erreur de genre qui avec cette prédiction automatique est apparue de manière systématique dans tous les mails, du moins ceux qui font appel à ces pronoms. C’est pas “ouin ouin mégenrisme lgbtq méchant cishet pas beau”.
C’est comme si vous aviez une pièce défectueuse dans toute une gamme de vélos. Le vendeur s’adresse à vous et vous dit “voilà, ces vélos ont des écrous qui sont mal moulés, sur toute la gamme, y a moins d’une chance sur 2 qu’un écrou pète.” Ca ne veut pas dire que moins de 50% des vélos vont avoir tous les écrous pétés, ça veut dire qu’il y a 100% de vélos avec des écrous qui peuvent péter. Et ça ne veut pas dire non plus que tous les vélos vont péter l’écrou, mais vous aurez un vélo avec un écrou qui a moins d’une chance sur deux de péter, et ce sur tous les vélos de cette gamme. Eh bien l’IA de Google, c’est pareil. C’est pas une minorité de mails qui sont touchés, c’est tous, parce que l’IA n’a pas pour destination moins de 50% des gens, mais tous les gens.
Mais franchement là, je ne peux pas mieux exprimer le problème. Si vous persistez à croire que c’est pour une minorité, c’est pas grave. Pour le coup, je développe des IA en amatrice, pour le lolz, et ce type de problèmes insolvables par IA est quelque chose qui est courant. On ne peut pas résoudre la question de la prédiction quand les données d’entrée sont trop floues sur la question, et pour l’histoire des genres, c’est le cas. Les IA fonctionnent par équations, et les équations sémantiques sont trop vastes et floues pour permettre une distinction efficace pour l’instant. Ça viendra peut-être, c’est peut-être qu’une question de temps, mais pour le moment c’est inefficace, point.
Le coup de la vision “LGBTQ” de l’article vous a induit en erreur, c’est plus global que ça. C’est pas une volonté de lobbys ou quoi.
Et non, ce n’est pas grave. C’est juste que c’est improductif de faire relire un mail rédigé par une IA pour corriger ses fautes. Autant écrire le mail soi-même.

on se comprend vraiment pas… C’est un moteur de suggestion donc si c’est faux, tu n’utilises juste pas la suggestion. Quel est le problème? Le système ne répond pas à ta place.
Entre je n’ai aucun choix et j’ai un choix qui est parfois bon et parfois faux, au moins dans le second cas, je peux parfois bénéficier de la réponse rapide… donc globalement je serai plus efficace.

Mais quel était l’intérêt alors de dire qu’on bloque la fonctionnalité, surtout qu’apparemment ce n’est qu’un morceau de la fonctionnalité puisque la complétion automatique fonctionne encore pour les autres pronoms, à cause d’une minorité?

EDIT : Là, ce que je vais dire est purement spéculatif, mais si l’IA aujourd’hui suggère, mais que Google rétropédale pour son intégration, c’est qu’à mon avis ils avaient une autre idée derrière la tête, à savoir faire de l’automatisation de réponse, par exemple si quelqu’un utilise une commande vocale “OK Google, répond à Dominique que Camille sera là à 15 heures”. Mais là c’est de l’hypothèse.

Je pense vraiment que c’est par pure démagogie et faire plaisir à des minorités.
C’est bien le problème…

C’est possible aussi mais ça n’arrive pas à me convaincre. En tout cas, vu toute la problématique que pose les équations sémantique, et pas que sur ce que propose Google, c’est un noeud qu’il est difficile à démêler. Ils reviendront sûrement avec une version améliorée de l’algorithme dans quelques années. Ils sont pas les seuls à se casser les dents là dessus. La seule et unique raison du retrait est qu’ils sont pas capables de faire un dispositif devinant le genre de l’individu en face. Le reste, c’est de la com. J’écris le reste pour d’éventuels lecteurs/lectrices intéressé/es
Après m’être renseignée plus en détail, le problème va effectivement au-delà des minorités innommables (pas le courage de chercher toutes les lettres inclusive). Quand vous saisissiez “I want to meet an investor” (je veux rencontrer un/une investisseur/e), l’IA propose systématiquement "Do you want to meet him ? “ (voulez-vous le rencontrer ?). L’IA à compris que les investisseurs sont tous des hommes, simplement parce que la majorité des investisseurs le sont. Vous qui connaissez cet investisseur/e, c’est bon pas de problème, et puis comme vous l’avez dit c’est une suggestion donc c’est pas grave. Mais si ça pose problème à Google, c’est parce qu’il faut bien comprendre que ça va au-delà du simple sexisme suggéré. En IA, on cherche avant tout à rendre efficace un réseau de neurones, mais aussi à le rendre meilleur que nous, tout en évitant les dérapages éthiques (voir Microsoft TAI). Le but final quand même, c’est qu’on automatise les tâches rébarbatives. Mais si on donne assez de temps à Google, ils seront assez rapides pour remettre un système prédictif du genre assez fiable pour éviter les mauvaises suggestions et, plus tard, permettre les automatismes.
Ce que ça prouve surtout c’est que les IA, neutres, reflètent nos biais cognitifs. On veut éviter ces biais dans l’IA de service parce que justement, on ne veut pas reproduire nos défauts humains dans la machine. Ça serait contre-productif, ça réduirait la rentabilité de notre projet, voire ça finirait par créer des inégalités. C’est absolument négligeable sur de la suggestion mais une IA qui sert et qui marche peut être utilisée sur de nombreux services. Et si ces services sont décisionnaires, ce qui peut être le cas de services impliquant cette IA sémantique comme la communication marketing (pub), alors les biais humains intégrés dans ces IA elles-mêmes intégrées dans ces services sont de nature à générer des scandales éthiques.

TL;DR : si Google a rétropédalé avec son IA, c’est parce qu’ils se sont rendus compte que des biais humains intervenaient dans le processus d’attribution du genre, et si ce n’est pas grave pour une suggestion, cette IA sera utilisée ailleurs, là où elle est de nature à générer des scandales éthiques.

Donc, sous prétexte qu’il y a risque d’avoir 50% d’erreur, on supprime les 50% qui peuvent être bon et on nous oblige à saisir systématiquement ? c’est ça le truc ?
Et donc on passe de 50% de risque de correction (donc 50% de chance de pas avoir à le faire) à 100% d’obligation de saisir soi même c’est ça ? C’est beau le progrès

J’aimerais que vous me disiez à quel point vous pouvez compter sur un système qui vous suggère à 50% de fiabilité que vous avez un cancer.

Ça n’a rien à voir. L’importance de la fiabilité est directement liée à l’importance de l’usage.
Et encore une fois un système de suggestion est encore moins contraint. tout comme dans un moteur de recherche, on préférera avoir des faux positifs que des faux négatifs.

Du coup, si c’est qu’un système de suggestion, c’est pas grave non plus qu’il soit retiré quand l’organisme le pilotant estime qu’il ne fait pas son travail correctement. Ce sont des pronoms, trois lettres en moyenne, si c’est pas grave de suggérer, c’est pas grave de ne pas suggérer non plus. Le pourquoi (éthique, edit) du retrait c’est de la com.

Bien sûr, ça leur appartient, ils font ce qu’ils veulent.
Mais moi je perds en productivité donc je ne suis pas content. Et le jour ou le ratio content du service/mécontent ne sera plus favorable alors je changerai.
La communication de Google n’a aucune valeur pour moi et contribue plutôt à m’exaspérer qu’autre chose.

On parle de saisie de mot, y’a rien de grave à se tromper là dedans, faut pas systématiquement faire des comparaison stupide (surtout avec quelqu’un dont la femme à perdu contre le cancer y’a 8 mois justement)

Et pourquoi ne pas laisser à l’utilisateur le choix d’avoir un risque d’erreur ?

l’IA va se nourrir de ce que vous écrivez ou non. Si la suggestion est refusée plus de 75% du temps, elle va être considérée comme une erreur, et l’IA va tenter de corriger. Sinon, elle va considérer l’erreur acceptable et la propager. C’est courir le risque de confirmer le biais cognitif humain de manière exponentielle et donc d’avoir une IA qui va proposer systématiquement l’erreur à l’utilisation,parce que c’est ce qu’elle aura appris. Et l’IA aura échoué à remplir son rôle de prédiction comme il faut.
C’est pour ça que j’insiste sur le fait que c’est important qu’ils mettent en pause et corrigent l’IA, parce que ces systèmes-là sont potentiellement une manne financière non négligeable, mais si elle ne fonctionne pas comme il faut, adieu les profits !
Mais la sémantique c’est archi-dur. Et pour expliquer tous les enjeux derrière une IA défaillante, il faudrait un cours empirique de 22 heures. Laisser le choix à l’utilisateur c’est courir le risque de propager des biais cognitifs humains.
Mais je le redis, dans l’absolu c’est pas gravissime extraordinaire, pas comme ma comparaison foireuse, mais un système qui propage une erreur est un système défaillant.
Et c’est pas cool pour ceux qui ne s’en offusquaient pas et qui ne voyaient pas le problème, sûrement majoritaires, mais les fameux scandales des “groupes minoritaires” que vous dénoncez comme des broutilles, pour les entreprises comme Google c’est des points en moins en bourse et des millions de bénéfice en moins. Oui c’est purement mercantile leur initiative, cherchez pas l’éthique derrière, c’est une question de pognon. Si ils proposent une IA qui est pas efficace ça décourage l’investissement en IA et du coup les rentrées de pognon.

Une IA reste un système informatique et cette partie de l’IA pourrait être cloisonnée pour ne pas remonter son apprentissage. De plus contrairement à ce que tu dis, l’IA pourrait pondérer ce que JE saisis pour lui donner plus de valeur dans MES résultats en perturbant moins les résultats globaux. Cela me permettrait de continuer de bénéficier du service sans pénaliser les usages plus globaux de l’IA. Mais là on est clairement dans une opération marketing au bénéfice de minorité.

Juste pour être clair encore une fois. Je comprends les impératifs de Google d’un point de vue de l’image et du financier. Moi je parle simplement de mon usage et du fait de faire “payer” la masse pour des minorités. Je pense sincèrement que ce genre de discrimination"positive" est néfaste et ne sert qu’à créer du ressentiment vis à vis de ces populations

La partie cloisonnée n’est pas impactée. C’est d’ailleurs l’héritage de la saisie intuitive qui existe déjà dans les téléphones. C’est bien de l’IA sémantique globale que je parle.

Édit : je dois préciser un truc. Vos propres prédictions vont être adéquates pour vous, mais l’IA prendra toutes les prédictions, y compris les “cloisonnées”, pour faire son calcul global. C’est selon la situation qu’elle choisira de donner la prédiction de la partie globale ou de la partie cloisonnée. Donc à priori, si elle trouve une nouvelle situation, elle proposera du global, mais si vous avez été déjà confronté à cette situation elle pointera plutôt des prédictions pour vous. La question en sous-texte, c’est de savoir si on veut que notre IA sémantique globale soit “misogyne”, “discriminante”, et “sexiste”. Je mets entre guillemets parce que ça reste une machine et qu’au final ça reproduit seulement les biais cognitifs humains. Google a fait son choix. Pour des raisons OSEF, en réalité.

Malgré ces très intéressantes explications (ça fait du bien de voir des commentaires pertinents ici !), j’suis assez d’accord avec tampigns pour dire que même s’il y a des raisons techniques, Google à fait ce choix pour son image, un choix politique, “dans l’air du temps”. Avec les mêmes contraintes techniques, ils n’auraient probablement pas fait le même choix il y a quelques années.