Par Stéphane Bortzmeyer.
Bref, chaque fois que vous entendrez quelqu’un éluder sa responsabilité en se cachant derrière « c’est l’algorithme », rappelez-lui qu’un algorithme, c’est un ensemble de décisions prises par des humains, et que ces humains sont responsables de ces décisions.
Je l'avais déjà lu par ailleurs, mais je profite de cet article pour le partager : l'algo de Netflix personnalise les vignettes des films et séries en fonctions de ce que vous avez déjà regardé. Si vous avez principalement regardé des fictions avec un casting majoritairement noir, les acteurs présents sur la vignette seront noirs (même s'ils n’apparaissent que très peu au final, avec un gros risque de déception à la clé...) ; si vous avez regardé des romances, vous aurez une image "romantique", ou inversement, une image tendant vers l'horrible si vous êtes amateurice de sensations fortes (l'exemple des vignettes de Stranger things présenté dans l'article est très parlant).
Au final, comme pour l'exemple des personnes noires de l'article, le risque de biais est important :
Cet exemple montre en fait combien il peut parfois y avoir un énorme décalage entre l’intention derrière l’algorithme (ici, la recommandation personnalisée), et les biais inconscients que l’IA peut incorporer, et les problèmes qu’elle peut créer.
L’enjeu sous-jacent réside dans le manque de diversité des castings des films occidentaux : les longs-métrages et séries qui mettent en scène un casting majoritairement noir sont encore très rares — il n’y a qu’à voir le succès de Black Panther pour se rendre compte du besoin de telles représentations.
Alors non, ce n'est pas "un algorithme raciste a privé des patients noirs", mais plutôt, "le concepteur raciste d'un algorithme"...
Pour arriver à leurs conclusions, les auteurs de l’étude ont analysé les dossiers médicaux de 57.000 patients d’un réseau d’établissements de Boston et des environs. Ils ont constaté que la pathologie rénale d’un tiers des patients noirs aurait été jugée plus grave si elle avait été évaluée selon les mêmes critères que celle des patients blancs.
Oui, en étudiant l’algorithme, j’ai constaté qu’il poussait effectivement à la guerre civile, aux États-Unis mais aussi en France. On trouve sur YouTube une vidéo intitulée «Eric Zemmour: La guerre civile sera sanglante», recommandée des millions de fois car l’algorithme s’est rendu compte que parler de guerre civile générait des clics et que ça faisait rester les gens plus longtemps sur le réseau. Dans la vidéo, Eric Zemmour n’appelle pas directement à la guerre civile mais suggère qu’elle est inéluctable. Et c’est très dangereux puisque au lieu de se parler pour résoudre les problèmes, les gens se préparent à ce genre de situation – en achetant par exemple des armes. De son côté, Eric Zemmour comprend bien sûr que plus il est polémiste, plus il est populaire, et se renforce donc dans son discours extrémiste. C’est un cercle vicieux.
Charmant, n'est ce pas ?
Depuis mon départ de YouTube, j’ai créé un outil, AlgoTransparency.org, chargé d’informer sur le fonctionnement des algorithmes influençant l’accès à l’information.
Le lien : https://algotransparency.org
Le sale job des personnes qui font de la modération sur Facebook -donc il y a de la modération sur Facebook, mais Facebook ne veut surtout pas que ça se sache- et qui se tapent des stress post-traumatiques.
(version longue de l'extrait : https://invidio.us/watch?v=kv8RFAphI4Q&dark_mode=true&local=1&nojs=0&player_style=youtube&quality=dash)
Titre du reportage : "Au secours, mon patron est un algorithme". J'ai bien envie de le voir. Vidéo ici : https://www.france.tv/france-2/cash-investigation/1066737-au-secours-mon-patron-est-un-algorithme.html
From https://chaos.social/@SammyFisherJr/101630343936994828
Je continue le nettoyage de mon compte Twitter (Cf. https://www.sammyfisherjr.net/Shaarli/index.php?APwsQQ) ; je viens de décocher tout un tas d'options intrusives dans les options. Et est arrivé ce moment, où je me suis rendu compte que depuis toutes ces années, Twitter pensait que j'étais une femme, à cause de ce que je postais. Presque fier du coup, c'est con.
Transcription de l'image avant disparition de Mastodon :
Il s'agit d'une copie d'écran des paramètres de mon compte Twitter qui, dans la rubrique genre indique "femme", avec ce texte explicatif en-dessous :
Si vous n'avez pas indiqué votre sexe, il s'agit de celui qui est le plus fortement associé à votre compte, sur la base de votre profil et de votre activité. Ces informations ne sont pas visibles publiquement.
=> répartition genrée et donc sexiste par un algo.
N.B. : depuis, j'ai supprimé mon compte Twitter (fin 2023 ou début 2024, je ne sais plus)
Le problème est que si l’utilisateur contrôle la première couche ["ce que nous partageons"], ce n’est pas le cas des deux autres ["ce que nos comportement disent aux machines" et "ce que les machines pensent de nous". Or ces inférences permettent de déterminer beaucoup de nos comportements : profil psychométrique, QI, situation familiale, maladies, obsessions, engagements… Or, nombre de décisions contraignantes sont prises depuis ces interprétations et corrélations. Le problème est que le « double » numérique que le traitement de ces données produit ne nous est pas accessible… et que si nous y avions accès, nous pourrions ne pas nous y reconnaître. « Que diriez-vous si vous découvriez que votre « double de données » est malade ou émotionnellement instable, sans possibilité de crédit, ou plus simplement pas assez cool, et tout cela à cause de la façon dont vous faites vos requêtes en ligne ou de vos relations en ligne ? »
Interrogé par @si en octobre 2015, le chercheur Dominique Cardon (À quoi rêvent les algorithmes? Nos vies à l'heure des big data, Seuil, 2015) soulignait que certains algorithmes pouvaient être considérés comme des outils politiquement conservateurs : en "s'appuyant sur des traces passées (les caractéristiques de nos achats précédents, dans le cas des suggestions d'achats d'Amazon par exemple) pour essayer de prédire le futur (nos achats à venir)", certains de ces calculateurs "reproduisent l'ordre social", relevait le sociologue.
On a beau le savoir plus ou moins confusément, c'est vrai que ça fait peur.
DATA = POWER