GOUVERNANCE ALGORITHMIQUE CONTRE LES DISCRIMINATIONS TECHNOLOGIQUES

Auteur : Aurélie JEAN (P 2009 Docteur)

 Dans nos prises de décisions, de multiples algorithmes automatisent certaines tâches. L’expérience a montré que préjugés et discriminations peuvent s’y intégrer, par exemple en raison de jeux de données d’entraînement déséquilibrés. Comment limiter les risques et adopter des mécanismes de vigilance ?

Les algorithmes sont omniprésents dans nos vies, pour travailler, se déplacer, communiquer, produire, ou encore se soigner, sans qu’on puisse les voir, les entendre, les sen- tir ou les toucher. Cette intangibilité est souvent un obstacle à leur compréhension par le grand public, mais aussi un défi pour ceux qui les conçoivent. En effet, ces dernières décennies ont vu apparaître des modèles algorithmiques de plus en plus abstraits, au niveau d’explicabilité plus ou moins élevé, avec des implications sociales remarquables. Et des controverses et des scandales qui malheureuse- ment en découlent. Ces entités mathématiques et numériques tendent à renfermer les visions souvent prismatiques et parfois déformées de leurs concepteurs. On parle de biais algorithmique pouvant mener à de la discrimination technologique. Comprendre ce que sont les algorithmes et leurs biais, la discrimination qui en découle ainsi que les moyens de l’éviter, est nécessaire pour ne pas dire fondamental dans le but de construire des technologies inclusives conçues par tous et pour tous.

UN TRANSFERT DE BIAIS COGNITIFS POSSIBLE

Un algorithme est une séquence d’opérations souvent hiérarchisées, à exécuter selon une certaine logique dans le but de répondre à une question, de résoudre un problème ou de comprendre des phénomènes. Même si les algorithmes sont aujourd’hui numériques, destinés à être implémentés dans un code informatique pour tourner sur un ordinateur, ils prennent leur source à l’époque de la Grèce antique et d’Euclide. Le terme naîtra un millénaire plus tard, à travers le nom latinisé du mathématicien Perse Muhammad ibn Musa al-Khwarizmi, Algoritmi. Alors que les algorithmes historiques sont exécutés à la main, les algorithmes computationnels fonctionnent de manière automatique. On peut distinguer les algorithmes explicites dont la logique est définie à la main – comme des arbres décisionnels, des équations mathématiques parfois complexes –, des algorithmes implicites dont la logique est construite par apprentissage machine. Les données sont utilisées pour calibrer et entraîner les algorithmes explicites et implicites, respectivement.

Dans ces deux cas, des choix dans les règles de logique, les données ou encore les hypothèses ont, s’ils sont mal réalisés, une influence sur la réponse algorithmique. C’est ainsi que les concepteurs – mais aussi toutes les personnes sur la chaîne de vie d’un algorithme, de la personne qui a l’idée de l’outil à celle qui l’utilise  peuvent le biaiser par le transfert de leurs propres biais cognitifs à ces choix. Certaines technologies engendrent alors de la discrimination basée par exemple sur le genre, l’ethnicité, l’âge, ou l’orientation sexuelle, qui implique un traitement différent, et a fortiori injuste, des individus.

Durant ces dernières années, les cas de discrimination technologique ont été nombreux. On peut citer les premiers algorithmes de reconnaissance faciale qui ne reconnaissaient pas les peaux noires, l’algorithme d’estimation de ligne de crédit dans l’application Apple Card qui sous-évaluait les lignes accordées aux femmes, ou encore l’algorithme test de triage de CVs d’Amazon qui écartait les candidatures de femmes pour un poste de développeur en informatique. Les scandales et autres controverses sont nombreux et bruyants mais les solutions sont en apparence silencieuses. Et pourtant, une gouvernance algorithmique bien pensée et appliquée avec rigueur peut permettre d’éviter de telles erreurs tout en formant les individus, du propriétaire au consommateur de la technologie en question, à comprendre cette discipline somme toute abstraite.

 LE CALCUL D’EXPLICABILITÉ

La gouvernance algorithmique implique un ensemble de bonnes pratiques techniques et non techniques qui assurent que l’algorithme a été bien conçu et qu’il est correctement utilisé. Cela passe par des règles sur la conception incluant la formulation du problème à résoudre, des bonnes pratiques de développement et de tests de l’algorithme avant qu’il soit déployé, ainsi que des tests une fois qu’il est utilisé parfois par des millions d’individus. En cela, le calcul d’explicabilité de l’algorithme fait partie des opérations à réaliser au sein de la gouvernance. Dans ce calcul, on utilise des méthodes statistiques pour extraire une partie voire la totalité  de la logique de l’algorithme. Cette étape est importante pour maîtriser le fonctionnement de l’algorithmique, détecter des risques de biais voire des cas évidents de discrimination technologique.

Ces calculs d’explicabilité s’appliquent avant que l’algorithme soit entraîné ou créé, c’est-à-dire sur le jeu de données d’apprentissage ou de calibration. On peut ainsi souligner un manque de représentativité du jeu de données. Les calculs d’explicabilité s’appliquent également pendant la construction et une fois que l’algorithme est créé. Dans cette dernière configuration, l’idée est de faire correspondre la réponse de l’algorithme conçu à celle d’un modèle beaucoup plus simple, entièrement décrit explicitement. Et ainsi décrire la logique sous-jacente de l’algorithme, même partielle. La gouvernance consiste aussi à former l’ensemble des parties prenantes au fonctionnement de l’algorithme, à la science algorithmique en général ; comme l’utilisateur final qui doit comprendre ce qu’il manipule.

CONSTRUIRE DES ALGORITHMES DITS “INCLUSIFS” ET “JUSTES” EST POSSIBLE

La transparence de l’algorithme, via le partage du code informatique, serait contre-productive pour des raisons scientifiques et techniques, ainsi que pour des raisons économiques. Tout d’abord, le code informatique ne per- met que d’appliquer les méthodes d’explicabilité post-construction, ce qui réduit les capacités de compréhension de la logique de fonctionnement de l’algorithme. Puis, il existe de nombreuses décisions prises avant même qu’une ligne de code ne soit écrite, et qui sont invisibles dans le programme informatique, comme les hypothèses ou encore les choix de données d’apprentissage et de calibration. Enfin, si tous les acteurs scientifiques et techniques sont dans l’obligation par la loi de publier leurs algorithmes – et donc leur propriété intellectuelle – on risque de voir leurs outils quitter les territoires où de telles régulations sont appliquées.

En revanche, il faut que la loi impose aux acteurs de construire et d’appliquer une gouvernance algorithmique afin de limiter voire de faire dis- paraître les erreurs et les biais. Dans le cas d’un prochain scandale ou d’une controverse, le propriétaire devra démontrer avoir une bonne gouvernance. Dans le cas contraire, il sera passible d’une peine sévère à l’instar de celle du règlement européen sur les données à caractère personnel , et sera soumis à l’obligation d’être conforme selon un temps défini par le législateur, en appliquant une gouvernance juste.

Si transparence il y a, elle doit porter sur les bonnes pratiques de développement, de tests et d’usages des algorithmes, et donc sur la gouvernance algorithmique. Cette transparence doit également porter sur les fautes com- mises et la manière dont les acteurs les ont réparées. C’est ainsi qu’on arrivera à tendre vers des gouvernances idéales, efficaces et évolutives dans le temps en lien étroit avec les progrès technologiques futurs. Construire des algorithmes dits “inclusifs” et “justes” est possible mais cela passera par des efforts techniques et humains puissants, incarnés par une gouvernance de qualité. La gouvernance algorithmique est encore nouvelle et il n’y a donc pas de modèle établi qui fasse consensus. Ces bonnes pratiques sont mises en place progressivement, actuellement sous l’impulsion d’entreprises proactives qui en ont compris l’intérêt, parfois accompagnées par des partenaires extérieurs (universités, cabinets de conseils, d’autres entreprises collaboratrices qui ont déjà mis en place une gouvernance…).