Pourquoi le droit d’abord

Un commercial qui envoie un mail mal tourné perd une affaire. Un service RH qui écarte un candidat pour une mauvaise raison produit un effet sur la vie d’une personne, et cet effet est juridiquement qualifié.

C’est toute la différence, et elle explique pourquoi cette formation commence là.

Trois caractéristiques de ce métier

Les décisions portent sur des personnes nommées. Pas sur des dossiers, pas sur des flux. Sur quelqu’un qui a un nom, une histoire, et des droits.

Elles produisent des effets durables. Être recruté ou non, promu ou non, augmenté ou non, sanctionné ou non. Ces décisions engagent une trajectoire, et le droit les traite comme telles.

Elles doivent pouvoir s’expliquer. À la personne concernée, à ses représentants, à un juge, à une autorité de contrôle. Une décision qu’on ne sait pas justifier est une décision fragile, quelle que soit sa qualité.

Cette troisième caractéristique est celle qui pose problème avec ces outils, et elle mérite qu’on s’y arrête.

Le problème de l’explication

Demande à un assistant conversationnel de classer dix candidatures et de justifier son classement. Il te donnera une justification. Elle sera cohérente, bien écrite, et convaincante.

Elle n’a aucune valeur.

Ce n’est pas le raisonnement qui a produit le classement : c’est une explication plausible produite après coup, dans le même mouvement que le reste du texte. Ces systèmes ne savent pas rendre compte de ce qui a déterminé leur sortie.

Autrement dit, tu obtiens quelque chose qui ressemble à une justification, et qui te mettrait en difficulté au premier examen sérieux. C’est pire que pas de justification du tout, parce que tu te croiras couvert.

Le biais, qui n’est pas une opinion

Deuxième problème, plus profond, et il faut le comprendre pour comprendre le reste.

Un système entraîné à reproduire des décisions passées reproduit ce qu’il y avait dans ces décisions. Si vos recrutements passés ont favorisé un profil, il apprendra à le favoriser, non pas par malveillance mais parce que c’est exactement ce qu’on lui a demandé d’imiter.

Et il n’a pas besoin du critère interdit pour le reproduire. Il suffit qu’un élément autorisé y soit corrélé.

Le critère apparent	Ce avec quoi il peut être corrélé
Le code postal	L’origine, le niveau social
L’interruption de carrière	La maternité, la maladie, le handicap
L’établissement de formation	L’origine sociale, l’origine géographique
Le prénom	L’origine réelle ou supposée
L’année d’obtention du diplôme	L’âge
La pratique sportive citée	Le sexe, l’âge, l’état de santé
L’activité associative	Les convictions, l’appartenance syndicale

C’est ce qu’on appelle une discrimination indirecte : un critère neutre en apparence qui produit un désavantage particulier pour un groupe protégé. Elle est illicite au même titre que la discrimination directe, et elle est beaucoup plus difficile à voir.

Un outil peut donc discriminer sans que personne ne l’ait voulu, sans qu’aucun critère interdit n’apparaisse nulle part, et sans que tu puisses le détecter en regardant les résultats un par un.

Ce que ça implique pour ton travail

Tu n’as pas à devenir statisticien. Deux réflexes suffisent, et ils reviendront tout au long de ces deux jours.

Devant tout outil qui classe, note ou filtre des personnes : demande sur quoi il a été entraîné, et ce qui a été fait pour vérifier qu’il ne produit pas d’écart selon le sexe, l’âge ou l’origine. Un fournisseur qui ne sait pas répondre te vend un risque.

Et devant toute décision préparée par un outil : garde une trace de ce que toi as regardé et décidé. C’est cette trace qui existe, pas celle du système.

Les vingt-cinq et quelques critères

En droit français, une longue liste de critères ne peut pas fonder une différence de traitement : l’origine, le sexe, l’âge, l’état de santé, le handicap, la grossesse, la situation de famille, les opinions politiques, les convictions religieuses, l’appartenance syndicale, l’orientation sexuelle, l’apparence physique, le lieu de résidence, et d’autres encore.

La liste s’est allongée au fil des années, et elle continue. Tu n’as pas besoin de la connaître par cœur ; tu as besoin de savoir qu’elle est large, qu’elle couvre des choses auxquelles on ne pense pas, et où la trouver.

Le Défenseur des droits (defenseurdesdroits.fr) publie la liste et traite les saisines. C’est aussi l’institution qui peut être saisie par un candidat qui s’estime écarté pour un motif discriminatoire, gratuitement.

Ce que le droit demande, en trois idées

Avant d’entrer dans le détail à la fiche suivante, voici l’ossature. Elle vient de plusieurs textes qui se recoupent : le règlement européen sur l’IA, le règlement sur les données personnelles, et le code du travail.

Certaines pratiques sont interdites, quel que soit le bénéfice attendu.

Certains usages sont autorisés mais encadrés, avec des obligations précises : c’est le haut risque.

Et dans tous les cas, un humain décide et doit pouvoir l’expliquer. Une décision produisant des effets significatifs sur une personne ne peut pas reposer sur le seul traitement automatisé, et la personne a le droit d’obtenir une intervention humaine.

Le reste du module détaille ces trois idées.

Vérifie ta compréhension

Question : un fournisseur te garantit que son outil de tri est « sans biais », parce qu’il ne reçoit ni le nom, ni le sexe, ni l’âge, ni la photo des candidats. Es-tu rassuré ?

Réponse : non, et cette garantie ne prouve presque rien. Retirer les critères interdits n’empêche pas la discrimination indirecte : le code postal, l’année du diplôme, l’établissement ou une interruption de carrière suffisent à reconstituer l’information. La bonne question n’est pas « quels champs recevez-vous », c’est « qu’avez-vous mesuré, sur quelles données, pour vérifier qu’il n’y a pas d’écart de traitement selon le sexe, l’âge ou l’origine, et pouvez-vous me le montrer ? »

Fiche suivante : ce qui est interdit, et ce qui est classé à haut risque.