Les obligations du déployeur

On y est. Si votre inventaire contient une ligne en haut risque, voici ce que vous devez tenir.

Rappel utile avant d’entrer dedans : c’est beaucoup moins que ce que porte le fournisseur, et beaucoup moins que ce que laisse craindre la littérature disponible.

Les six points

Utiliser conformément à la notice. Ce qui suppose de l’avoir obtenue et lue. Un fournisseur qui ne fournit pas de notice d’utilisation vous place dans l’impossibilité de tenir cette obligation : c’est un motif de relance, et un point à vérifier avant achat.

Confier la supervision humaine à des personnes compétentes. Développé ci-dessous, c’est le point le plus mal compris.

Veiller à la pertinence des données d’entrée, dans la mesure où vous les contrôlez. Si vous alimentez le système avec vos propres données, elles doivent être pertinentes et suffisamment représentatives au regard de l’usage.

Surveiller le fonctionnement et alerter. Si vous constatez un risque ou un incident grave, vous informez le fournisseur et, selon les cas, les autorités. Cela suppose que quelqu’un regarde, et que les gens sachent à qui remonter une anomalie.

Conserver les journaux générés par le système, lorsque vous en avez le contrôle, pour une durée appropriée.

Informer les personnes concernées. Deux obligations distinctes, détaillées plus bas.

Six lignes. Tenues sérieusement, elles représentent un travail réel, mais borné.

Ce que « supervision humaine » veut dire

C’est le point où les organisations se trompent le plus, et où une conformité de façade se voit immédiatement.

Le texte demande que la supervision soit confiée à des personnes physiques qui ont la compétence, la formation, l’autorité et le soutien nécessaire pour l’exercer.

Traduit en question de contrôle : la personne qui supervise peut-elle réellement contredire le système ?

Trois conditions pratiques, et elles se vérifient.

Le temps. Superviser cinquante décisions par jour n’est pas possible. Si le volume rend l’examen impossible, il n’y a pas de supervision, il y a une validation automatique déguisée.

La compétence. La personne comprend ce que fait le système, ses limites, et sur quoi il se trompe. C’est le lien direct avec l’obligation de maîtrise de l’IA vue à la fiche précédente.

L’autorité. Elle peut s’écarter du résultat sans avoir à se justifier devant sa hiérarchie comme d’une faute. Une organisation où contredire l’outil expose celui qui le fait n’a pas de supervision.

Le test qui révèle une supervision de façade

Une question, à poser dans n’importe quelle organisation, et la réponse est immédiate.

Combien de fois, cette année, la personne chargée de la supervision s’est-elle écartée du résultat proposé par le système ?

Si la réponse est zéro, deux hypothèses. Le système est parfait, ce qui n’existe pas. Ou la supervision n’en est pas une.

Et si personne ne sait répondre, c’est que rien n’est tracé, ce qui est un problème en soi.

Le remède est mécanique plutôt que moral : fixer un volume maximal d’examens par personne et par jour, et imposer l’examen d’un nombre défini de cas classés en bas. C’est ce qui fait exister la supervision au lieu de la déclarer.

Les deux obligations d’information

Celles qu’on découvre trop tard, systématiquement.

Avant la mise en service sur le lieu de travail, l’employeur informe les représentants des travailleurs et les travailleurs concernés qu’ils vont être soumis à un système d’IA à haut risque. Cette information est préalable.

Elle se cumule avec le droit français, plus exigeant sur plusieurs points : information préalable des candidats sur les méthodes de recrutement, information préalable des salariés sur les dispositifs de collecte les concernant, et consultation du comité social et économique avant l’introduction de nouvelles technologies.

Les personnes soumises à une décision prise avec l’aide d’un tel système doivent en être informées, et peuvent demander des explications sur le rôle du système dans la décision.

La conséquence pratique est simple : gardez la trace de ce qu’un humain a regardé et décidé. Si votre seule réponse à un candidat est « le système l’a classé en bas », vous n’avez pas de réponse.

La séquence qui fonctionne

L’ordre compte autant que le contenu, et l’erreur classique se répare mal.

Cadrer le besoin. Interroger les fournisseurs et obtenir les réponses par écrit. Présenter le projet aux représentants du personnel avec ces réponses. Décider. Informer les personnes concernées. Déployer. Évaluer après quelques mois.

L’erreur type : acheter, déployer, puis informer. La consultation arrive alors comme un fait accompli, elle se passe mal, et elle fragilise le dispositif entier.

Un bénéfice secondaire à faire les choses dans l’ordre : les questions du fournisseur sont infiniment plus faciles à poser avant la signature du contrat.

Les obligations supplémentaires, selon qui vous êtes

Deux cas particuliers à vérifier, sans les généraliser.

Certains déployeurs publics ou organismes chargés d’un service public, ainsi que certains opérateurs privés dans les services essentiels, doivent réaliser une évaluation d’impact sur les droits fondamentaux avant la mise en service d’un système à haut risque de l’annexe III, et procéder à un enregistrement.

Si vous êtes une collectivité, un établissement public, un organisme social, une banque ou un assureur, ce point se vérifie précisément avec votre conseil. Ne l’écarte pas d’un revers de main, et ne l’applique pas non plus par excès de prudence si vous êtes une PME industrielle.

Ce que ça donne en charge de travail

Pour une organisation avec une seule ligne en haut risque, l’ordre de grandeur est le suivant.

Obtenir et lire la documentation du fournisseur : quelques heures, plus le délai de réponse.

Désigner et former les personnes chargées de la supervision, et fixer les règles de volume : une demi-journée.

Rédiger les informations destinées aux candidats, aux salariés et aux représentants : une demi-journée.

Mettre en place la trace des décisions : une journée, souvent en adaptant un tableau existant.

Ce n’est pas un chantier de six mois. C’est ce qu’il faut dire à une direction qui a lu des articles alarmants.

Vérifie ta compréhension

Question : votre outil de présélection classe les candidatures, et le responsable du recrutement valide le classement en dix minutes avant chaque campagne. Est-ce une supervision humaine au sens du texte ?

Réponse : presque certainement non. Dix minutes pour valider un classement ne permettent pas d’examiner les candidatures, seulement d’entériner un résultat. Il manque le temps, et probablement l’examen de dossiers classés en bas. Pose la question du nombre de fois où le responsable s’est écarté du classement cette année : si c’est zéro, la démonstration est faite. Le correctif est concret : fixer un volume maximal, imposer l’examen d’un nombre défini de candidatures classées en bas, et tracer les critères retenus.

Fiche suivante : la gouvernance, et l’articulation avec ce que vous faites déjà.