Les exigences proposées concernant les systèmes d’IA à haut risque portent notamment sur les aspects suivants:
- établissement d’un système de gestion des risques, ainsi que de données de formation, de validation et de test exemptes d’erreurs,
- établissement d’une gouvernance de données adéquate,
- mesures de cybersécurité empêchant toute falsification des données de formation ou manipulation du comportement du système, documentation technique détaillée attestant du respect de toutes les mesures de limitation des risques requises,
- etc.
Les domaines suivants sont considérés à haut risque:
- infrastructures critiques susceptibles de nuire à la santé des personnes ou de mettre leur vie en danger,
- détermination de l’accès à la formation,
- recrutement du personnel,
- détermination de l’accès aux prestations d’aide sociale ou à d’autres services publics,
- évaluation de la solvabilité,
- décisions relatives aux demandes d’asile, de visas et de permis de séjour,
- poursuites pénales et jurisprudence.
L’objectif visé par l’AIA (s’assurer que l’IA contribue durablement au bien-être des personnes et de la société grâce à un équilibre bénéfices-risques approprié) est juste et important. Des débats animés sont en cours afin de déterminer si l’AIA est l’instrument ad hoc à cette fin et d’identifier les éventuels risques et effets indésirables pour le pôle d’innovation européen. Deux réflexions me viennent spontanément à l’esprit. D’une part,
- Dans tous les domaines exposés, l’alternative à la machine statistique (ce qui correspond plus ou moins à la définition d’un système d’IA) est l’humain. De nos jours, la plupart des décisions importantes dans ces domaines sont (encore) prises par des personnes. Des personnes qui sont éventuellement dans un mauvais jour, qui veulent peut-être boucler un dernier dossier avant le week-end, qui peuvent avoir des préjugés ou être mal formées, qui tirent parfois profit de leurs propres décisions ou qui peuvent se baser sur des informations erronées. Ce n’est pas toujours le cas, mais c’est déjà arrivé.
- Autrement dit, dans le cadre de l’évaluation des risques liés à un système d’IA, faut-il également intégrer les «risques d’opportunité»? Faut-il analyser les risques «humains» qui disparaissent ou sont du moins réduits en cas d’utilisation d’une IA? Afin d’éliminer ce biais humain, faudrait-il même imposer l’utilisation de l’IA dans certains domaines critiques?
D’autre part,
- que disait mon prof de maths dans les années 1980, déjà?
«Vous pouvez utiliser votre calculatrice. Tant que vous êtes en mesure de vérifier que les résultats obtenus concordent…»
- À vrai dire, ce principe me semble toujours aussi bon.
(Sur Google, j’ai trouvé un article passionnant à ce sujet: L’homme face à la machine: pourquoi la croyance aveugle en l’algorithme témoigne de la pauvreté du secteur (horizont.net)) Et vous, qu’en pensez-vous?