Die vorgeschlagenen Anforderungen für Hochrisiko-KI-Systeme beinhalten unter anderem:
- Etablierung eines Risikomanagementsystems,
fehlerfreie Trainings-, Validierungs- und Testdaten, - Etablierung einer angemessenen Datengovernance,
- Cybersecurity-Massnahmen, die eine Manipulation der Trainingsdaten oder des Systemverhaltens verhindern,
eine detaillierte technische Dokumentation, die die Einhaltung aller notwendigen risikominimierenden Massnahmen belegt, - etc.
Als Hochrisikobereiche betrachtet werden:
- kritische Infrastrukturen, wo eine Gefährdung des Lebens oder der Gesundheit von Menschen entstehen könnte,
- Bestimmung des Zugangs zu Bildung,
- Personalrekrutierung,
- Bestimmung des Zugangs zu Leistungen der Sozialhilfe oder anderen Leistungen der öffentlichen Hand,
- Beurteilung der Kreditwürdigkeit,
- Entscheidung über Asylanträge, Visa- und Aufenthaltsbewilligungen,
- Strafverfolgung und Rechtsprechung.
Das mit dem AIA angestrebte Ziel – sicherzustellen, dass KI, durch die Balance von Nutzen und Risiken, nachhaltig zum Wohl der Menschen und der Gesellschaft beiträgt – ist richtig und wichtig. Darüber, ob der AIA das geeignete Instrument zu diesem Zweck ist, und was allfällige Risiken und Nebenwirkungen für den Innovationsstandort Europa sind, wird noch intensiv debattiert (werden).
Spontan gehen mir dazu zwei Gedanken durch den Kopf.
Der eine:
- In allen aufgeführten Domänen ist die Alternative zur statistischen Maschine (was ein KI-System – etwas salopp gesehen – ja eigentlich ist) der Mensch. Menschen treffen heute meist (noch) die zum Teil weitreichenden Entscheidungen in diesen Bereichen. Menschen, die vielleicht einen schlechten Tag haben, Menschen, die vielleicht kurz vor dem Feierabend noch etwas abschliessen wollen, Menschen, die vielleicht Vorurteile haben oder schlecht ausgebildet sind, Menschen, die vielleicht von ihren eigenen Entscheidungen profitieren, Menschen, die vielleicht Falschinformationen aufgesessen sind. Muss alles nicht sein – soll aber auch schon vorgekommen sein.
- Andersrum betrachtet: Müssten in eine Risikobetrachtung für ein KI-System allenfalls auch die «Opportunitätsrisiken» einbezogen werden? I.e. analysiert werden, welche «menschlichen» Risiken durch den Einsatz einer KI eliminiert oder zumindest reduziert werden können? Oder sollte – zwecks Ausschaltung dieses menschlichen Bias – der Einsatz von KI in bestimmten kritischen Domänen sogar vorgeschrieben werden?
Der andere:
- Was hat mein Mathelehrer in den 80ern des vergangenen Jahrhunderts jeweils gesagt?
Ja, Ihr dürft den Taschenrechner benutzen. Sobald Ihr fähig seid, nachzurechnen, ob die erhaltenen Resultate auch stimmen…»
- Und das scheint mir eigentlich noch immer ein ganz gutes Prinzip zu sein.
(Und beim Googlen zum Thema habe ich gleich noch einen spannenden Artikel gefunden: Mensch versus Maschine: Warum die naive Algorithmus-Gläubigkeit ein Armutszeugnis für die Branche ist (horizont.net))
Voilà – was denken Sie?