In den letzten Jahren wurden immer mehr algorithmische Entscheidungsunterstützungssysteme eingesetzt, um Entscheidungen über Bürger und Bürgerinnen zu treffen. Die meisten dieser Systeme gehören zur großen Gruppe der sogenannten Künstlichen Intelligenz, bei denen mit maschinellen Lernverfahren Muster aus Daten der Vergangenheit abgeleitet werden, um damit Entscheidungen für die Zukunft zu treffen, sogenannte Algorithmic Decision Making Systems (ADM-Systeme). Die DSGVO ermöglicht es Personen, die durch solche ADM-Systeme bewertet werden, Einblick in die involvierte Logik hinter der Entscheidung zu bekommen – damit soll die informationelle Selbstbestimmung gestärkt werden. Auch die geplante KI-Verordnung der EU (AI-Act) enthält Anforderungen an Transparenz von KI-Systemen, um das Selbstbestimmungsrecht von Bürger:innen zu realisieren. Eine dafür entwickelte Lösung aus der Informatik sind KI-Systeme, die solche Erklärungen entweder für individuelle Anfragen („Warum wurde über meine Daten so entschieden?”) oder für die allgemeine Entscheidungslogik liefern sollen (“Wie funktioniert das System?”). Diese Ansätze sind unter dem Term explainable AI oder xAI bekannt.
In recent years, an increasing number of algorithmic decision-support systems have been used to make decisions about citizens. Most of these systems belong to the broad category of so-called artificial intelligence, where machine learning techniques are used to derive patterns from past data to make decisions for the future—these are known as Algorithmic Decision-Making Systems (ADM systems). The GDPR allows individuals affected by such ADM systems to gain insight into the logic behind the decision, aiming to strengthen informational self-determination. The EU's planned AI regulation (AI Act) also includes transparency requirements for AI systems to uphold citizens' rights. In computer science, several solutions for this problem have been proposed that provide explanations either for individual queries (“Why was this decision made on my data?”) or for the general decision-making logic (“How does the system work?”). These approaches are known under the term explainable AI or xAI.
Die Menge an bisher veröffentlichten Transparenz- und Erklärbarkeitsansätzen ist groß und umfassend. Die noch weitgehend offene Frage ist hingegen, ob diese Ansätze tatsächlich Transparenz schaffen oder nur eine Scheintransparenz erzeugen. Dieses Projekt widmet sich daher der Beurteilung dieser Ansätze im Hinblick auf ihre mathematische Robustheit („Wenn ein Mängel vorliegt, kann er und unter welchen Umständen zeigt der xAI-Ansatz diesen auf?“) und ihrer psychologischen Effektivität („Inwieweit kann der xAI Ansatz die Entscheidungen des Systems nachvollziehbar machen?“).
The number of transparency and explainability approaches published so far is large and comprehensive. However, the still largely open question is whether these approaches truly create an explanation for the system or merely generate an illusion of such. This project is therefore dedicated to evaluating these approaches in terms of their mathematical robustness (“If there is a flaw in the ADM system, can the xAI approach detect it, and under what circumstances?”) and their psychological effectiveness (“To what extent can the xAI approach make the system's decisions understandable?”).
Wir nehmen an, dass sich die Güte, mangelhafte Eigenschaften des ADM-Systems zum Vorschein zu bringen, von Transparenz- und Erklärbarkeitsansätzen durch zwei Aspekte ausreichend bewerten lässt: ihrer psychologischen Effektivität und ihrer mathematischen Robustheit. Die psychologische Effektivität bezieht sich hierbei immer auf das Zielpublikum des Transparenz- oder Erklärbarkeitsansatzes und beschreibt die Fähigkeit, durch den Mechanismus zu einer akkuraten mentalen Repräsentation des ADM-Systems zu gelangen. Mithilfe dieser mentalen Repräsentation lassen sich dann die Ergebnisse des ADM-Systems ausreichend vorhersagen. Die mathematische Robustheit eines Transparenz- oder Erklärbarkeitsansatz beschreibt dagegen eine Eigenschaft des Ansatzes selbst, die mangelhafte Eigenschaft zum Vorschein zu bringen. Ein Ansatz gilt dann als robust, wenn ein Mangel des ADM-Systems ausreichend sichtbar gemacht wird, und, in dem Fall, dass kein Mangel vorliegt, auch kein Mangel ausgezeigt wird.
We assume that the ability of transparency and explainability approaches to reveal deficiencies in an ADM system can be sufficiently assessed based on two aspects: their psychological effectiveness and their mathematical robustness.
Psychological effectiveness is always measured with the target audience of the transparency or explainability approach in mind and describes the ability of the mechanism to create an accurate mental representation of the ADM system. With this mental representation, the outcomes of the ADM system can be sufficiently predicted.
In contrast, the mathematical robustness of a transparency or explainability approach describes an inherent property of the approach itself—the ability to reveal deficiencies. An approach is considered robust if it makes a deficiency in the ADM system sufficiently visible and, in cases where no deficiency exists, does not falsely indicate one.
Sowohl der DSGVO und der geplante AI-Act sehen eine Überprüfung von kritischen ADM-Systemen durch die Offenlegung ihrer inneren Logik vor. In den nächsten Jahren müssen daher Prozesse entwickelt werden, die geeignete Transparenz- oder Erklärbarkeitsansätze bei der Beurteilung von ADM-Systemen beinhalten. Hierbei ist allerdings nicht klar, welche der vorhandenen Transparenz- oder Erklärbarkeitsansätze hierzu ausreichend geeignet sind. Die im Projekt erhobene Güte verschiedener Ansätze kann dabei richtungsgebend bei der praktischen Umsetzung dieser gesetzlichen Vorgaben helfen.
Both the GDPR and the proposed AI Act require the review of critical ADM systems by disclosing their internal logic. In the coming years, processes must be developed that incorporate suitable transparency or explainability approaches for assessing ADM systems. However, it is not yet clear which of the existing transparency or explainability approaches are sufficiently suitable for this purpose. The evaluation of different approaches conducted in this project can provide valuable guidance for the practical implementation of these legal requirements.
Ziel der Forschung ist es, diverse Transparenz- oder Erklärbarkeitsansätze auf ihre Güte zu untersuchen und anhand der angewendeten Methodik eine Einschätzung zu liefern, ob sich diese Ansätze zur Offenlegung der inneren Logik von ADM-Systemen eignen.
The aim of this research is to evaluate various transparency and explainability approaches in terms of their quality and, based on the applied methodology, provide an assessment of whether these approaches are suitable for disclosing the internal logic of ADM systems.