KI und die Frage der Erklärbarkeit

Die Entwicklung der künstlichen Intelligenz und der neuronalen Netze hat sich einerseits stark auf die Informatik ausgewirkt, andererseits aber auch der Neurowissenschaft große Aufmerksamkeit geschenkt. Das Konzept der künstlichen neuronalen Netze ist von der Biologie der Neuronen inspiriert, denn künstliche Neuronen wurden entwickelt, um ansatzweise nachzuahmen, wie Neuronen Informationen aufnehmen und umwandeln.

Als Student der Neurowissenschaften interessierte ich mich zunächst für neuronale Netze, um unsere eigene Kognition mithilfe von Computermodellen besser zu verstehen. Die grundlegenden qualitativen Unterschiede zwischen menschlicher und künstlicher Intelligenz machen es für uns jedoch sehr schwierig, den Entscheidungsfindungsprozess eines Modells in menschlicher Hinsicht zu verstehen.

KI Wir können den Grad der Genauigkeit an einem Testsatz testen und unser Modell dann mit einem gewissen Vertrauen in seine Ergebnisse auf neue Daten anwenden, aber im Zweifelsfall hätten wir Schwierigkeiten, die Entscheidung eines Modells in einzelnen Fällen tatsächlich zu erklären. Als Antwort darauf hat sich in der Forschung das Gebiet der erklärbaren KI (XAI) herausgebildet, das darauf abzielt, Techniken zu entwickeln, bei denen der Prozess, der zum Ergebnis eines Modells führt, von Menschen verstanden werden kann. Dies ist eine anspruchsvolle Aufgabe, bei der viele Hürden zu überwinden sind, was zu der Frage führt, ob Interpretierbarkeit aus praktischer Sicht wirklich notwendig ist. Diese Frage stellt sich umso dringlicher, als hochentwickelte maschinelle Lernsysteme immer beliebter werden und nicht mehr nur von Tech-Titanen wie Google oder Facebook genutzt werden. Kleine bis mittelgroße Unternehmen automatisieren bestimmte Abläufe innerhalb ihrer Systeme, was zu einer groß angelegten Automatisierung von Entscheidungen, die wesentlich mehr Gewicht haben, bis hin zur autonomen Steuerung führen wird. Technologietrends in Unternehmen geben in der Regel einen guten Vorgeschmack auf bevorstehende Veränderungen in Institutionen und Regierungen, wo die Übernahme zunehmend folgen wird. Vor diesem Hintergrund wird die Diskussion über konzeptionelle Fragen wie die Erklärbarkeit immer dringlicher.

Zunächst werden wir uns drei Beispiele für akademische Ansätze ansehen, die die Interpretierbarkeit aus verschiedenen Blickwinkeln angehen wollen. Dann werden wir das Thema konzeptionell betrachten und diskutieren, ob Interpretierbarkeit in der Praxis tatsächlich notwendig ist. (Spoiler-Alarm: es kommt darauf an)

Akademische Arbeit zum Thema Interpretierbarkeit

Transparent/erklärbar KI bezieht sich auf Techniken in KI , bei denen der Prozess, der zu einem Ergebnis führt, von Menschen verstanden werden kann. Dies steht im Gegensatz zu den “Black Box“-Implementierungen, bei denen man nicht erklären kann, warum das Modell zu einer bestimmten Entscheidung gelangt. Einfach ausgedrückt:

Die Idee, Modelle zu entwickeln, die in menschlicher Sprache verstanden werden können, ist fast so alt wie die künstliche Intelligenz selbst. Mycin, ein Forschungsprototyp, der erklären konnte, welche seiner handcodierten Regeln zu einer Diagnose in einem bestimmten Fall beitrugen, stammt aus den 1970er Jahren. Dieses auf KI basierende Expertensystem wurde an der Stanford University entwickelt, um Bakterien, die bestimmte Infektionen verursachen, zu identifizieren und Antibiotika in einer auf das Gewicht der Person abgestimmten Dosierung zu empfehlen. Mycin arbeitete mit einer Wissensbasis von etwa 600 Regeln, und die Leistung dieses frühen Prototyps war im Vergleich zu der hohen Vorhersagekraft, die moderne Deep-Learning-Systeme in diagnostischen Kontexten aufweisen, ziemlich begrenzt. Welche Ansätze wurden also seither verfolgt?

Neuronale Netze wieder biologisch machen

Ein klassisches Beispiel für ein biologisch inspiriertes KI ist das Faltungsneuronale Netz (CNN). Die Merkmale von CNNs sind der grundlegenden Organisation unseres visuellen Systems nachempfunden. Im Jahr 1962 machten Torsten Wiesel und David Hubel die Entdeckung, dass unser primärer visueller Kortex aus zwei Arten von Neuronen aufgebaut ist. Die einfachen (S-) Zellen können als Randdetektoren an einer bestimmten Stelle der Netzhaut betrachtet werden. Erscheint der Rand an einer anderen Stelle in Ihrem Blickfeld, reagieren sie nicht. Komplexe (C-) Zellen haben eine größere räumliche Invarianz, d. h. sie reagieren auf Kanten ihrer bevorzugten Ausrichtung innerhalb eines großen rezeptiven Feldes. Komplexe Zellen erreichen dies, indem sie die Eingaben von mehreren einfachen Zellen mit derselben Ausrichtung zusammenfassen. Dies wurde im Vorläufer des CNN, dem Neocognitron, nachgeahmt, das ebenfalls aus “S-Zellen“ und “C-Zellen“ besteht, die durch unüberwachtes Lernen einfache Bilder erkennen.

Je fortschrittlicher unsere Deep-Learning-Modelle jedoch werden, desto weiter entfernen wir uns von den ursprünglichen biologischen Parallelen. Nehmen wir an, dass unsere ventrale Sehbahn, die aus dem Nucleus geniculatus lateralis (6 neuronale Schichten) und dem ventralen Strom (3 neuronale Schichten V1, V2, V4) besteht, uns in die Lage versetzt, zwischen verschiedenen Tieren mit einer Präzision zu unterscheiden, die mit der einiger tiefer CNNs, die aus 100 Schichten bestehen, vergleichbar oder sogar besser ist. Neurowissenschaftler haben die Bedeutung der einzelnen neuronalen Schichten bei der visuellen Verarbeitung entschlüsselt, aber der Versuch, zu verstehen, was jede Schicht eines KI Modells in menschlicher Hinsicht kodiert, ist eine völlig neue Herausforderung. Eine Möglichkeit, dies zu erreichen, besteht darin, vergleichend zu untersuchen, warum das Gehirn mit scheinbar weniger Rechenschritten so genau arbeiten kann (und auf dieser Grundlage zu versuchen, Effizienzkonzepte in unsere KI Modelle zu übertragen).

Das Labor von James Di Carlo am MIT arbeitet an der Schnittstelle zwischen Neurowissenschaften und Informatik und erforscht Wege, um neuronale Netze gehirnähnlicher zu machen. Letztes Jahr hat seine Gruppe gezeigt, wie wichtig rekurrente Schaltkreise für unsere Fähigkeit sind, Objekte zu erkennen. Sie verglichen tiefe Feedforward-CNNs mit Primaten (die wie wir rekurrente Rückkopplungsschaltungen verwenden) bei Aufgaben zur Objekterkennung. Die starke Leistung von nicht-rekurrenten CNNs bei Objekterkennungsaufgaben deutet darauf hin, dass solche Rückkopplungsprozesse für die Objekterkennung nicht unbedingt erforderlich sind. Durch den Vergleich von CNNs mit der visuellen Verarbeitung von Primaten ermittelte DiCarlo bestimmte “kritische“ Bilder, die der Primat problemlos erkennen kann, während das CNN versagt. Bei derselben Gruppe von Bildern schneiden die tieferen CNNs besser ab. Was sagt uns das? a) Rekurrente Rückkopplungsschaltungen könnten ein Grund dafür sein, dass unser ventraler Strom deutlich weniger Neuronenschichten benötigt als moderne CNNs, sie sind also eine Anpassung an die Recheneffizienz, und b) während für die meisten Aufgaben der Objekterkennung diese rekurrenten Operationen nicht notwendig sind, könnte es einen kleinen Prozentsatz kritischer Situationen geben, in denen reine Feedforward-Systeme weiterhin versagen. Diese Bemühungen sind zwar faszinierend für alle, die sich für Neurowissenschaften interessieren, zielen aber darauf ab, neuronale Netze zu nutzen, um das Gehirn zu verstehen, und nicht darauf, das Gehirn zu nutzen, um praktischere oder effizientere Modelle zu entwickeln.

Visualisierung neuronaler Netze

Ein weiterer Ansatz besteht darin, Visualisierungstechniken zu entwickeln, die einen Einblick in das Innenleben der derzeit verwendeten Deep-Learning-Systeme gewähren. Ich finde dies besonders faszinierend, wenn es auf Generative Adversarial Networks angewendet wird. GANs haben sowohl in der Forschung als auch in den populären Medien für Aufregung gesorgt, wo viele von DeepFakes gehört haben, die realistische Bilder oder Videosequenzen von Menschen erzeugen, oder von KI-generierten Kunstwerken, die für über 400.000 Dollar verkauft werden. Früher wurde KI zum Analysieren, Verinnerlichen und Vorhersagen verwendet, aber mit dem Aufkommen der GANs kann KI auch kreativ sein. Diese Technologie ist sehr leistungsfähig, aber wir verstehen nicht, wie ein GAN unsere visuelle Welt intern darstellt und was genau bestimmte Ergebnisse bestimmt. Die Gruppe von Antonia Torralba am MIT hat an der Beantwortung dieser Fragen gearbeitet. GANs scheinen Fakten über Objekte und Beziehungen zwischen Merkmalen zu lernen. Um ein Beispiel von Torralba zu zitieren: Ein GAN lernt, dass eine Tür an einem Gebäude vorkommen kann, aber nicht an einem Baum. Wir wissen wenig darüber, wie ein GAN eine solche Struktur darstellt und wie Beziehungen zwischen Objekten dargestellt werden können. Um den “Entscheidungsfindungsprozess“ eines GAN in menschlicher Sprache zu verstehen, schlägt Torralba die folgende Methode als allgemeinen Rahmen vor:

Erstens: Identifizierung von Gruppen interpretierbarer Einheiten, die mit Objektkonzepten in Verbindung stehen (z. B. Identifizierung von GAN-Einheiten, die Bäumen entsprechen). Zweitens: Identifizieren Sie die Gruppe von Einheiten, die das Verschwinden eines Objekttyps (z. B. Bäume) bewirkt. Drittens: Versuchen Sie, diese Objektkonzepte in neue Bilder einzufügen und beobachten Sie, wie dieser Eingriff mit anderen Objekten im Bild interagiert. Betrachten wir dies anhand von GAN-generierten Bildern von Kirchen. Wir versuchen herauszufinden, welcher Teil des Modells die Objektklasse der Bäume erzeugt:

Zusammenfassend lässt sich sagen, dass wir durch die Identifizierung von Einheiten, die für die Generierung einer Objektklasse erforderlich sind, Teilen unseres GAN-Modells eine Bedeutung zuweisen können. Praktisch ist dies nützlich, wenn wir unser GAN auf kontrollierte Weise verbessern wollen (d. h. nicht nur durch Versuch und Irrtum oder langes Training). Im folgenden Beispiel haben wir unvollkommene GAN-generierte Bilder von Schlafzimmern mit Artefakten, die das Bild stören. Wenn wir die Einheiten, die die Artefakte verursachen, identifizieren und entfernen, sehen wir bessere Ergebnisse in der Ausgabe.

Quantifizierung der Wichtigkeit von Merkmalen

Auf dem Gebiet der Modellvisualisierung konzentrieren sich die meisten Bemühungen auf die Visualisierung spezifischer Bildmerkmale, die einzelne CNN-Schichten zu erkennen lernen. Diese mühsame Aufgabe wird noch beängstigender, wenn man sich der Aufgabe stellen muss, ein solches Interpretierbarkeitssystem für jedes neue Modell neu zu erstellen. Eine Möglichkeit, dieses Problem anzugehen, besteht in der Entwicklung einheitlicher Ansätze (d. h. allgemeiner Interpretierbarkeitswerkzeuge, die auf verschiedene ML-Modelle angewendet werden können). Ein solcher einheitlicher Rahmen für die Interpretation von Modellvorhersagen wurde 2017 von Lundberg und Lee an der University of Washington geschaffen. Ihr Modell, SHAP¹, basiert auf Shapley-Werten, einer Technik, die in der Spieltheorie verwendet wird, um zu bestimmen, wie viel jeder Spieler in einem kooperativen Spiel zu dessen Erfolg beigetragen hat. In unserem Fall misst jeder SHAP-Wert, wie signifikant jedes Merkmal in unserem Modell zum vorhergesagten Output unseres Modells beiträgt. Dies führt weg von konkreten Erklärungen der “Rolle“ einer Ebene (z. B. Kodierung von Kanten an einer bestimmten räumlichen Stelle) hin zu einem abstrakteren Konzept der Interpretierbarkeit, bei dem die Entscheidung an sich nicht verstanden wird, aber das Gewicht der einzelnen Komponenten, die zum Ergebnis beitragen, entschlüsselt werden kann. SHAP liefert derzeit das beste Maß für die Bedeutung von Merkmalen, allerdings mit einem enormen Rechenaufwand, der mit der Anzahl der eingegebenen Merkmale exponentiell ansteigt. Für die überwiegende Mehrheit der Probleme macht dies die Aussicht auf eine vollständige Implementierung unpraktisch.

Die beiden Forscher, die dieses Modell vorgeschlagen haben, haben im selben Jahr ein ML-System mit dem Namen “Prescience“ entwickelt, das verspricht, das Risiko einer Hypoxämie (abnorm niedriger Sauerstoffgehalt des Blutes) in Echtzeit vorherzusagen und gleichzeitig eine Erklärung der Faktoren zu liefern, die zu dem ermittelten Risiko beitragen (z. B. BMI, Alter, Puls usw.). Dies könnte bei Operationen unter Narkose, bei denen viele schwankende Variablen überwacht werden müssen, äußerst nützlich sein. Obwohl die Gruppe zu den ersten gehört, die ein hochpräzises Modell von beträchtlicher Komplexität mit interpretierbaren Erklärungen kombinieren, räumen die Autoren auch ein, dass ihr Vorschlag ein erster Versuch ist, der aufgrund mehrerer von ihnen beschriebener Mängel noch weit von einer praktischen Umsetzung entfernt ist. Die Herausforderung, genaue und komplexe KI Systeme zu schaffen, die auch intuitive Erklärungen für ihren Entscheidungsprozess liefern, wird auf absehbare Zeit eine Herausforderung bleiben, wobei in der Forschung derzeit viele vielversprechende Ansätze vorgeschlagen werden.

Der Zielkonflikt zwischen Vorhersagekraft und Interpretierbarkeit ist schwieriger zu überwinden als man denkt: Man bedenke, dass der eigentliche Zweck der Entwicklung komplexer Modelle manchmal darin besteht, dass sie komplexe Hypothesen ausdrücken können, die über dem menschlichen Verständnis liegen. Wenn wir Systeme anstreben, die in der Lage sind, aus einer größeren Anzahl von Merkmalen zu lernen und Vorhersagen zu treffen, als es ein Mensch könnte, müssen wir die Möglichkeit in Betracht ziehen, dass es konzeptionell nicht möglich ist, diese hochdimensionalen Vorhersagen mit menschlichen Begriffen zu erklären. Das oben beschriebene “Prescience“-Modell visualisiert etwa 15 Variablen, die die Entscheidung des Modells beeinflusst haben, aber was ist, wenn das Krankheitsvorhersagemodell eine Million Merkmale hat und die Evidenz für eine Diagnoseentscheidung über diese Merkmale verteilt ist? Mit einem Interpretierbarkeitsrahmen, der einige herausragende Merkmale erklärt, muss das Modell selbst entweder auf diese Merkmale beschränkt werden, oder unsere Visualisierung würde das Verhalten des Modells nicht wahrheitsgetreu beschreiben und damit seinen Anspruch auf “Transparenz“ negieren.

Praktische Bewertung

Inwieweit sind diese Bemühungen von praktischem Interesse? Bei der Beantwortung der Frage, ob sich die Bemühungen um Interpretierbarkeit lohnen, neigen die meisten Kommentare dazu, eine klare Position zu beziehen: ja oder nein. Befürworter des erklärbaren maschinellen Lernens werden argumentieren, dass wir immer verstehen müssen, wie unsere Werkzeuge funktionieren, bevor wir sie einsetzen. Die Zusammenarbeit, in diesem Fall zwischen Algorithmen und Menschen, hängt von Vertrauen ab, und Vertrauen erfordert wohl eine Grundlage, z. B. Verständnis. Wenn die Menschen algorithmische Vorschriften akzeptieren sollen, müssen sie ihnen vertrauen und sie daher verstehen. Dieses Argument allein ist meiner Meinung nach fragwürdig. Andrew Ng hat bekanntlich gesagt, dass KI die neue Elektrizität ist, und zwar in dem Sinne, dass die Elektrizität jede Industrie 100 Jahre lang unwiderruflich verändert hat, bevor sie vollständig verstanden wurde, und KI wird dasselbe tun. Noch bevor die Wissenschaft hinter den elektrischen Phänomenen vollständig erklärt werden konnte, konnten die Risiken erkannt und eine sichere Nutzung eingeführt werden. In ähnlicher Weise könnte man argumentieren, dass bei KI der Schwerpunkt derzeit darauf liegen sollte, zu vermitteln, wie diese neuen Technologien im weiteren Sinne zu unserem Vorteil genutzt werden können und wo die Grenzen und (rationalen) Gefahren liegen. Diese Antwort ist jedoch ebenso verallgemeinernd, und es wäre kurzsichtig, die Interpretierbarkeit einfach als praktisches Problem abzutun. Wie KI genutzt werden kann, ist in hohem Maße kontextabhängig - zum einen müssen wir zwischen Branchen und auch innerhalb von Sektoren zwischen spezifischen Anwendungsfällen und der Schwere der Vorhersagen/ihrer Folgen unterscheiden.

Wenn man über das Gesundheitswesen spricht, würde man intuitiv annehmen, dass die Interpretierbarkeit durchgängig Priorität haben sollte. Die erste Ausnahme hiervon ist die Verwendung von KI zur Unterstützung operativer Initiativen. Einrichtungen des Gesundheitswesens erzeugen und erfassen enorme Mengen an strukturierten und unstrukturierten Daten, z. B. in Form von Patientenakten, Personalmustern, Verweildauer im Krankenhaus usw. Ohne allzu große Bedenken hinsichtlich der Interpretierbarkeit können wir hochpräzise Modelle einsetzen, um die Patientenversorgung und -betreuung zu optimieren oder die Nutzung elektronischer Patientenakten zu erleichtern. Für die Entwicklung von klinischen Entscheidungssystemen gelten ganz andere Kriterien. Wir wissen, dass Deep-Learning-Modelle bei der Erkennung einiger Krebsarten kritische Muster mit höherer Genauigkeit erkennen können als erfahrene Ärzte.

In vielen Fällen steht bei diesen Entscheidungen jedoch viel auf dem Spiel, und während ein Arzt seine Entscheidung erklären kann, indem er die ausschlaggebenden Faktoren nennt, die seine Diagnose beeinflusst haben, kann ein Deep-Learning-Modell nicht auf die gleiche Weise befragt werden - zum einen, weil der Grund für seine höhere Genauigkeit gerade in der Fähigkeit liegt, mehr Faktoren und komplexe Wechselwirkungen zu berücksichtigen, als sie von Menschen verstanden werden können. Weitergedacht würde dies auch noch nie dagewesene rechtliche Fragen rund um die Verantwortung aufwerfen - derartige Debatten wurden bereits im Zusammenhang mit dem autonomen Fahren angestoßen. Das Erfordernis der Erklärbarkeit könnte durchaus ein Haupthindernis für die automatische Krankheitserkennung bleiben. Ein Bereich, in dem der Bedarf an erklärbaren KI weniger klar ist, liegt in der medizinischen Bildgebung. Wie in diesem Artikel beschrieben, ist eine vielversprechende Anwendung für Deep Learning die Beschleunigung von MRT-Scans durch intelligente Rekonstruktion von Bildern mit Unterabtastung. Dies unterscheidet sich von der automatisierten Diagnose, da das Modell darauf trainiert ist, Details zu schärfen und zu rekonstruieren, nicht aber Strukturen zu erkennen. Die Genauigkeit des Rekonstruktionsalgorithmus kann getestet werden, indem Bilder mit geringer Qualität erstellt werden, die als Eingabe für das Modell dienen, und dann die Ausgabe mit dem Originalbild verglichen wird. Es besteht jedoch die Sorge, dass der Algorithmus im Laufe der Zeit Verzerrungen entwickeln könnte, die von der Verteilung der Eingaben abhängen, was ohne Einblick in das Innenleben des Modells schwer zu erkennen ist.

Zusammengefasst...

Erklärbarkeit ist wichtig, aber nicht immer notwendig. Wir müssen ein Modell von KI nicht unbedingt in der Regel verstehen, um es einzusetzen, aber es sollte das langfristige Ziel sein, damit der Einsatz von tiefen neuronalen Netzen auch in sensiblen Entscheidungsprozessen eine Option wird. Alles läuft auf einen kontextabhängigen Kompromiss hinaus. Die höchste Genauigkeit für große moderne Datensätze wird oft durch komplexe Modelle erreicht, die selbst für Experten schwer zu interpretieren sind, wodurch ein Spannungsverhältnis zwischen Genauigkeit und Interpretierbarkeit entsteht. Für jeden Bereich müssen wir den Wert von Genauigkeit und Automatisierung mit dem Bedarf an Einblick in den Entscheidungsprozess vergleichen.

Während das Bestreben, beides zu kombinieren, in naher Zukunft noch Gegenstand der Forschung sein wird, müssen wir die Frage des Vertrauens und der Transparenz im Kontext einer bestimmten Aufgabe betrachten und Systeme entwerfen, die auf diese Anforderungen zugeschnitten sind und es uns dennoch ermöglichen, von der Vorhersagekraft von KI zu profitieren.

[1] SHapley Additive exPlanungen

Wir bei Luminovo wissen um die Nuancen individueller Geschäftsprobleme und die unterschiedlichen Anforderungen, die sie mit sich bringen. Mit der Aussicht auf eine zunehmende Nutzung von KI in sensiblen Entscheidungsprozessen haben wir uns in der internen Forschung der Entwicklung von Interpretationsrahmen für tiefe neuronale Netze mittels fortschrittlicher Visualisierung gewidmet. Während solche Modelle, die auf dem neuesten Stand der Forschung beruhen, einen gewissen Einblick in die interne Funktionsweise von KI-basierten Systemen geben, liegt ein vollständiger Einblick in den Entscheidungsprozess eines Modells noch in weiter Ferne. Daher kombiniert unsere praktische Lösung menschliches Expertenwissen, das nach wie vor unübertroffen ist, wenn es darum geht, kritische Randfälle, die von der Norm abweichen, zu entschlüsseln, mit einer sich ständig verbessernden künstlichen Intelligenz innerhalb eines Hybridsystems. Indem wir die Kommunikation durch Feedback zwischen Nutzer und Modell einbeziehen, nutzen wir die gegensätzlichen Stärken, die menschliche und künstliche Intelligenz auszeichnen. Dieses Format verbindet das Bedürfnis nach Transparenz mit praktischer Realisierbarkeit.

Dank an Sebastian Schaal.

‍