Öffnen der Black Box des maschinellen Lernens mit Layer-wise Relevance Propagation

Technische Universität Berlin

Sebastian Lapuschkin

Dr. Sebastian Lapuschkin hat an der Technischen Universität Berlin Informatik studiert mit einem Schwerpunkt auf Bildverarbeitung und Machine Learning. Während seiner Promotion, die er 2018 an der TU Berlin abschloss, widmete er seine Aufmerksamkeit der Lösung der in vielen Anwendungsgebieten problematischen Intransparenz moderner nicht-linearer KI-Systeme.
Derzeit vertieft Sebastian seine Forschung im Bereich des interpretierbaren maschinellen Lernens als Senior Researcher am Fraunhofer-Institut für Nachrichtentechnik, dem Heinrich-Hertz-Institut in Berlin.

Auf einen?

Expertise

 

  • Maschinelles Lernen
  • Softwareentwicklung
  • Bild- und Datenverarbeitung

 

Interessant für

  • Nutzer*innen von ML-Modellen, z. B. Anwender*innen in Industrie und Forschung
  • Entwickler*innen von ML-Modellen und Datensätzen
  • Betroffene von automatisierten und maschinengestützten Entscheidungen (siehe GDPR: §§ 13-15, 22: „Recht auf Erklärbarkeit“)
Paul Green/Unsplash
Sebastian Lapuschkin

Dr. Sebastian Lapuschkin hat an der Technischen Universität Berlin Informatik studiert mit einem Schwerpunkt auf Bildverarbeitung und Machine Learning. Während seiner Promotion, die er 2018 an der TU Berlin abschloss, widmete er seine Aufmerksamkeit der Lösung der in vielen Anwendungsgebieten problematischen Intransparenz moderner nicht-linearer KI-Systeme.
Derzeit vertieft Sebastian seine Forschung im Bereich des interpretierbaren maschinellen Lernens als Senior Researcher am Fraunhofer-Institut für Nachrichtentechnik, dem Heinrich-Hertz-Institut in Berlin.

Auf einen?

Expertise

 

  • Maschinelles Lernen
  • Softwareentwicklung
  • Bild- und Datenverarbeitung

 

Interessant für

  • Nutzer*innen von ML-Modellen, z. B. Anwender*innen in Industrie und Forschung
  • Entwickler*innen von ML-Modellen und Datensätzen
  • Betroffene von automatisierten und maschinengestützten Entscheidungen (siehe GDPR: §§ 13-15, 22: „Recht auf Erklärbarkeit“)

Interview

Arthur Höring
Redakteur

Komplexität drückt sich oft durch nicht-lineare Methoden aus und dein entwickeltes Modell, dem entgegenzuwirken, bezieht sich auf lineare Methoden. Was drückt denn der Begriff der Linearität in diesem Fall aus?

Sebastian Lapuschkin
schreibt…
Arthur Höring
Redakteur

Komplexität drückt sich oft durch nicht-lineare Methoden aus und dein entwickeltes Modell, dem entgegenzuwirken, bezieht sich auf lineare Methoden. Was drückt denn der Begriff der Linearität in diesem Fall aus?

Sebastian Lapuschkin
Doktorand

Linearität bezieht sich in diesem Fall auf die schrittweise lineare Kombination von Information. Eine lineare Kombination – also eine Addition oder Subtraktion wie zum Beispiel: 1 Brokkoli + 1 Blumenkohl + 3 Möhren + 200 Erbsen = 1 Mischgemüse – ist wieder leicht in ihre Einzelbestandteile zu zerlegen. Mein Erklärungsmodell Layer-wise Relevance Propagation versucht zu diesem Zweck, die linearen Arbeitsschritte eines KI-Modells auszunutzen, um dessen Entscheidungsprozess auf seine Grundelemente zu zerlegen.

Arthur Höring
Redakteur

Der Grund für die teilweise Undurchschaubarkeit der Systeme, mit denen du dich befasst hast, ist ihre komplizierte Verschachtelung. Gibt es einen bildlichen Vergleich dafür, über welchen Weg du versucht hast, diese komplexen Strukturen mit deinem Modell zu entschlüsseln?

Sebastian Lapuschkin
Doktorand

Man kann sich den Informationsfluss durch stark verschachtelte moderne Systeme des maschinellen Lernens wie einen Strom von Flüssigkeit oder Elektrizität durch ein poröses Material vorstellen. Die Pfade dieses Stroms hängen von den gelernten Parametern des Systems, also den Tunnelverbindungen und -durchmessern der Poren und der Eingabe, bzw. wo wie viel hineingegossen wird, ab.  Als Vorhersage kann man dann z. B. interpretieren, aus welcher Öffnung des Materials der Strom austritt.
Mit unserer Technik der Layer-wise Relevance Propagation verfolgen wir diesen Fluss durch das Modell von seinem Ausgang aus zurück durch das Geflecht an Pfaden zu den jeweiligen Eingängen. So können wir herausfinden, welche Eingabegröße letztendlich für die Vorhersage verantwortlich war.

Arthur Höring
Redakteur

Deiner Arbeit liegt gewissermaßen das Motiv des Vertrauens zugrunde. Denn es ist schwerer einer Aussage zu trauen, über deren Herleitung man nichts weiß. Siehst du unter diesem Aspekt einen Berührungspunkt zwischen deiner Arbeit und unserer alltäglichen Handhabung von Technik?

Sebastian Lapuschkin
Doktorand

Leider ist es oft genau andersherum; wir Menschen vertrauen von uns nicht verstandenen Maschinen wie Autos oder in einem Rechner ausgeführter Software oft mehr, wenn wir nicht wissen, wie diese funktionieren. Wir sind davon überzeugt und glauben, dass sie funktionieren. Immerhin wurden diese Dinge für den von ihnen zu erfüllenden Zweck gemacht. Dieses Prinzip lässt sich direkt auf meine Arbeit übertragen: Wir vertrauen und vertrauten in der Vergangenheit komplizierten Vorhersagemodellen, weil deren durchschnittliche Genauigkeit in Labortests sehr hoch war.
Leider haben wir wiederholt feststellen müssen, dass moderne Referenzmodelle zwar sehr akkurat die richtige Kategorie – beispielsweise die eines Objekts auf einem Bild – vorhersagen können, nur dafür gänzlich unerwartete oder falsche Merkmale aus dem Bild nutzen. Diese Modelle ‚schummeln‘ im Labortest und wären so nicht in der Lage in der freien Wildbahn mit der gleichen Performance wie unter Testbedingungen zu funktionieren.
Die Einsicht, dass das passieren kann und dass dieses Phänomen meist von den Trainingsdaten abhängt, ist wichtig, um in Zukunft bessere und zuverlässige Modelle trainieren zu können.

Schlagworte

Layer-wise Relevance Propagation, maschinelles Lernen, Taylor-Zerlegung, spektrale Relevanzanalyse, erklärbare künstliche Intelligenz

Zusammenfassung

Techniken des maschinellen Lernens wie (Tiefe) Neuronale Netze lösen eine Vielzahl an Aufgaben mit großem Erfolg, beispielsweise in der Bilderkennung und Textanalyse, und bieten neuartige Vorhersagemodelle für komplexe physikalische, biologische und chemische Zusammenhänge auf. Dies geht jedoch durch die verschachtelte und komplex-nichtlineare Struktur vieler Modelle des maschinellen Lernens mit dem Nachteil einher, dass diese Modelle sich wie Black Boxes verhalten und keine oder nur wenig Informationen über interne Schlussfolgerungen preisgeben. Dieser Black Box-Charakter beeinträchtigt die Anwendung und Akzeptanz von nichtlinearen Methoden in zahlreichen Anwendungsgebieten, in denen das Verstehen individueller Modellvorhersagen, und somit das Vertrauen in das Vorhersagemodell unumgänglich ist. Diese Dissertation behandelt eine neuartige Methode, genannt Layer-wise Relevance Propagation (LRP), zur Erklärung nichtlinearer Klassifikationsentscheidungen mittels der Zerlegung der Vorhersagefunktion. Wir wenden unsere Methode auf Neuronale Netze, Support Vector Maschinen (mit nichtlinearen Kernen) und Bag of Words Merkmalsextraktionssysteme an, und evaluieren LRP auf theoretischer, qualitativer und quantitativer Ebene im Vergleich zu weiteren aktuellen Methoden zur Interpretation von Modellvorhersagen. Unsere Methode als Analysewerkzeug nutzend decken wir vergleichend zwischen diversen vortrainierten Modellen verschiedene erlernte Vorhersagestrategien und Schwächen in Datensätzen, Prädiktionsmodellen und deren Training auf.

Weiterführender Artikel zum Thema.

Zitiervorschlag

Lapuschkin, Sebastian. Opening the machine learning black box with Layer-wise Relevance Propagation. Technische Universität Berlin, 2019, doi:10.14279/depositonce-7942.

Repository

depositonce.tu-berlin.de

Identifikatoren

urn:nbn:de:101:1-2019020600591967118475

doi: 10.14279/depositonce-7942