B S O I [ Erklärbare KI im Praxiseinsatz ] r e f o h n u a r F www.iosb.fraunhofer.de ISSN 1616-8240

Editorial Prof. Dr.-Ing. habil Jürgen Beyerer Liebe Freunde des Fraunhofer IOSB, Künstliche Intelligenz (KI) kann den Menschen vielfältig unterstützen, etwa bei der Optimie- rung industrieller Fertigungsabläufe, beim Autofahren oder in der Medizin bei der Auswahl von Therapiemöglichkeiten. Da KI-Lösungen eine immer größere Rolle im Alltag spielen, sind ethische Grundsätze – wie bspw. durch die EU im derzeit verhandelten AI Act beschrieben – wichtige Grundpfeiler für ihre Entwicklung. Nicht zuletzt um diese Grundsätze zu beachten, sind Nachvollziehbarkeit und Transparenz von KI-Modellen wichtig: Sie unterstützen die Entwicklung von KI-Modellen und stärken das Vertrauen in KI-Ergebnisse. Eine lange Tradition im Bereich KI haben von Natur aus nachvollziehbare White-Box-Modelle wie kleine Entscheidungsbäume oder einfache Bayes‘sche Netze. Durch den einfachen und übersichtlichen Aufbau ermöglichen sie es direkt, die algorithmischen Zusammenhänge zu verstehen. Seit über zehn Jahren sind Verfahren aus dem Bereich des Maschinellen Lernens, insbesondere des Deep Learnings, in den Fokus gerückt. Diese werden auf großen Datenmengen trainiert und liefern für spezielle Aufgaben KI-Modelle mit hoher Qualität. Solche Modelle sind sehr komplex; wir können ihre Vorgehensweise nicht intuitiv durchdringen. Sie werden daher als Black-Box bezeichnet. Sogenannte Erklärmodelle aus dem Forschungsbereich Explainable Artificial Intelligence (XAI) ermöglichen es, die Vorgänge in der Black-Box besser zu verste- hen. Diese können explizit für spezifische KI-Modelle oder allgemein für unterschiedliche KI- Modelle entwickelt werden. Die Erklärungen werden über das gesamte KI-Modell hinweg oder zu bestimmten Ergebnissen der KI generiert. Durch den Einsatz speziell entwickelter Vor- gehensweisen zum User Interface Design und Usability Engineering wird eine optimale Nutzbarkeit gewährleistet. Das Fraunhofer IOSB beherrscht die Entwicklung von KI-Lösungen und dazugehörigen Er- klärmodellen und wendet diese in unterschiedlichen Einsatzgebieten an. Als Partner für den Mittelstand und die Industrie bringen wir diese Erfahrung gerne auch in Ihren Use-Case ein. In diesem visIT geben wir Einblick in konkrete XAI-Anwendungsbeispiele aus den Bereichen Qualitätssicherung und Produktion, sensorgestützte Aufklärung und Überwachung, sowie Medizin. Abschließend stellen wir unsere XAI-Toolbox vor, die es uns ermöglicht, auch für Ihr KI-Verfahren verschiedene Erklärungen zu erzeugen – und damit für zielgerichtete Entwick- lung, Vertrauen und Transparenz auch in Ihrer Anwendung zu sorgen. Wir wünschen viel Freude beim Lesen unserer Ausgabe »Erklärbare KI im Praxiseinsatz«. Fraunhofer IOSB, im April 2023 Dr. Elisabeth Peinsipp-Byma Prof. Dr.-Ing. habil. Jürgen Beyerer Dr. Elisabeth Peinsipp-Byma 3 Erklärbare KI im Praxiseinsatz vis IT

Abb. 2: Dashboard zur Erklärung von Klassifikationsergebnissen. Hier wurde eine Anomalie erkannt, die insbesondere durch die ersten pneumatischen Ventile im Array ausgelöst wurde (lokale Erklärung für das Modellergebnis) prozesse optimieren und die Fehlererken- nung/-behebung beschleunigen, können sie entscheidend dazu beitragen, Produkte und Dienstleistungen auf einem hohen Qualitätsniveau zu halten. TRANSPARENTE ANOMALIEERKENNUNG DANK XAI Wie das konkret aussehen kann, veranschau- licht unser voll funktionsfähiger Demonstrator für diesen Use Case: Sobald die Anlagenüber- wachung mittels KI eine Anomalie erkennt hat, sorgen XAI-Methoden für eine für den Menschen verständliche Darstellung, welche Faktoren ausschlaggebend waren für die Ein- stufung als Anomalie. Hierbei kommen bspw. sogenannte Feature Attribution Verfahren wie SHAP zum Einsatz, die bewerten, wie wichtig die einzelnen Eingangsmerkmale für die Klassifikation waren. Da hier als Eingangs- parameter die Schaltsequenzen der einzelnen pneumatischen Ventile analysiert werden, kann ein Werker direkt erkennen, welche Ventile sich ungewöhnlich verhalten, und daraus Rückschlüsse ziehen, welche näch- sten Schritte eingeleitet werden müssen. Der Einsatz von XAI-Methoden in der Qua- litätssicherung unterstützt den Menschen also bei seinen Aufgaben und trägt dazu bei, den Aufwand und die Kosten für ma- nuelle Überprüfungen zu reduzieren. Ins- besondere bei der Prüfung großer Daten- mengen können XAI-Methoden helfen, die wichtigsten Probleme zu identifizieren und somit eine schnelle Fehlererkennung und -behebung zu ermöglichen. So können XAI- Methoden in Kombination mit ML-Verfahren Schwachstellen in Prozessen identifizieren und damit zur Verbesserung der Qualität bei- tragen. Der Einsatz von XAI-Methoden kann also Prozesse effizienter und Entscheidungen transparenter machen. Da im Rahmen der Industrie 4.0 der Einsatz von ML-Verfahren an Bedeutung gewinnt, um wettbewerbsfähig zu bleiben, wird auch die Unterstützung durch XAI-Methoden immer wichtiger. Indem sie Entscheidungs- vis IT 5 Erklärbare KI im Praxiseinsatz

Abb. 2: Erklärung mittels LIME. Das Sensorsignal wird hierfür entlang der Zeitachse in Abschnitte aufgeteilt und der Beitrag jedes Abschnitts zur Pro- gnose untersucht. Auf einer Farbskala von Rot über Weiß bis Grün wird der Beitrag des Abschnitts auf die Prognose von entgegengesetzt über neutral bis zustimmend angegeben. Abb. 3: Erklärung mittels CAM. Im Gegensatz zu LIME wird das Sensorsignal nicht in feste Abschnitte geteilt, sondern der Beitrag zur Prognose ist konti- nuierlich auf einer Farbskala von Blau mit der Bedeutung »kein Beitrag« bis Rot mit der Bedeutung »hoher Beitrag« dargestellt. die Spritzgießmaschinen als auch die Werk- zeuge einem gewissen Verschleiß; befinden sie sich in unterschiedlichen Phasen ihres Lebenszyklus, können abweichende Produk- tionsparameter nötig sein, um eine gleich- bleibende Qualität zu gewährleisten. Die Einrichtung und Überwachung dieser Produk- tionsprozesse erfordern ein hohes Maß an Expertise. Angesichts des wachsenden Fach- kräftemangels und steigender Qualitätsanfor- derungen wird die Situation für Produzenten in Deutschland zunehmend problematisch. RESSOURCEN SCHONEN DURCH QUALITÄTSPROGNOSEN Um kunststoffverarbeitende Betriebe bei diesem umfangreichen Aufgabenspektrum zu unterstützen, haben wir mit der Hoch- schule Schmalkalden eine praktische Lösung entwickelt: Über Sensoren in der Spritzgieß- form werden Prozessdaten wie Druck- und Temperaturverläufe erfasst, um die Qualität der hergestellten Produkte vorherzusagen. Dazu wird eine kompakte Mess- und Aus- werteelektronik am Werkzeug angebracht (siehe Abbildung 1), die das Ergebnis der Qualitätsprognose durch eine Ampel anzeigt. Eigens zugeschnittene KI-Modelle lernen direkt aus den Prozessdaten und benötigen keine zusätzliche Merkmalsextraktion. Mit diesem System werden kritische Qualitäts- parameter für viele Situationen sehr genau vorhergesagt. Jedoch kann die abgegebene Prognose nicht unter allen Umständen exakt sein. Die Akzeptanz solcher KI-Lösungen in der Anwendungsdomäne kann durch Erklä- rungsansätze für einzelne Prognosen deutlich gesteigert werden. Für die konkrete Problem- stellung wurde eine Toolbox mit mehreren Algorithmen entwickelt, welche dem Nutz- enden die Relevanz einzelner Zeitsignalab- schnitte für das Prognoseergebnis graphisch darstellt. Dabei kommen unter anderem modellagnostische Ansätze wie LIME (Local Interpretable Model-agnostic Explanations) [1] und modellspezifische Ansätze wie CAM (Class Activation Mapping) [2] zum Einsatz. In Abbildung 2 und 3 sind beispielhafte An- notationen mittels der genannten Metho- den gegenübergestellt. Hierdurch können Anwendende mit Expertise entscheidungs- relevante Signalabschnitte sehr gut erkennen und deren Plausibilität mit dem eigenen Wis- sen und der eigenen Erfahrung abgleichen. Für die Validierung der Modelle ist dies eine wesentliche Funktionalität, welche gleichzeitig dem Anwendenden ein Bild über die Verläss- lichkeit des KI-Modells vermittelt. Durch ein frühzeitiges Erkennen von Qualitätsschwan- kungen wird zudem der Verbrauch von Res- sourcen wie Energie und Kunststoffgranulat minimiert. [1] S. M. Lundberg und S.-I. Lee, »A Unified Approach to Interpreting Model Predictions«, in Proceedings of the 31st International Conference on Neural Information Processing Systems, Red Hook, NY, USA, 2017, S. 4768–4777. [2] B. Zhou, A. Khosla, A. Lapedriza, A. Oliva, und A. Torralba, »Learning Deep Features for Discriminative Localization«, ArXiv151204150 Cs, Dez. 2015. Verfügbar unter: http://arxiv.org/ abs/1512.04150. vis IT 7 Erklärbare KI im Praxiseinsatz

Abb. 2: Detektion von Fahrzeugen (PKW mit roten, Lieferwagen mit schwarzen Rahmen) und dazugehörige Erklärungen. Erwartet war die Beobachtung, dass im Hintergrund die Auflösung der Objekte nicht mehr ausreichend ist, um verlässliche Detektionen zu liefern. Die Erklärungen im Vordergrund sind jedoch ebenfalls schwach, auch wenn die Objekte in diesem Fall erfolgreich detektiert sind. Hier empfiehlt sich dem Entwickler also, das Training bzgl. größerer Objekte anzupassen, um die sich abzeichnende Schwäche auszugleichen. zeugklassifikators nachvollziehbarer machen. Solche KI-basierten Klassifikatoren können anhand von Bildern von Fahrzeugen feingra- nular den Hersteller, das Modell und teilweise sogar das Baujahr bestimmen. Bei derart spe- zialisierten Aufgaben können Anwender*innen der Verfahren die Ergebnisse nur mit umfang- reichem Hintergrundwissen verifizieren. Die Information, anhand welcher Bereiche des Bildes bzw. Fahrzeuges die Entscheidung ge- troffen wurde, schafft hier neue Möglichkei- ten: Sie versetzt auch Menschen ohne um- fangreiche Kenntnisse bezüglich Automarken und -modelle in die Lage, die Plausibilität des Ergebnisses zu prüfen – etwa indem sie sicher- stellen, dass die markierten Bildbereiche tat- sächlich auf dem Fahrzeug und dort ggf. auf relevanten Teilen, wie dem Symbol des Her- stellers, liegen. QUALITÄTSSICHERUNG UND TARN- BEWERTUNG Erklärverfahren schaffen also Vertrauen in den Einsatz der KI-Modelle. Ein weiterer wesentlicher Einsatzbereich ist die Qualitäts- sicherung im Prozess der KI-Verfahrensent- wicklung. So können Entwickler*innen leicht erkennen, wenn sich ein KI-Verfahren bei der Klassifikation oder Detektion von Objek- ten in Bildern auf nur zufällig korrelierte Information wie Wasserzeichen im Bild stützt, wenn es nur bestimmte Teile von Objekten erlernt, die später im Anwendungsfall wo- möglich verdeckt sein könnten, oder wenn es Schwächen bei bestimmten Bildauflösun- gen oder Bildcharakteristiken aufweist. Er- mittelt man derartige Fehlverhalten oder Schwächen, lassen diese sich in einem iter- ierten Entwicklungszyklus aus den KI-Ver- fahren heraustrainieren. Ein dritter Aspekt, unter dem XAI im Bereich von KI-Verfahren zur Bildauswertung wert- volle Dienste leistet, betrifft die Täuschung von bzw. Tarnung vor KI-Verfahren sowie die Ermittlung von Angriffen auf KI-Verfahren. So werden am Fraunhofer IOSB auf XAI ba- sierende Methoden verwendet, um zu be- werten, wie effektiv Tarnungen gegenüber KI-basierter Objektdetektion wirken. Ebenso können Erklärverfahren eingesetzt werden, um Angriffe auf KI-Modelle zu erkennen, die auf Manipulation der Eingabedaten ba- sieren. Solche Angriffe führen zu starken Veränderungen in den Charakteristiken der resultierenden Erklärungen, die wiederum die Identifikation des Angriffs ermöglichen. Erklärverfahren unterstützen den Entwick- lungsprozess und den Einsatz von KI-Verfah- ren in der Bildauswertung somit in vielerlei Hinsicht. Sie erhöhen die Qualität der Ergeb- nisse, die Robustheit gegenüber Störeinflüssen und das resultierende Vertrauen der Anwen- der*innen. Ihr Einsatz und ihre Weiterent- wicklung ist und bleibt daher ein wichtiger begleitender Prozess bei der Erforschung und Integration KI-basierter Bildauswerteverfah- ren am Fraunhofer IOSB. vis IT 9 Erklärbare KI im Praxiseinsatz

Abb. 2: Beispiel eines Wissensmodells für seman- tische Erklärverfahren zur Fahrzeugdetektion. Im Modell werden die für Fahrzeuge optisch erkenn- baren Teile beschrieben. Dieses Wissen kann in Erklärverfahren eingebunden werden. Abb. 3: Semantische Relevanzprüfung für die Fahrzeugdetektion: Anhand des Wissensmodells wer- den die relevanten Teile für die Klasse Fahrzeug im Bild ermittelt (vgl. [4]) und entfernt. Für das derart veränderte Bild wird erneut das Detektionsergebnis berechnet und mit dem Ergebnis des Originalbilds verglichen. Aus dem Unterschied ergibt sich die Relevanz des entfernten Teiles für das Detektionsver- fahren (Testbild [3]). Plausibilität zu prüfen oder um zu beur- teilen, wie relevant einzelne Teile eines er- kannten Objektes bzw. sein Kontext für das Ergebnis waren. Als Ergebnis einer Plausibi- litätsprüfung (siehe Abbildung 1) kann das semantische Erklärverfahren z. B. feststellen, dass die Detektion eines Fahrzeuges plausibel ist (oder nicht), da auch Teile wie Räder, Türen etc. (oder eben nicht) auf dem Bild erkannt wurden. Für die Erkennung der Teile und des Kontextes sind weitere Bilderkennungsver- fahren (z. B. [2] für Schlüsselpunkte an Fahr- zeugen) und deren Verknüpfung zum Wissens- modell notwendig. Ist diese Verknüpfung erfolgt, verläuft die semantische Plausibili- tätsprüfung automatisch. Als Ergebnis wird eine natürlichsprachliche Erklärung erzeugt und durch Informationen, wie im Bild er- kannte Teile, ergänzt. NATÜRLICHSPRACHLICHE ERKLÄRUNGEN FÖRDERN VERSTÄNDNIS FÜR MASCHI- NELLE LERNVERFAHREN Für eine semantische Relevanzprüfung werden dagegen entsprechende Teile im Originalbild entfernt (z. B. durch Schwärzen), um im Sinne eines kontrafaktischen Erklär- ansatzes feststellen zu können, wie wichtig diese Teile für das zu prüfende KI-Ergebnis waren (siehe Abbildung 3). Auch hier kann das Ergebnis in Form einer natürlichsprach- lichen Erklärung dargestellt werden: »Die Front- scheibe im betrachteten Bild ist relevant für die Erkennung als ein Objekt der Klasse Fahr- zeug, da die Konfidenz der Erkennung um sechs Prozent absinken würde, wenn sie nicht im Bild wäre«. Eine Relevanzprüfung kann dabei nicht nur auf einzelnen Bildern durch- geführt, sondern auch über ganze Datensätze; so können etwa verschiedene Verfahren zur Fahrzeugdetektion besser verglichen werden. Natürlichsprachliche Erklärungen besitzen über diese Anwendungsfälle hinaus ein großes Potential, um maschinelle Lernver- fahren im Allgemeinen Menschen leichter zugänglich zu machen. Sie sind anpassbar an ein breites Nutzer*innen-Spektrum mit unterschiedlichem Wissenshintergrund zu maschinellen Lernverfahren. [1] Sander, Jennifer, and Achim Kuwertz. »Sup- plementing Machine Learning with Knowledge Models Towards Semantic Explainable AI« in: International Conference on Human Interaction and Emerging Technologies - Future Applications (IHIET-AI), 2021. [2] Wang, Zhongdao et al. »Orientation Invariant Feature Embedding and Spatial Temporal Regula- rization for Vehicle Re-Identification« in: The IEEE International Conference on Computer Vision (ICCV), 2017. [3] Krause, Jonathan, and Stark, Michael, and Deng, Jia, and Fei-Fei Li. »3D Object Represen- tations for Fine-Grained Categorization,« in: 4th IEEE Workshop on 3D Representation and Recog- nition at ICCV 2013 (3dRR-13), 2013. [4] Wu, Yuxin, and Kirillov, Alexander, and Massa, Francisco, and Lo, Wan-Yen, and Girshick, Ross. »Detectron2«, URL: https://github.com/facebook- research/detectron2, 2019. 11 vis IT Erklärbare KI im Praxiseinsatz

Abb. 1: Designartfakt, d.h. ein gemeinsam mit Ärzt*innen hergestellter Papierprotoytp, der hilft, die Informationsarchitektur eines CDSS gemäß der mentalen Modelle der Anwender*innen zu gestalten. Diese Designartefakte sind besonders geeignet, Anforderungen an alle Stakeholder in Softwareentwicklungsprozesse zu kommuni- zieren und begreifbar zu machen. (Arbeiten aus dem Fraunhofer-Leitprojekt MED2ICIN) verstehen. Ein mentales Model ist die Vor- stellung die eine Nutzer*in davon hat, wie ein bestimmtes System funktioniert. Inter- faces sollten möglichst so gestaltet sein, dass sie den mentalen Modellen der jewei- ligen Anwender*innen entsprechen. Da wir als Designer*innen keine Expert*innen in den Anwendungsfeldern sind, für die wir gestalten, benötigen wir Methoden, die uns diese zugänglich machen. PARTIZIPATIVES DESIGN UND PAPIER- PROTOTYPEN In unserer Arbeitsgruppe erforschen wir, wie wir gemeinsam mit Ärzt*innen sog. Design- artefakte erarbeiten können (siehe Bild). Diese helfen uns z. B., besser zu verstehen, wie Ärzt*innen während der Sprechstunde das Interface ihrer klinischen Software nutz- en, um Entscheidungen bezüglich Diagnose und Therapie zu treffen. Dadurch können wir diesen Prozess dann mit Datenaufberei- tung und Visualisierungen gezielt unterstüt- zen. Im Fraunhofer-Leitprojekt MED2ICIN haben wir z.B. in Workshops mit Ärzt*innen Pa- pierprototypen hergestellt. So wird deutlich, welche Information welche Priorität hat und wo sie platziert werden muss, damit Nutzer*innen sie möglichst effektiv erfassen. Diesen Ansatz nennt man partizipatives De- sign. Er wird in der Forschung als vielver- sprechender methodischer Ansatz gesehen, die Usability solch komplexer Systeme und eben auch von XAI nachhaltig und systema- tisch zu verbessern. Allerdings erfordert die Synchronisation dieser Vorgehensweise mit bestehenden Softwareentwicklungsprozessen eine hohes Maß an Designkompetenz. Diese Kompetenz haben wir durch Projekte wie MED²ICIN aufgebaut und können sie in zukünftige KI-Projekte einbringen, um diese zum Erfolg zu führen. Denn die Visualisierung wird ein entscheidender Faktor sein, um XAI- Werkzeuge praxistauglich und zielgruppen- gerecht nutzbar zu machen. Dieser Artikel lehnt sich an das folgende Open- Access-Paper an, in dem sich auch weiterführende Quellen und eine ausführliche Beschreibung eini- ger hier angesprochener Konzepte finden: Mucha, H., Robert, S., Breitschwerdt, R., Fellmann M. 2022. Usability of Clinical Decision Support Systems. Zeitschrift für Arbeitswissenschaft. Springer. https://doi.org/10.1007/s41449-022- 00324-8 13 vis IT Erklärbare KI im Praxiseinsatz

Abb. 2: Erklärungen basierend auf XAI-Modellen für räumlich-zeitliche Daten. Eines der zentralen Merkmale der Toolbox ist ihre Fähigkeit, eine Vielzahl von Erklär- verfahren anzubieten. Sie umfassen Interpre- tierbarkeit, Visualisierung, Attribution und Erklärung von KI-Modellen. Einige Beispiele hierfür sind LIME, SHAP, Integrated Gradients und kontrafaktische Erklärungen: Diese Ver- fahren ermöglichen es Benutzer*innen, das Verhalten von KI-Modellen besser zu verstehen, indem sie visuelle und textbasierte Erklär- ungen liefern. Auf Basis dieser Erklärungen können Menschen die Entscheidungsfindung von KI-Systemen überprüfen und validieren. Darüber hinaus ermöglicht die Toolbox eine schnelle Verknüpfung von XAI-Verfahren mit KI-Modellen. Dies bedeutet, dass Benut- zer*innen ohne großen Aufwand verschie- dene XAI-Verfahren auf ihre KI-Modelle an- wenden können, um die Entscheidungen der KI besser zu verstehen. Auf diese Weise können Probleme identifiziert und entsprech- ende Änderungen vorgenommen werden, um die Vorhersagegenauigkeit und -verläss- lichkeit zu verbessern. verschiedenen Anwendungsdomänen. Die Toolbox wurde entwickelt, um den Prozess der Integration von KI-Modellen zu erleich- tern und gleichzeitig sicherzustellen, dass die Modelle transparent und interpretierbar bleiben. Die Verknüpfung von XAI-Verfahren mit KI-Modellen ermöglicht es den Anwender- *innen, schnell und einfach verschiedene Parameter zu erproben und die optimale Konfiguration für ihr spezifisches Szenario zu finden. Dies ermöglicht uns auf einfache Weise neue Anwendungsfälle von Kund*in- nen zu untersuchen und dadurch neue KI- Ansätze zu erproben bzw. Verbesserungs- vorschläge für bestehende Ansätze zu entwickeln. Ein weiteres Merkmal ist eine einfache Inte- gration neuer Datensätze. Dies ist besonders nützlich für Anwender*innen, die spezielle Datensätze verwenden oder ihre eigenen Daten generieren möchten. Mit der Toolbox können Benutzer*innen ihre eigenen Daten- sätze importieren und nahtlos integrieren, um die Leistung ihrer KI-Modelle und die dazugehörigen XAI-Erklärungen auf diesen Daten effizient zu testen und zu verbessern. Zusätzlich bietet die Toolbox eine einfache Wiederverwendung von Verfahren, Daten- sätzen und Visualisierungskomponenten: Benutzer*innen können bereits vorhandene Verfahren und Komponenten verwenden und an ihre eigenen Anforderungen anpas- sen. Auf diese Weise können Benutzer*innen wertvolle Zeit und Ressourcen sparen und sich auf die Entwicklung und Optimierung ihrer KI-Modelle konzentrieren. Zusammenfassend bietet die XAI-Toolbox des Fraunhofer IOSB eine umfassende Lö- sung zur Interpretation von KI-Modellen in Nähere Informationen zum Thema auf: https://www.iosb.fraunhofer.de/de/projekte- produkte/XAIToolbox.html 15 vis IT Erklärbare KI im Praxiseinsatz