[ KI für wehrtechnische Anwendungen ] [ KI für wehrtechnische Anwendungen ] B S O I r e f o h n u a r F www.iosb.fraunhofer.de ISSN 1616-8240

Liebe Freunde des Fraunhofer IOSB, Editorial bekanntlich behandelt Künstliche Intelligenz (KI), als Teilgebiet der Informatik, die Mecha- nisierung intelligenten Verstehens und das maschinelle Lernen. In der Industrie, der Auto- matisierungstechnik und z. B. bei selbstfahrenden Kraftfahrzeugen sind die Methoden der KI nicht mehr wegzudenken. Selbstverständlich gibt es auch im Bereich der Wehrtechnik und der Verteidigungsforschung zahllose Anwendungsbereiche, etwa Aufklärungs-, Über- wachungs-, Entscheidungs-, Führungs- und Wirksysteme. Die regelmäßig erscheinende Themenbroschüre visIT des Fraunhofer-Instituts für Optronik, Systemtechnik und Bildauswertung IOSB befasst sich seit vielen Jahren mit der intelligenten Verarbeitung von Daten unterschiedlichster Quellen. Das sind insbesondere Bild- und Videodaten unterschiedlicher Sensoren. Die vorliegende Ausgabe konzentriert sich dabei nun auf Entwicklungen und Ergebnisse, die vom technologischen Ansatz KI beinhalten und deren Anwendungen im Bereich der Wehrtechnik liegen. Den Auftakt macht ein Essay zu Chancen und Risiken von KI in der Wehrtechnik, wobei das Rollenverhältnis von Mensch und Maschine besondere Beachtung findet. Es folgen Darlegungen zu echtzeitfähigen, intelligenten Videoauswerteverfahren, wie sie z. B. bei UAS-Einsätzen relevant sind. Die Aufsätze zur Situationsanalyse sowie zur Entscheidungs- unterstützung in der Aufklärung und Überwachung behandeln Aspekte der Informations- fusion. Der Mensch spielt dann wieder eine wichtige Rolle bei den Assistenz- und Aus- bildungssystemen. Den Abschluss bildet ein Überblick bezüglich KI in der Tarnung bzw. Tarnbewertung. Eines der Ziele dabei ist, Mensch und Material besser vor KI-basierten Aufklärungsmitteln möglicher Gegner zu schützen. Natürlich können wir uns im Rahmen dieser Publikation nur in sehr knapper Form zu den Themen äußern. Falls Sie Fragen haben oder weitere Information wünschen, finden Sie bei jedem Aufsatz direkt die passende AnsprechpartnerInnen mit Kontaktangaben. Wir wünschen Ihnen viel Freude bei der Lektüre! Fraunhofer IOSB, im Oktober 2020 Prof. Dr.-Ing. habil. Jürgen Beyerer Dr.-Ing. Markus Müller Prof. Dr.-Ing. habil. Jürgen Beyerer Institutsleiter Dr.-Ing. Markus Müller 3 vis IT KI für wehrtechnische Anwendungen

Setzt auf maschinelles Lernen in der Echtzeitauswertung von Kamerabildern: das am Fraunhofer IOSB entwickelte modulare Drohnen-Erfassungs- und Assistenzsystem MODEAS. und des Einsatzes von KI-basierten Systemen streng kontrolliert und die Vertrauenswür- digkeit eines Gesamtsystems muss sicher- gestellt werden. Aufgabe der Forschung ist es, begleitend zur Entwicklung und Bewertung KI-basierter Fähigkeiten, einen Weg zu vertrauenswür- diger KI und einem verantwortungsvollen Umgang mit diesen Systemen in der Zukunft aufzuzeigen. Für die Entwicklung der Modelle und Regeln sowie insbesondere für den Einsatz daten- getriebener maschineller Lernverfahren müssen ausreichend repräsentative, ausge- wogene und realistische Daten zur Verfü- gung stehen. Die Erzeugung der notwendi- gen Daten kann durch Simulationssysteme unterstützt werden. Die Qualität eines KI- Systems hängt entscheidend von der Quali- tät der Trainings- und Modelldaten ab. SICHERHEIT UND KONTROLLE ALS BASIS FÜR VERTRAUEN Sicherheitsaspekte KI-basierter Systeme müssen schon im Design berücksichtigt werden. Insbesondere müssen mögliche gegnerische Angriffe in Bezug auf die KI- Komponente einkalkuliert werden. Dabei muss der Gesamtprozess der Entwicklung 5 vis IT KI für wehrtechnische Anwendungen

Rolle, da ein großer Teil der Anwendungen in der Videoauswertung in Realzeit erfolgt und damit kurze Prozessierungszeiten gefordert sind. Dies kann ebenfalls durch Verwendung spezieller Netzwerke und Topologien umgesetzt werden. VIDEO-ÄNDERUNGSDETEKTION ZWISCHEN FLÜGEN In der Aufklärung sind insbesondere Ände- rungen der Szene von Interesse. Diese in einem laufenden Video zu entdecken, ist für den Auswerter besonders schwierig, da der alte Zustand der Szene mit dem neuen Zustand verglichen werden muss und dabei häufig Beleuchtungs- und Perspektivein- flüsse den Bildeindruck dominieren. Die Lösung der Aufgabe erfordert einen komplexen Arbeitsablauf, der in ABUL realisiert wurde: ƒ Finden der Referenzvideodaten mit Hilfe einer speziellen Videodatenbank, die bildgenaue Videoabschnitte identifizieren kann. Abbildung 2: Detektion und Klassifi kation von Objekttypen mit Deep-Learing-Verfahren in Luftbildern. Legende: Gebäude, Personenfahrzeug, LKW, Flugzeug, Schiff, Baustellenfahrzeug, Eisenbahn ƒ Registrierung der Videodaten zueinander, ƒ Kompensation von Beleuchtungsunter- schieden und ƒ die Detektion von Änderungen. Zur Unterscheidung von relevanten Ände- rungen und Änderungen, die z. B. durch Beleuchtungsunterschiede verursacht wer- den, werden Deep-Learning-Verfahren ein- gesetzt, um eine semantische Klassifikation für die Änderungen durchzuführen. FAHRZEUGDETEKTION UND -TRACKING IN GROSSRÄUMIGEN VIDEODATEN Übliche Videosensorik erfasst bisher auf- grund der begrenzten Pixelzahl nur einen kleinen Szenenbereich. So können beispiels- weise nur einzelne Fahrzeuge detektiert und getrackt werden. Die Einführung von großformatigen Bild- Sensoren mit über 100 Millionen Pixeln ermöglicht jetzt die Realisierung von neuen, sogenannten Wide Area Motion Imagery- (WAMI-)Sensoren. Diese sind in Lage, große Areale aus der Luft (von ca. 7 bis 50 km²) kontinuierlich mit z. B. über 1000 Fahrzeugen im Erfassungs- bereich aufzunehmen. Diese großen Daten- mengen können nicht mehr von einem Beobachter erfasst werden. Daher werden leistungsfähige Bildauswertungsalgorithmen benötigt. Diese werden vom IOSB bereits langjährig entwickelt und ermöglichen die Erfassung und das Tracken von Fahrzeugen. Hierbei werden Deep-Learning-Verfahren insbesondere in folgenden Funktionen eingesetzt: ƒ CNN-basierte Bewegungsdetektionen (CNN = convolutional neural network) ƒ CNN-basierte Trackingverfahren. Abbildung 3: Änderungsdetektionsergebnisse der Video Change Detection. Abbildung 4: WAMI-Bild aus einer Bildfolge, mit Ausschnittsvergrößerung (WPAFP-Daten). Abbildung 5: In WAMI-Bildfolge detektierte und getrackte Fahrzeuge. visIT 7 KI für wehrtechnische Anwendungen

I GENZ ZUR UNTERSTÜTZUNG DES G GROSSER GEBIETE Bewegungsmuster eines Cargoschiffes. kann eigenständig Lösungen für neue und unbekannte Probleme finden. Dazu sind jedoch große Mengen an Beispieldaten notwendig, die das System mit Hilfe selbst- lernender Algorithmen analysiert, um in den Daten bestimmte Muster zu erkennen (z. B. Abweichung von einem Normalverhal- ten). Die am Fraunhofer IOSB entwickelten Verfahren sind dabei in der Lage, Auffällig- keiten auch in großen Datenstrukturen zu identifizieren. So kann etwa ein am IOSB entwickelter Algorithmus einzig auf Basis der Bewegungs- muster eines Schiffes mit hoher Sicherheit dessen Typ (z. B. Passagier- oder Cargoschiff) bestimmen. Die Güte der eingesetzten Verfahren wird dabei insbesondere durch die Quantität und Qualität der vorhandenen Daten sowie der Parametrisierung der Verfahren beeinflusst. Eine Herausforderung beim Einsatz maschi- neller Lernverfahren ist, dass sie für den Anwender eine sogenannte Black Box darstellen, also ihre Entscheidung nicht nachvollziehbar begründen. Die Erklärbare KI (Explainable AI) rückt mit zunehmender Anwendung der Verfahren als Forschungs- gegenstand immer mehr in den Fokus. Die Entwicklung sogenannter »Erklärmodelle«, die bestehende Algorithmen ergänzen und ermitteln, welche Eingabedaten das Ver- fahrensergebnis ausschlaggebend beein- flusst haben, steht auch am IOSB im Fokus aktueller Arbeiten. Basis für die Beurteilung einer Situation durch den Experten ist ein intuitiv nutzbares User Interface, welches u. a. die Einbindung und optimale Nutzung zahlreicher Informa- tionsquellen ermöglicht. Die am IOSB entwi- ckelte interaktive Lagedarstellung (Digitaler Lagetisch, DigLT) erfüllt diese Anforderun- gen und bietet eine adaptive Mensch- Maschine-Schnittstelle, die den Anwender je nach verfügbaren Daten und der zu lösenden Aufgabe individuell unterstützt. Eine sogenannte Zeitleiste ermöglicht nicht nur, das Verhalten von Objekten jederzeit auch für vorangegangene Zeitpunkte zu analysieren, sondern auch mit dem Blick in die Zukunft, indem auch die Einbindung von Simulationsverfahren zur Situations- prädiktion unterstützt wird. Interaktive Lagevisualisierung am Digitalen Lagetisch (DigLT) des Fraunhofer IOSB. Daten verschiedener Sensorquellen werden vorverarbeitet, fusioniert und vorgehalten. Analysedienste werten diese Informationen live aus und detektieren auffälliges Verhalten. visIT 9 KI für wehrtechnische Anwendungen

G IN DER AUFKLÄRUNG UND ÜBERWACHUNG: E INFORMATIONSFUSION KI-Ansätze in Entscheidungsunterstützungs- systemen für Aufklärung und Überwachung erfordern ein hohes Maß an Transparenz. Der Anwender muss das Vorgehen eines Systems verstehen und dessen Ergebnisse nachvollziehen können, um auf Basis dieser Unterstützung wohlüberlegte Entscheidun- gen zu treffen. Wo nötig, muss er darüber hinaus dessen Aufgaben bruchfrei über- nehmen können. Je nach Tiefegrad der Einbindung des Menschen in die Verarbei- tungsschleife wird unterschieden zwischen »Human-in-the-Loop«-Systemen (Mensch trägt in jeder Schleife bei) und »Human-on- the-Loop«-Systemen (Mensch wird z. B. nur bei Auffälligkeiten informiert und über- nimmt dann). Eine vom Fraunhofer IOSB für solche Aufga- ben entwickelte Assistenzkomponente arbei- tet nach dem Prinzip »Human-on-the-Loop« (Abb. 1) [1,2]: Sie informiert den Anwender in Bezug auf das Vorliegen kritischer Sach- verhalte und ermöglicht ihm somit ein ziel- gerichtetes Eingreifen. Dabei werden wissens- und datenbasierte Ansätze kombiniert. Das Design der Komponente folgt dem Prinzip einer Schichtenarchitektur. Zentral ist hier der Anteil zur Informationsfusion, welcher aktuelle Informationen miteinander und mit Hintergrundwissen kombiniert. Auf Basis der derart fusionierten Informationen ist es möglich, per Inferenz weitere Schluss- folgerungen zu ziehen. Dabei können unterschiedliche Fusionsparadigmen einge- bunden werden. Die Datenhaltung und -verwaltung erfolgt in einem objektorien- tierten Umweltmodell (Abb. 2). Es besteht aus einem Anteil zur schritthaltenden Re- präsentation von beobachteten Realwelt- Objekten und Ereignissen sowie einem inter- nen Modell aus Hintergrundwissen. Dieses Wissensmodell enthält Expertenwissen über die betrachtete Anwendungsdomäne, das z. B. die für die Domäne relevanten Objekte in Form von prototypischen Konzeptklassen darstellt. Zusätzlich kann es Regel- und Zusammenhangswissen enthalten, welches das Erkennen kritischer Situationen der Domäne ermöglicht. All dieses Hintergrund- wissen kann vorab durch Methoden der Wissenserhebung und -repräsentation in das Modell eingepflegt werden Zur Reprä- sentation werden dabei Technologien aus dem Bereich des Semantic Web eingesetzt. Die unteren Schichten der Komponente dienen der Anbindung von Quellen mit aktuellen Informationen. Der Fokus liegt hier verstärkt auf durch den Menschen ausgewerteten Informationen. Daneben Abbildung 2: Überblick über das Konzept des objektorientieren Umweltmodells (OOWM), welches das Herzstück der in Abbildung 1 dargestellten Informationsfusionskomponente bildet. können weitere Informationen, z. B. sensor- nahe Daten wie Tracks, ebenfalls eingebun- den werden. Die Informationen können interoperabel aus entsprechenden Quellen bezogen werden, wie z. B. multinationalen Austauschservern für Aufklärungsprodukte (sog. Coalition Shared Data (CSD) Server, gemäß STANAG 4559), und durch eine zielgerichtete Informationsextraktion für die Weiterverarbeitung in der Fusions- komponente aufbereitet werden. Je nach Strukturierungsgrad der textuellen Berichte werden dabei auch KI-Methoden zur semantischen Verarbeitung natürlicher Sprache, sog. NLP (Natural Language Processing) Verfahren, eingesetzt [3]. Literatur: [1] Kuwertz, A; Mühlenberg, D.; Sander, J.; Müller, W.: Applying Knowledge-Based Reasoning for Information Fusion in Intelligence, Surveillance, and Reconnaissance. In: Multisensor Fusion and Integration in the Wake of Big Data, Deep Learn- ing and Cyber Physical System, LNEE, vol. 501, S. 119-139, Springer 2018. [2] Hoffmann, A.; Kuwertz, A; D.; Sander, J.: Towards Information Extraction and Semantic World Modelling to Support Information Manage- ment and Intelligence Creation in Defense Coali- tions. To appear in: Proceedings of Artificial Intelligence and Machine Learning in Defense Applications, SPIE Security and Defence, 2019. [3] Mühlenberg, D.; Kuwertz, A; Schenkel, P.; Müller, W.: Towards information extraction from ISR reports for decision support using a two-stage learning-based approach. In: Proceedings SPIE Volume 11015, Open Architecture/Open Business Model Net-Centric Systems and Defense Transfor- mation 2018; 110150P (2019). visIT 11 KI für wehrtechnische Anwendungen

Benutzer besitzt, können der richtige Adap- tionszeitpunkt und die optimalen Adapti- onsstrategien bestimmt werden [4]. Im Fokus der aktuellen Forschungsarbeiten steht der Einsatz von kognitiven Modellen, die sich flexibel auf neue Anwendungsdo- mänen anwenden lassen. Die Schwierigkeit hierbei ist, dass Expertenwissen typischer- weise sowohl für die Anwendungsdomäne als auch für die kognitive Modellierung benötigt wird. Der Anspruch ist, generische Basismodelle zu entwickeln, die mithilfe von maschinellen Lernverfahren kosteneffek- tiv an neue Anwendungen angepasst (ge- lernt) werden können. Unsere Forschungs- ergebnisse zeigen, wie sich sogenannte kognitive Architekturen und hierarchische Bayes‘sche Netze für adaptive Lernsysteme einsetzen lassen. Die ELAI wurde bereits in Lernspielen ein- gesetzt und evaluiert. Neuere Arbeiten fokussieren sich auf »intelligente Benut- zermodelle«, die z. B. Informationen über Aufmerksamkeit oder kognitive Belastung bereitstellen. Die Arbeiten werden gefördert vom Bundesamt für Ausrüstung, Informations- technik und Nutzung der Bundeswehr. Literatur: [1] Roller, W.; Berger, A. and Szentes, D.: “Techno- logy based training for radar image interpreters”, in 2013 6th International Conference on Recent Advances in Space Technologies (RAST), 2013, no. 6, pp. 1173-1177. [2] Streicher, A. and Smeddinck, J. D.: “Persona- lized and Adaptive Serious Games”, in Entertain- ment Computing and Serious Games: Internatio- nal GI-Dagstuhl Seminar 15283, Dagstuhl Castle, Germany, July 5-10, 2015, Revised Selected Papers, R. Dörner et al., Ed. Cham: Springer Inter- national Publishing, 2016, pp. 332-377. [3] Streicher, A. and Roller, W.: “Adaptivity for Game Based Learning - Personalized Adaptive Learning for Military Image Interpretation”, Fraunhofer IOSB Jahresbericht 2017, Karlsruhe, Germany, pp. 64-65, 2017. [4] Streicher, A.; Leidig, S. and Roller, W.: “Eye- Tracking for User Attention Evaluation in Adaptive Serious Games”, in 13th European Conference on Technology Enhanced Learning, EC-TEL 2018, 2018, pp. 583-586. 13 vis IT KI für wehrtechnische Anwendungen Abbildung 2: 4-phasiger Adaptivitätszyklus (© Fraunhofer IOSB). 2. Analyse – die maschinelle Interpretation der gesammelten Daten sowie die Modell- bildung, um Nutzerzustände didaktisch- orientiert für eine automatische Regelung (Adaption) quantifizieren zu können; 3. Auswahl – die Auswahl oder Veränderung von passenden Lerninhalten, z. B. relevante Lernempfehlungen oder eine Anpassung der Schwierigkeit; und 4. Darstellung – die Anzeige bzw. Aufberei- tung der Inhalte anhand von Nutzerprofilen und -präferenzen. Als Lösung wurde das Framework »E-Lear- ning A.I.« (ELAI) entwickelt, das auf eta- blierten Interoperabilität-Standards aufsetzt (Abb. 4, [3]). Die in der ELAI integrierten KI-Verfahren analysieren die Nutzerinterak- tionsdaten und ordnen diese in ein Benutzer- modell ein. Die KI-Technologien konzent- rieren sich hierbei darauf, den Zustand der Benutzer bzw. deren Lernsituation zu cha- rakterisieren und automatisch zu analysieren. Erst wenn ein adaptives Tutorsystem Infor- mation über den aktuellen Lernzustand der Abbildung 3: ELAI-Architektur (© Fraunhofer IOSB).

Abbildung 2: Tarnung neu verstehen. Tarnung muss mit neuen Konzepten, wie zum Beispiel einer »intelligenten adaptiven Tarnung« erweitert werden. Dadurch sollen KI-gestützte Aufklärungssysteme durch unbekannte oder unlogische Informationen verwirrt werden, was als »Erreichen eines technischen Frustrationszustandes einer KI« bezeichnet wird. In diesem Zustand kann keine KI-Information einem erlernten Muster zugeordnet werden und muss neu trainiert werden. Um einen solchen »technischen Frustrationszustand« dauerhaft erzeugen zu können, ist es zunächst erforderlich die Schlüsselreize zu kennen nach denen ein KI-System Objekte klassifiziert. Abbildung 3 Wie Maschinen sehen - CART. Hierzu müssen Werkzeuge (Software) geschaffen werden, die diese Schlüsselreize visualisieren und analysieren können. werden, um die Merkmale mit den Schlüsselreizen der jeweiligen KI-Methode zu korrelieren. Die Grundlage für derartige Werkzeuge bilden automatisierte Tarnbewertungswerk- zeuge, wie zum Beispiel das vom Fraunhofer IOSB im Auftrag der WTD 52 entwickelte CART (Camouflage Assessment in Real- Time). Hierbei handelt es sich um eine Integrationsplattform für verschiedene Algorithmen, die Merkmale von Zielen und Hintergründen identifizieren sollen. Im nächsten Schritt sollen vorgegebene KI-Methoden in die Plattform integriert Die Analyse von Schlüsselreizen von KI-Sys- temen eröffnet neue Möglichkeiten in der Tarnung, welche zurzeit diskutiert werden: ƒ Schlüsselreizstärken von vorhandenen bzw. vorgegebenen KI-Methoden könnten als neue Bewertungsmethode die Tarn- wirksamkeit in Echtzeit berechnen. ƒ Mit Hilfe von KI könnten digitale Tarn- muster (z. B. für adaptive Tarnungen) entwickelt werden. ƒ KI-basierte Augmented Reality (AR) könnte als »Stealth-Assistant« eine signaturoptimierte Positionierung und Bewegung des eigenen Fahrzeugs im Einsatz unterstützen. Fazit: Die Anwendung von KI in der Sensorik und Aufklärung ist bereits heute Stand der Technik – damit Tarnung auch in Zukunft wirksam bleibt, müssen KI-Methoden auch für die Tarnung erforscht und genutzt werden. 15 vis IT KI für wehrtechnische Anwendungen