Technologien für den Tiefbau - Fraunhofer IOSB visIT 3

1

visIT Technologien für den Tiefbau Digitalisierung – Robotik – KI www.iosb.fraunhofer.de www.iosb.fraunhofer.de ISSN 1616-8240 ISSN 1616-8240

2

Themen Editorial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Jürgen Beyerer, Janko Petereit Straßenbau neu denken – Wie die robotische Transformation im Tiefbau Gestalt gewinnen könnte . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Jürgen Beyerer Autonome Bau- und Arbeitsmaschinen – Semantische Intelligenz und adaptive Steuerung für Bagger, Radlader & Co. . . . . . . . . . . . . . . 6 Janko Petereit Assistierte Fernoperation mobiler autonomer Arbeitsmaschinen – Neue Ansätze zur Bewältigung komplexer Einsatzszenarien . . . . . . . 8 Norbert Fränzel, Andreas Wenzel Knowledge Guided Safety Assertion – Sichere Mensch-Maschine Interaktion auf Baustellen dank intelligenter Bildverarbeitung . . . . 10 Gerrit Holzbach Trennung von Materialien und Erkennung von Gefahrstoffen mittels sensorgestützter Sortierung . . . . . . . . . . . . . . . . . . . . . . . . . . 12 Georg Maier, Thomas Längle Digitale Produktpässe im Bau – Wie Industrie-4.0-Technologien zu Prozesseffizienz und Nachhaltigkeit beitragen können . . . . . . . . 14 Reinhard Herzog Impressum Themen visIT erscheint etwa drei Mal pro Jahr und informiert über ausgewählte Forschungsthemen des Fraunhofer IOSB. Für die Bestellung von Einzelheften, ein kostenloses visIT-Abo sowie für Adressänderungen und Abbe- stellungen schicken Sie bitte eine E-Mail an publikationen @iosb.fraunhofer.de Herausgeber Prof. Dr.-Ing. habil. Jürgen Beyerer Redaktion Dipl.-Phys. Ulrich Pontes Lena Kaul, M.A. Layout Anja Wollfarth, M.A. Druck Ganz GmbH Ooser Bahnhofstraße 36 76532 Baden-Baden Anschrift der Redaktion Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB Fraunhoferstr. 1, 76131 Karlsruhe Telefon +49 721 6091-300 Fax +49 721 6091-413 presse@iosb.fraunhofer.de © Fraunhofer IOSB Karlsruhe 2025 Ein Institut der Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. München 26. Jahrgang ISSN 1616-8240 Bildquellen S.14+15: stock.adobe / Anoo Alle anderen Abbildungen © Fraunhofer IOSB, Ausnahmen sind gekennzeichnet 2

3

Editorial Liebe Freunde des Fraunhofer IOSB, der Tiefbau steht vor einer doppelten Herausforderung: Sanierungsstau und Fachkräftemangel treffen auf steigende Anforderungen an Effizienz und Nach- haltigkeit. Digitale Zwillinge, autonome Maschinen und KI versprechen eine präzisere Planung, zuverlässige und effiziente Ausführung und lückenlose Dokumentation. Daten werden zum zentralen Werttreiber – sie sichern Qualität, machen Prozesse transparent und öffnen den Weg in eine zirkuläre Bauwirt- schaft. Der Straßenbau bietet hierbei besonders gute Randbedingungen für eine umfassende Automatisierung: klar abgegrenzte Baufelder, wiederkehrende Abläufe und objektiv messbare Qualitätskriterien. Diese visIT-Ausgabe zeigt den Weg von der Vision zur Praxis. Sie skizziert den hochautomatisierten Straßenbau von der digitalen Bestandsaufnahme und automatisierten Vermessung über autonome kooperierende Maschinen bis zum Flottenmanagement im 5G-Campusnetz. Wir stellen autonome und fernbe- diente Arbeitsmaschinen sowie Nachrüstlösungen vor, beleuchten Sicherheits- verfahren, und zeigen sensorgestützte Sortierung für schadstoffbelasteten Bauschutt. Den Ausblick bildet der Digitale Produkt- und Gebäudepass auf Basis standardisierter Datenräume und Verwaltungsschalen. Als Fraunhofer IOSB verbinden wir Optronik, Systemtechnik und KI zu praxis- tauglichen Lösungen vom Sensor bis zur Fahrzeug- und Flottensteuerung. Gemeinsam mit Industrie, Bauunternehmen und Behörden bringen wir in Pilotprojekten die Technologien aus dem Labor und der Simulation in robuste Feldanwendungen. Unser Anspruch: Automatisierung, die Menschen schützt, Produktivität steigert und den Weg zur zirkulären Bauwirtschaft ebnet. Wir stehen Ihnen dabei als kompetenter, herstellerneutraler Partner zur Seite. Fraunhofer IOSB, im Oktober 2025 Prof. Dr.-Ing. habil. Jürgen Beyerer Dr.-Ing. Janko Petereit Editorial Prof. Dr.-Ing. habil. Jürgen Beyerer Dr.-Ing. Janko Petereit 3

4

visIT Straßenbau neu denken Wie die robotische Transformation im Tiefbau Gestalt gewinnen könnte Autonome, KI-gestützte Robotersysteme stehen vor einem Durchbruch, der weit über klassische Automatisierung hinaus- geht. Moderne Maschinen arbeiten nicht nur präzise und zuverlässig, sondern entwickeln – dank generativer KI – eine neue Qualität an maschineller Intelligenz, Interaktivität und Teamfähigkeit. Während Logistik und Land- wirtschaft bereits erste Anwendungen sehen, ist das Potenzial in der Bauwirtschaft bislang kaum genutzt. Arbeitsplan, der verfügbare Ressourcen und zeitliche Abhängigkeiten berücksichtigt. Die mobilen Maschinen arbeiten in abgestimm- ten Prozessen: Fräsen entfernen die Deckschicht automatisiert, Logistikplattformen übernehmen den Abtransport, Bagger und Radlader erle- digen Erd- und Planierarbeiten. Auf großen Baustellen kann Material direkt an der Fräse sortiert und unterschiedlichen Verwertungs- pfaden zugeführt werden. Gerade der Straßenbau bietet ideale Voraus- setzungen: Sanierungsstau und Fachkräfte- mangel treffen auf klar abgegrenzte Bau- stellen, wiederkehrende Abläufe und objektiv messbare Qualitätskriterien. Monotone Tätig- keiten wie Erdarbeiten, Materialtransporte oder das Abfräsen sanierungsbedürftiger Fahr- bahndecken eignen sich für eine schrittweise Automatisierung. Wenn Transportfahrzeuge, Walzen oder Bagger einfache, wiederkehrende Arbeitsschritte autonom übernehmen, können Fachkräfte sich auf Aufgaben konzentrieren, die Urteilsvermögen, Erfahrung und Flexibilität erfordern. Sie werden von belastenden Tätig- keiten entlastet und bleiben zugleich im Zent- rum der Entscheidung. Die eingesetzten Maschinen verfügen über einen hohen Autonomiegrad. Gestützt durch ausgereifte Sensorsysteme werden die erfor- derlichen Funktionen wie Lokalisierung, Kartier- ung, Bewegungsplanung und Kollisionsver- meidung durch multimodale KI umgesetzt. Die Maschinen kooperieren über standardisierte Schnittstellen in einem sicheren 5G-Campus- netz, ein Flottenmanagement verteilt Aufgaben und optimiert Ressourcen. Digitale Zwillinge ermöglichen Planung, Simulation und Transfer zwischen Maschinentypen. Wichtig: Ein komplett neuer Maschinenpark ist dafür nicht erforderlich – modulare Nachrüs- tungen machen bestehende Geräte schrittweise autonom. Von der Vermessung bis zur Ausführung Mensch im Loop – Safety first Am Beginn steht die digitale Bestandsaufnahme: Drohnen und Messfahrzeuge erfassen das Baufeld, daraus entsteht ein digitaler Zwilling mit Geozäunen, Sicherheitszonen und Trans- portkorridoren. Auf dieser Grundlage erzeu- gen KI-gestützte Verfahren einen optimalen Sicherheit hat oberste Priorität: Umfangreiche Sicherheitseinrichtungen wie Geofencing und KI-gestützte Bildverarbeitung ermöglichen auch bei wechselnden Bedingungen die Über- wachung von Gefahrenbereichen. Menschliche Expertise bleibt bewusst eingebunden: Prof. Dr.-Ing. habil. Jürgen Beyerer Institutsleiter Fraunhofer IOSB Tel. +49 721 6091-211 juergen.beyerer @iosb.fraunhofer.de 4

5

Technologien für den Tiefbau Abb. 1: Zukunftsvision des hochautomatisierten Straßenbaus. Operateurinnen und Operateure überwachen mehrere Maschi- nen parallel, greifen bei Ausnahmen per Teleoperation ein und übernehmen heikle Arbeitsschritte. Dieses Prinzip »N Bediener – M Maschinen« schafft Skalierbarkeit, ohne Kompromisse bei der Sicherheit einzugehen. Daten als Werttreiber Thermische und geodätische Messungen dokumentieren das Einbaufenster, Walzen liefern Verdichtungsnachweise, Fort- schritt und Qualität fließen kontinuierlich in den digitalen Zwilling. So entstehen belastbare Daten für Dokumentation, Qualitätssicherung und perspektivisch für Material- und Pro- duktpässe, die Recycling und Kreislaufwirtschaft im Tiefbau unterstützen. Von der Vision zur Umsetzung Der Weg zur autonomen Baustelle führt über klar umrissene, repetitive Teilaufgaben: zunächst Materialtransport, Andock- und Follow-me-Manöver oder assistiertes Fräsen, anschlie- ßend kooperative Abläufe zwischen wenigen Maschinen und schließlich die sukzessive Erweiterung der Flotte. Simulation und digitale Zwillinge beschleunigen Entwicklung und Absicher- ung, offene Schnittstellen sichern Herstellerneutralität. Diese Vision umfasst Erfassung, Planung, Ausführung, Über- wachung und Dokumentation. Wir bringen Autonomiefunk- tionen, Bildverarbeitung, Sicherheits-KI, Flottensteuerung, Teleoperation und Systemintegration ein – und suchen die Zusammenarbeit mit Bauunternehmen, Herstellern, Bau- stoff- und Entsorgungswirtschaft sowie Behörden. Ziel ist es, gemeinsam Leuchtturm-Baustellen aufzusetzen, Anforderun- gen zu präzisieren und praxisnahe Lösungen zu entwickeln. So wird – im Zusammenspiel von Engineering und Bauexpertise, von KI-Kompetenz und praxiserprobtem Sachverstand – der hochautomatisierte Straßenbau vom Gedankenspiel zur Realität. 5

6

visIT Autonome Bau- und Arbeitsmaschinen Semantische Intelligenz und adaptive Steuerung für Bagger, Radlader & Co. Ob im Straßenbau, bei der Sanierung von Alt- lasten oder beim Ausbau kritischer Infrastruk- tur: Baustellen sind komplexe, dynamische Umgebungen. Steigende Anforderungen an Effizienz, Sicherheit und Flexibilität machen die Automatisierung von Arbeitsmaschinen zu einem Schlüsselfaktor für die Zukunft der Bau- wirtschaft. Besonders relevant wird dies in Be- reichen mit Fachkräftemangel, gefährlichen Einsatzorten oder hohem Kostendruck. Autonome Baumaschinen versprechen hier grundlegende Vorteile: Sie können rund um die Uhr arbeiten, gefährliche Aufgaben über- nehmen und konstant hohe Qualität liefern. In Kombination mit digitalen Bauprozessen und Flottenmanagementsystemen ermöglichen sie eine präzisere Planung, geringere Ausfallzeiten und eine bessere Dokumentation. Gleichzeitig reduzieren sie Risiken für das Personal – etwa beim Einsatz in kontaminierten Gebieten oder bei extremen Wetterbedingungen. Doch der Weg zur vollständigen Autonomie ist technisch anspruchsvoll. Insbesondere unstrukturiertes Gelände, unvorhersehbare Umwelteinflüsse und komplexe Interaktionen zwischen Mensch und Maschine stellen hohe Anforderungen an Sensorik, Steuerung und Maschinenintelligenz. Genau an diesen Heraus- forderungen arbeitet das Fraunhofer IOSB, ins- besondere im Kontext schwer zugänglicher oder gefährlicher Einsatzorte. Ziel ist es, robuste, flexible Systeme zu entwickeln, die auch unter schwierigen Bedingungen sicher und effizient arbeiten können. [1] Autonomie in Aktion Ein Beispiel ist der autonome Bagger ALICE, der im Rahmen des Kompetenzzentrums ROBDEKON [2] für den Einsatz in kontaminierten Umgebungen weiterentwickelt wurde. Die Ma- schine kann selbstständig Erdreich abtragen, dabei Hindernisse erkennen und ihre Arbeits- Dr.-Ing. Janko Petereit Mess-, Regelungs- und Diagnosesysteme (MRD) Tel. +49 721 6091-605 janko.petereit @iosb.fraunhofer.de 6 Abb. 1: Der autonome Bagger ALICE hilft beim Sanieren einer Deponie.

7

Technologien für den Tiefbau Abb. 2: Die Forschungsflotte autonomer Bau- und Arbeitsmaschinen am Fraunhofer IOSB. weise an die Gegebenheiten anpassen. Auch das Bergen von Fässern erledigt ALICE automatisch. Autonome Radlader und multifunktionale Arbeitsmaschinen wie der Unimog sind ebenfalls Teil unserer Forschung. Sie werden mit umfangreicher Sensorik – etwa Kamera-, LiDAR- und GNSS-Systemen – sowie KI-basierten Modulen für Naviga- tion, Objekterkennung und Bewegungsplanung ausgestattet. Ziel ist eine semantisch gestützte Maschinenintelligenz, die nicht nur Hindernisse erkennt, sondern auch Kontext versteht – etwa, ob ein Objekt ein loses Gestein oder ein fest verbautes Hindernis ist. Zentral für die Entwicklung ist ein ganzheitlicher Systemansatz: vom Digitalen Zwilling über simulationsgestützte Entwicklung bis hin zum realen Testeinsatz auf Versuchsanlagen und unter Praxisbedingungen. Dabei werden klassische Regelverfahren mit modernen KI-Technologien kombiniert, um eine zuverlässige, adaptive Steuerung zu ermöglichen. Neue Möglichkeiten durch generative KI Die Steuerung autonomer Baumaschinen im unstrukturierten Gelände gilt als eine besonders anspruchsvolle Aufgabe in der Robotik. Einen vielversprechenden Ansatz bieten multimodale Foundation Models – eine neue Klasse generativer KI-Modelle, die über große Datenmengen und unterschiedliche Modalitäten hinweg trainiert werden. Sie können visuelle, sprachliche, räum- liche und sensomotorische Informationen in einem einheitlichen semantischen Raum verknüpfen. Für die Baurobotik bedeutet das: Maschinen, die nicht nur verstehen, was zu tun ist, sondern auch wie, wo und warum – selbst bei bislang unbekannten Situationen. Ein praktisches Beispiel: Ein Bediener gibt eine Anweisung wie »Modelliere die Oberfläche in diesem Bereich auf 30 cm Tiefe«. Die KI interpretiert die Sprachangabe, analysiert das Gelände über Kamera- und LiDAR-Daten, erkennt Hindernisse und plant in Echtzeit die effizienteste Vorgehensweise. Dank Zero-Shot- Fähigkeiten kann das System auch auf neue Aufgaben reagieren, ohne speziell dafür trainiert worden zu sein. Am Fraunhofer IOSB werden solche Foundation Models derzeit in eine skalierbare Systemarchitektur eingebettet. Sie umfasst reale Einsatzdaten, simulationsgestütztes Pretraining und kollaborative Demonstrationen mit Teams robotischer Arbeits- maschinen. Ziel ist ein lernfähiges System, das kontinuierlich besser wird, sich auf verschiedene Maschinentypen übertragen lässt und langfristig sogar als zentrales »Gehirn« ganzer Maschinenflotten agieren kann. 1 Erfahren Sie mehr über unsere Forschungskompetenz im Bereich Autonome Robotersysteme: https://www.iosb.fraunhofer.de/autonome-roboter 2 Weitere Infos unter https://www.iosb.fraunhofer.de/robdekon und https://robdekon.de/ 7

8

visIT Assistierte Fernoperation mobiler autonomer Arbeitsmaschinen Neue Ansätze zur Bewältigung komplexer Einsatzszenarien Technologien für herausfordernde Umgebungen geländegängige Gabelstapler MATS aus Ab- bildung 1 zur Verfügung. Die Nutzung mobiler Arbeitsmaschinen in Katas- trophen- oder Gefahrenlagen ist heute technisch bereits möglich. Am Fraunhofer IOSB wurden in den Projekten AKIT, AKIT-PRO [1] und ROBDEKON [2] verschiedene Umrüst- und Automatisierungskonzepte für bestehende Maschinen entwickelt und in realitätsnahen Szenarien erfolgreich erprobt. Diese reichen von schwer zugänglichen Katastrophensze- narien bis zur Sanierung von Altlasten. Eine Erweiterung auf weitere menschenfeindliche Szenarien, wie z. B. die Arbeit in munitions- belasteten Gebieten ist Gegenstand aktueller Forschungen. Hierbei wird mit möglichen Anwendern eng zusammengearbeitet. Für Tests, Demonstrationen sowie Forschungs- und Entwicklungsaufgaben steht dem Fraunhofer IOSB-AST unter anderem der Weitere Einsatzmöglichkeiten Neben dem Ziel, Menschen in gefährlichen Situationen bestmöglich zu schützen, gibt es noch weitere Einsatzbereiche, in denen auto- nome Arbeitsmaschinen von Vorteil sind, z. B. im Tiefbau. Der Fachkräftemangel, steigende Qualitätsanforderungen sowie hohe Investi- tionskosten für Spezialmaschinen verlangen neue Ansätze zur Effizienzsteigerung. Ein vielversprechender Weg liegt in der Fernbe- dienung und Teilautomatisierung von Arbeits- maschinen. So kann das heute verbreitete Konzept »ein Bediener pro Maschine« in ein skalierbares »N Bediener – M Maschinen«- Modell überführt werden. Abb. 1: Der geländegängige Gabelstapler MATS (das Kürzel steht für »Mobiles Autonomes Trans- portsystem«) dient unter anderem dazu, das autonome Aufnehmen und Abstellen palettierter Lasten sowie deren autonomen Transport im schwierigen Gelände zu trainieren. Norbert Fränzel, M. Sc. Eingebettete Intelligente Systeme (EIS) Tel. +49 3677 461-134 norbert.fraenzel @iosb-ast.fraunhofer.de Prof. Dr.-Ing. Andreas Wenzel Abteilungsleiter Eingebettete Intelligente Systeme (EIS) Tel. +49 3677 461-144 andreas.wenzel @iosb-ast.fraunhofer.de 8

9

Technologien für den Tiefbau IT-Security Abb. 2: Der mittels EnvP-Kit umgerüstete Traktor Claas Arion am Fraunhofer IOSB-AST in Ilmenau ist durch seine Vielzahl von Anbaugeräteoptionen breit als autonome Baumaschine einsetzbar – in Verbindung mit einem Anhänger etwa als autonome Trans- portplattform. Das stellte er in den Projekten AKIT und ROBDEKON erfolgreich unter Beweis. Grenzen der Teleoperation Anwendungsbeispiel wird etwa die Leitpfostenwäsche an einem Kommunalfahrzeug im Projekt ElPrA teilautonom realisiert. Die Fernsteuerung großer Maschinen stellt jedoch erhebliche Anforderungen an das Bedienpersonal: Eingeschränkte Sinnes- wahrnehmungen, verzögerte Rückmeldungen und fehlendes taktiles Feedback machen präzises Arbeiten oft langsam und fehleranfällig. Daher ist es notwendig, bestimmte Arbeitsab- läufe zu automatisieren, um die kognitive Last der Operateure zu reduzieren. Gleichzeitig bleiben viele komplexe Vorgänge – etwa das Erkennen unstrukturierter Hindernisse oder das Treffen situationsabhängiger Entscheidungen – auf mensch- liche Erfahrung und Intuition angewiesen. Hier sind hybride Konzepte gefragt, die Automatisierung mit assistierter Kon- trolle kombinieren. Virtuelle Realität als Assistenzsystem Zur Unterstützung von Operateuren in der Fernsteuerung und Überwachung der Arbeitsvorgänge setzen wir zunehmend auf virtuelle Realität (VR). In eigens entwickelten VR-Umgebungen können Bediener und Bedienerinnen die Maschinen und deren Umgebung immersiv wahrnehmen und steuern. Dabei werden sowohl klassische Bedienelemente als auch moderne Konzepte des Maschinellen Lernens, etwa Reinforcement Learning für das Rangieren, eingebunden. Ziel ist eine intuitive, flexible und robuste Schnittstelle zwischen Mensch und Maschine. Modulare Nachrüstung durch das EnvP-Kit Ein zentrales Ergebnis unserer Forschung ist das sogenannte EnvP-Kit [3], das bestehende Fahrzeuge zu autonomen Plattfor- men aufrüstet. In Abbildung 2 ist ein EnvP-Kit montiert auf dem Dach des autonomen Traktors zu sehen. Es integriert Sensorik, Recheneinheiten und Schnittstellen zur Maschinensteuerung in einem modularen System. Damit können logistische Aufgaben, wie das Transportieren von palettierten Gütern oder das auto- matisierte Rückwärtsfahren mit Anhänger, auch von noch nicht voll automatisierten Maschinen übernommen werden. In einem Ausblick: Autonome Logistik auf der Baustelle Viele regelmäßig wiederkehrende Aufgaben auf Baustellen – beispielsweise das Beladen, Entladen oder Transportieren von Materialien – bieten ein hohes Potenzial für die Automa- tisierung. Die im Rahmen unserer Projekte gewonnenen Er- kenntnisse und Technologien können hier als Grundlage für neue Anwendungen dienen. Damit leisten wir nicht nur einen Beitrag zur Sicherheit in Gefahrenlagen, sondern auch zur Zukunftsfähigkeit des Bau- und Logistiksektors. Fördergeber: Die Projekte AKIT, AKIT-PRO, ROBDEKON wurden durch das Bundesministe- rium für Bildung und Forschung (BMBF) gefördert. Das Projekt »Elektrischer Präzisionsfahrantrieb als integratives Antriebs- und Steuerungssystem für autonome und mobile Arbeitsmaschinen« (ElPra) wird von der Sächsischen Aufbaubank (SAB) gefördert und durch die Europäische Union kofinanziert. 1 Weitere Informationen über AKIT(-PRO) finden Sie auf der Projektwebsite: https://www.a-kit.de/ 2 Weitere Informationen über ROBDEKON finden Sie auf der Projektwebsite: https://robdekon.de 3 Weitere Infos zum EnvP-Kit: https://www.iosb-ast.fraunhofer.de/de/projekte-produkte/envp-kit.html 9

10

visIT Knowledge Guided Safety Assertion Sichere Mensch-Maschine Interaktion auf Baustellen dank intelligenter Bildverarbeitung Baustellen sind heute mehr denn je Orte in- tensiver Zusammenarbeit von Menschen und Maschinen. Bei allen Tätigkeiten ist eine rei- bungslose und sichere Interaktion zwischen Mensch und Technik gefragt, die immer mehr auch von KI geprägt ist. Gerade bei der kolla- borativen Arbeit entsteht ein hoher Anspruch an die funktionale Sicherheit. Gefahrenbe- reiche müssen zuverlässig überwacht werden. Ein solcher Gefahrenbereich ist beispielhaft in Abbildung 1 dargestellt. Moderne bildverarbeitende Systeme spielen dabei eine immer größere Rolle. Doch diese Systeme stoßen in der rauen Praxis oft an ihre Grenzen: Wetterumschwünge oder neue, unerwartete Arbeitssituationen können dazu führen, dass kritische Szenen nicht erkannt oder falsch bewertet werden – mit potenziel- len Risiken für Mensch und Maschine. Um diesen Herausforderungen in der Mensch- Maschine-Interaktion und der funktionalen Sicherheit zu begegnen, hat das Fraunhofer IOSB mit Knowledge Guided Safety Asser- tion (KGSA) eine innovative Methode ent- wickelt. KGSA adressiert zwei zentrale Risiken der automatisierten Bildverarbeitung: 1. Unbekannte Situationen und Umge- bungsbedingungen (»Out-of-Distributi- on«, OOD): Sobald das Bildverarbeitungs- system mit Szenen konfrontiert wird, die sich deutlich von den im Training gelernten Beispielen unterscheiden, können wich- tige Gefahren übersehen werden. KGSA erkennt solche OOD-Situationen frühzeitig. 2. Klassische Fehler und Ausfälle in der Objekterkennung: Selbst bei schein- bar bekannten Szenen können Personen oder Objekte übersehen werden. KGSA erkennt auch diese Fehlfunktionen direkt im Betrieb. Kollisionen oder Gefahren in der Mensch- Maschine-Interaktion können so verhindert werden. KGSA – Ein pragmatischer Ansatz für mehr Sicherheit auf Baustellen KGSA nutzt zwei unterschiedliche Informa- tionsquellen: Zum einen die Ausgaben des Objektdetektors, der beispielsweise Personen, Baumaschinen oder sicherheitsrelevante Aus- rüstung auf einer Baustelle erkennt. Zum anderen werden allgemeine Bildrepräsenta- tionen herangezogen, die auf sogenanntem »Weltwissen« basieren. Was ist Weltwissen und wie wird es gewonnen? Während klassische Objektdetektoren wie YOLO auf die Erkennung bestimmter Objekt- klassen trainiert werden, gibt es inzwischen KI-Modelle, die aus Millionen verschiedenster Bilder gelernt haben, ganz allgemein Zusam- menhänge in der Bildwelt zu erfassen. Ein prominentes Beispiel ist das sogenannte CLIP- Modell (Contrastive Language-Image Pretrai- ning), das von OpenAI entwickelt wurde. CLIP verbindet Bildinformationen mit Gerrit Holzbach Human-AI Interaction (HAI) Tel. +49 721 6091-364 gerrit.holzbach @iosb.fraunhofer.de 10

11

Technologien für den Tiefbau Abb. 1: Zu sehen ist eine nachgestellte Baustellensituation. Im Bild oben rechts befindet sich eine Person im Gefahrenbereich der Baumaschine. natürlichsprachlichen Beschreibungen und kann dadurch nicht nur einzelne Objekte erkennen, sondern auch komplexe Szenen verstehen, einschätzen und beschreiben, was auf einem Bild im größeren Zusammenhang passiert. Das Weltwissen sorgt für ein allgemeines »Verständnis« für typische und untypi- sche Situationen. Wie nutzt KGSA diese Informationsquellen? Beide Ströme – die spezialisierten Detektor-Ausgaben und die allgemeinen, von CLIP generierten Bildbeschreibungen – werden durch speziell entwickelte Softwarebausteine, sogenannte Encoder, in einen gemeinsamen Merkmalsraum übertragen. KGSA kann so automatisch erfassen, ob die aktuelle Szene einer »gewohnten« oder einer potenziell kritischen Situation entspricht, oder ob die Detektion wahrscheinlich fehlerhaft ist und Personen übersehen wurden. Fazit und Ausblick Mit KGSA steht Systemintegratoren, Herstellern und Anbietern von Lösungen für Baumaschinen und Baustellenüberwachung eine innovative Technologie zur Verfügung, um die Sicherheit und Zuverlässigkeit bildverarbeitender Systeme auf ein neues Niveau zu heben. KGSA lässt sich flexibel als Zusatzmodul in bestehende Sensorsysteme integrieren und steigert die Effi- zienz im Baustellenalltag. Die Vorteile von KGSA sind jedoch nicht nur im Baustellenkon- text interessant. Das Prinzip, die Sicherheit von KI-gestützten Erkennungs- und Überwachungssystemen durch die Kombi- nation von spezifischem Detektorwissen und allgemeinem Weltwissen gezielt zu erhöhen, ist ebenso auf andere indus- trielle Umgebungen übertragbar: etwa in der Logistik, in der Produktion, in Fertigungshallen, beim autonomen Fahren in Werksarealen – überall dort, wo Maschinen und Menschen im engen Zusammenspiel agieren und höchste Ansprüche an die funktionale Sicherheit bestehen. Mehr Informationen zum Thema »Künstliche Intelligenz für das Fahrzeug der Zukunft« finden Sie unter: www.iosb.fraunhofer.de/initiative 11

12

visIT Trennung von Materialien und Erkennung von Gefahrstoffen mittels sensorgestützter Sortierung Sensorgestützte Sortiersysteme gelten als Schlüsseltechnologie für die Kreislaufwirtschaft und haben eine zentrale Bedeutung in der Qualitätskontrolle verschiedener Industrien [1]. Sie ermöglichen die Trennung eines körnigen Materialstroms anhand verschiedenster Eigen- schaften, z. B. optischer oder physiochemischer Parameter, in mehrere Fraktionen. Anwen- dungsbeispiele finden sich in der Sortierung von Altglasscherben und Kunststoffabfällen sowie bei der Entfernung von Fremdkörpern in Lebensmitteln und Agrarprodukten. Der Einsatz sensorgestützter Sortiersysteme für die Aufbereitung von Bauschutt (Hochbau, Tiefbau) ist jedoch nicht etabliert und ein aktuelles Forschungsthema, das enormes Po- tenzial bietet, eine echte Kreislaufwirtschaft im Baubereich zu erzielen. Materialspezifische Sortierung von Bauschutt Der Bedarf der Bauwirtschaft an mineralischen Rohstoffen ist hoch. Sowohl unter ökonomi- schen, ökologischen als auch sozialen Gesichts- punkten ist es erstrebenswert, Gebäude und Infrastruktur als anthropogene Lagerstätten und somit Rohstoffquellen zu betrachten. Diese Sichtweise rückt in den vergangenen Jahren immer mehr in den Fokus und wird sich noch verstärken. Im Verbundprojekt »BauCycle« haben wir gemeinsam mit unseren Projektpartnern Fraunhofer IBP, IML und UMSICHT u. a. ein Sortierverfahren entwickelt, das die material- spezifische Sortierung von Bauabbruchabfällen selbst im Feinkornbereich von circa zwei Milli- metern ermöglicht [2]. Mittels hyperspektraler Bildgebung und einer intelligenten Spektral- datenauswertung lassen sich verschiedene Materialien wie Beton, Kalksandstein, Ziegel und Gips erkennen und sortieren. Es wurde gezeigt, dass sich aus den so zurückgewon- nenen Materialien hochwertige neue Bau- produkte wie Porenbeton und Akustikputze herstellen lassen. Die Ergebnisse leisten somit einen essenziellen Beitrag zur Stärkung einer Kreislaufwirtschaft für Baustoffe. Abb. 1: Die entwickelten Verfahren machen PAK »sichtbar« und eignen sich beispielsweise für den Einsatz in sensorgestützten Sortiersystemen. Dr.-Ing. Georg Maier Sichtprüfsysteme (SPR) Tel. +49 721 6091-649 georg.maier @iosb.fraunhofer.de Prof. Dr.-Ing. Thomas Längle Abteilungsleiter Sichtprüfsysteme (SPR) Tel. +49 721 6091-212 thomas.laengle @iosb.fraunhofer.de 12

13

Technologien für den Tiefbau Abb. 2: Das im Projekt DIANA entwickelte optische System unterstützt bei der Erkennung, ob eine Asbestbelastung vorliegt. Aufbereitung von Straßenaufbruch: Entfernung teerbelasteter Bestandteile Detektion asbestbelasteter Materialien Im Verbundprojekt »InnoTeer« forschen die Partner Fraun- hofer IOSB, IBP, IML und UMSICHT an innovativen Verfah- ren zum Recycling von Straßenaufbruch. Hierzu haben wir am Fraunhofer IOSB u. a. ein System zur Identifizierung von teerhaltigem Straßenaufbruch entwickelt, da dieser häufig giftige Kohlenwasserstoffverbindungen, so genannte polyzyk- lische aromatische Kohlenwasserstoffe (PAK), enthält. Mithilfe hyperspektraler Bildgebung im mittleren Infrarotbereich und moderner KI-Verfahren konnte gezeigt werden, dass verschie- dene Ma-terialien sich präzise unterscheiden lassen. Ein speziell trainiertes neuronales Netz analysiert die spektralen Verläufe von Teer (siehe Abbildung 1), Bitumen und bindemittel-freier Mineralik und erkennt Teerkontaminationen in über 95 Prozent der Fälle, selbst bei partiellen Anhaftungen [3]. Diese Techno- logie wird zurzeit in ein Sortiersystem integriert. Somit lassen sich die Menge an recyclebarem, unbelastetem Straßenauf- bruch erhöhen und Ressourcen schonen. Zudem erforschen wir, wie die gewonnenen Daten für weitere Prozessschritte, wie die Dekontamination teerhaltiger Materialien oder die Herstellung neuer Recyclingbaustoffe, genutzt werden können. Asbest ist ein ernstzunehmendes Problem auf Abbruchbau- stellen, da es in älteren Gebäuden zur Isolation und Stabili- sierung verwendet wurde. Die Gefahr, die von eingeatmeten Asbestfasern ausgeht, ist erheblich. Nach einer Schätzung des Bundesministeriums für Arbeit und Soziales enthalten ca. 20 Prozent des Baubestandes in Deutschland asbesthaltige Baustoffe. Der Einsatz dieser Stoffe wurde 1993 untersagt, was eine selektive Entfernung während Instandhaltungs- und Abbrucharbeiten erforderlich macht. Im Verbundprojekt »DIANA« haben wir gemeinsam mit dem Fraunhofer IBP eine kostengünstige, zerstörungsfreie Methode zur Detektion von Asbest entwickelt. Durch bildgebende Sensoren und Maschi- nelles Lernen können asbesthaltige Bauabfälle von normalem Bauschutt differenziert werden (wie in Abbildung 2 zu sehen). Ein miniaturisierter Handsensor wurde als flexible, kostengüns- tige Alternative zu teuren Spektrometern entwickelt. Zusätzlich erproben wir ein spezielles bildgebendes Verfahren, das die optischen Eigenschaften von Asbestfasern nutzt, um diese schnell zu erkennen. Unter Laborbedingungen haben wir für die verschiedenen Detektionsverfahren bereits vielversprechen- de Ergebnisse erzielt. In einem nächsten Schritt sollen die Ver- fahren im Rahmen eines Feldversuchs weiter validiert werden. 1 G. Maier, R. Gruna, T. Längle, and J. Beyerer, »A Survey of the State of the Art in Sensor-Based Sorting Technology and Research«. In: IEEE Access 12 (2024), pp. 6473–6493. 2 J. Nühlen, R. Gruna, and G. Maier, »Bauschutt optisch sortiert«. In: UmweltMagazin (2019). 3 P. Bäcker, G. Maier, T. Längle, and J. Beyerer, »PAH Detection in Road Surface Residue Using Various Hyperspectral Imaging Sensors«. In: OCM 2025 – Optical Characterization of Materials conference proceedings. 2025, pp. 233–245. 13

14

visIT Digitale Produktpässe im Bau Wie Industrie-4.0-Technologien zu Prozesseffizienz und Nachhaltigkeit beitragen können Über Jahrhunderte war die Wiederverwendung von Baumaterialien selbstverständlich. Heute jedoch bleibt am Ende eines Gebäudelebens meist nur Bauschutt. Die Gründe sind vielfäl- tig, doch angesichts knapper werdender Roh- stoffe und steigender Umweltanforderungen beginnt ein Umdenken: Zirkuläres Bauen wird wieder attraktiv. Wie könnten Technologien aus der Industrie 4.0 den Weg zu diesem Ziel ebnen? Die Vision: Vom statischen Plan zum lebenden Asset könnte im Konzept des Digitalen Zwillings münden: einem dynamischen, digitalen Abbild des realen Gebäudes, das über den gesamten Lebenszyklus gepflegt wird. Eine denkbare Lösung für die Verantwortlich- keit liegt in einem Modell, das sich an den Lebensphasen orientiert: Die initiale Erstellung des »As-Built«-Zwillings obläge dem Bauträger. Bei der Übergabe ginge die Verantwortung für die Pflege auf den Eigentümer über, der diese Aufgabe an einen spezialisierten Dienstleister – eine Art »digitalen Kümmerer« – delegieren könnte. Die Vision für die Zukunft des Bauens liegt in einem durchgängigen Informationsmanage- ment. Ein entscheidender Hebel könnte hier ein digitaler Gebäuderessourcenpass sein, analog zum etablierten Produktpass der In- dustrie, in dem alle Informationen über ein Produkt gespeichert werden. Dieser Ansatz Technisch ermöglichen könnte dies die Ver- waltungsschale (Asset Administration Shell, AAS). Als standardisiertes Format ist sie in der Lage, alle relevanten Informationen zu Bauteilen interoperabel zu speichern – von Materialeigenschaften über Demontageanlei- tungen bis hin zur Wartungshistorie. Reinhard Herzog Informationsmanagement und Leittechnik (ILT) Tel. +49 721 6091-294 reinhard.herzog @iosb.fraunhofer.de 14 Abb. 1: Vision einer vernetzten Baustelle der Zukunft mit automatisierter Datenerfassung. o o n A / e b o d a . k c o t s ©

15

Technologien für den Tiefbau o o n A / e b o d a . k c o t s © Abb. 2: Der digitale Produktpass für die Baustelle der Zukunft: Tiefbaumaschinen wie Bagger und Tieflader sind direkt mit dem digitalen Produktpass vernetzt. Sie erkennen und beschreiben selbstständig die bewegten Baustoffe in Echtzeit, was eine präzise Materialverfolgung und effiziente Kreislaufwirtschaft im Bauwesen ermöglicht. Automatisierung als Schlüssel zur Realisierung Damit diese Vision Realität wird, ist eine weitgehend automa- tisierte Datenerfassung entscheidend. Anstatt auf aufwendige und auch fehleranfällige manuelle Eingaben zu bauen, könnten moderne Maschinen künftig während des Bauprozesses selbst- ständig Daten generieren. Ein Bagger würde beim Aushub auto- matisch Volumen und Gewicht des Materials erfassen; Trans- portbehälter könnten erste Angaben zur Zusammensetzung liefern. So entstünde ein verlässlicher Informationsfluss, der die Erstellung von Materialpässen in Echtzeit und mit hoher Daten- qualität ermöglicht. Construction as a Service (CaaS): Die vernetzte Bauwirtschaft der Zukunft Auf Basis solcher Daten lassen sich völlig neue, serviceorientierte Geschäftsmodelle etablieren. Die logische Konsequenz wäre »Construction as a Service« (CaaS): eine digitale Plattform, auf der Baudienstleistungen koordiniert werden. Partnerfirmen würden ihre Fähigkeiten standardisiert beschreiben. Ein intel- ligenter Algorithmus könnte dann passgenaue Dienstleister für spezifische Aufgaben finden und orchestrieren – unter Berücksichtigung von Preis, Verfügbarkeit und ökologischem Fußabdruck. Die denkbaren Anwendungsfälle sind vielfältig: Bei einem zirkulären Rückbau würde die Plattform den Digitalen Zwilling analysieren, den Prozess in Mikro-Aufgaben zerlegen und diese auf dem Markt ausschreiben. So werden Bauteile zu handelbaren Ressourcen. Gleichzeitig würde CaaS die Resilienz bei der Projektumsetzung erhöhen, da bei Ausfall eines Partners schnell qualifizierter Ersatz gefunden würde. Fazit Die Integration von Industrie-4.0-Werkzeugen eröffnet der Bauindustrie vielversprechende Perspektiven, um Prozessef- fizienz mit Nachhaltigkeit zu verbinden. Der Digitale Zwilling birgt das Potenzial, den Wert des Bestehenden transparent zu machen. Automatisierte Datenerfassung kann die hierfür nötige Datenqualität sichern, während CaaS-Plattformen die Grundlage für einen resilienten und zirkulären Markt schaffen könnten. Erste Beispiele, wie etwa die N1 CIRCULAR GmbH, zeigen bereits erfolgreiche Umsetzungen dieser Ideen. Sich frühzeitig mit diesen Technologien auseinanderzusetzen, stellt daher eine strategische Chance dar, um die eigene Wett- bewerbsfähigkeit zu sichern und die Transformation der Branche aktiv mitzugestalten. 15

16

Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB info@iosb.fraunhofer.de www.iosb.fraunhofer.de Fraunhofer IOSB Karlsruhe Fraunhoferstraße 1 76131 Karlsruhe Telefon +49 721 6091-0 Fraunhofer IOSB Ettlingen Gutleuthausstraße 1 76275 Ettlingen Telefon +49 7243 992-0 Institutsteil für angewandte Systemtechnik IOSB-AST Am Vogelherd 90 98693 Ilmenau Telefon +49 3677 461-0 info@iosb-ast.fraunhofer.de www.iosb-ast.fraunhofer.de Institutsteil für industrielle Automation IOSB-INA Campusallee 1 32657 Lemgo Telefon +49 5261 94290-22 juergen.jasperneite@iosb-ina.fraunhofer.de www.iosb-ina.fraunhofer.de Zweigstellen & Kontaktbüro Forschungsgruppe IT-Sicherheit für Kritische Infrastrukturen ENERGIE UND WASSER Wilhelmsplatz 11 02826 Görlitz Fraunhofer-Zentrum für die Sicherheit Sozio-Technischer Systeme SIRIOS c/o Fraunhofer FOKUS Kaiserin-Augusta-Allee 31 10589 Berlin Fraunhofer-Forschungsgruppe Smart Ocean Technologies SOT Alter Hafen Süd 6 18069 Rostock Forschungsgruppe Aktive Laserfasern Moritz-Hensoldt-Straße 10 73447 Oberkochen Kontaktbüro Beijing Unit 0602G, Tower D1 DRC Liangmaqiao Office Building 19 Dongfangdonglu, Chaoyang District 100600 Beijing, PR China muh@fraunhofer.com.cn ePaper Ausgabe