Mensch-Maschine-Interaktion

MARI (Mobile AR-Assistenz in der Industrie): Augmented-Reality-Assistenzsysteme für mobile Anwendungsszenarien in der Industrie

01.05.2017 bis 30.03.2022

Motivation 

Die Arbeitswelt ist im Umbruch: Durch die Digitalisierung der Industrie fallen einfache Aufgaben weg, da sie zunehmend von Maschinen erledigt werden. Die verbleibenden Tätigkeiten werden immer komplexer. Hinzu kommen die Einflüsse des Fachkräfte- mangels und des demographischen Wandels. Menschen müssen befähigt werden, mit den wachsenden Anfor- derungen Schritt zu halten. Einen Ansatz hierbei bietet die Augmented Reality (AR). Diese „erweiterte Realität“ hat sich in den vergangenen Jahren stark weiterentwickelt: Die reale Welt wird dabei mit digitalen Objekten überlagert – etwa mit Hilfe von Pro- jektionen oder AR-Brillen.

Projektziel

Im Projekt MARI wird untersucht, wie intelligente Systeme Menschen unterstützen können, um komplexe Produktionsprozessezubeherrschen. Dabei stellt sich insbesondere die Frage, wie ein portables, intelligentes und modular aufgebautes Assistenz- system für ein großes Spektrum an Tätigkeiten innerhalb von kleinen und mittelständischen Unternehmen (KMU)eingesetztwerdenkann.Neben der Identifikation von Anwendungs- fällen und prototypischen Umsetzun- gen des Systems liegt der Fokus des Projekts insbesondere auch in der Evaluierung des Systems für verschie- dene Tätigkeiten, um Erkenntnisse über das Zusammenspiel zwischen Mensch und industriellem Assistenz- system zu gewinnen.

Forschungsaktivitäten

Im Rahmen des Projekts werden verschiedene Prototypen im Rahmen eines menschzentrierten Gestaltungs- prozesses entwickelt und evaluiert. Die implementierten Systeme können mobile und stationäre Montagetätigkeiten durch verschiedenartige Informationen unterstützten. Im Rahmen der Evaluierung wurde hierbei u. a. untersucht, inwieweit sich projektionsbasierte Assistenzsysteme zum Einarbeiten neuer Mitarbeiter eignen. In Kooperation mit der TU Clausthal wurde hierzu eine Studie mit insgesamt 33 Probanden durchgeführt, in der beobachtet wurde, wie die Probanden den Montageprozess über mehrere Tage mithilfe eines AR-Assistenzsystems lernen. Wenn auch keine Vorteile bezüglich der Einarbeitungszeit festgestellt wurden, so konnte in der Studie gezeigt werden, dass bei der Einarbeitung mit einem AR-Assistenzsystem das systematische Falschlernen von Arbeitsschritten konsequent vermieden werden konnte, da durch das Handtracking des Systems potenzielle Fehler direkt erkannt werden und der Mitarbeiter darauf aufmerksam gemacht wird. Die Ergebnisse der Forschungsarbeit wurde im Jahr 2020 auf der „ACM Conference on Human Factors in Computing Systems (CHI)“ mit dem „Honorable Mention Award“ ausgezeichnet. Die weiteren Aktivitäten innerhalb des Projekts beziehen sich auf technische Fragestellungen, wie z. B. die Realisierung verschiedener portable Versionen des Systems oder die Integration von maschinellen Lernverfahren in die Systeme zur Zustandserkennung für Qualitätssicherungsmaßnahmen.

 

Das Projekt wird gefördert durch:
Bundesministerium für Bildung und Forschung (BMBF)
Projektträger: VDI Technologiezentrum GmbH
Förderkennzeichen: 13FH005IX6
Förderlinien: IngenieurNachwuchs 2016 – Kooperative Promotion
Projektbeteiligte / Ansprechpartner: Dipl.-Wirtsch.-Inform. Sebastian Büttner
Projektmitarbeitende: Dipl.-Wirtsch.-Inform. Sebastian Büttner, Andreas Besginow, B. Sc.
Dipl.-Wirtsch.-Inform. Sebastian Büttner¹, Henrik Mucha, M. Sc., Thomas Kosch, Mario Aehnelt, Dr. Sebastian Robert, Prof. Dr.-Ing. Dr. phil. Dr. rer. soc. Carsten Röcker²
The Design Space of Augmented and Virtual Reality Applications for Assistive Environments in Manufacturing: A Visual Approach
In: 10th ACM International Conference on PErvasive Technologies Related to Assistive Environments (PETRA '17), Jun 2017
¹ Erstautoren
² Letztautoren
Dr. Michael Fellmann¹, Dr. Sebastian Robert, Dipl.-Wirtsch.-Inform. Sebastian Büttner, Henrik Mucha, M. Sc., Prof. Dr.-Ing. Dr. phil. Dr. rer. soc. Carsten Röcker²
Towards a Framework for Assistance Systems to Support Work Processes in Smart Factories
In: A. Holzinger P. Kieseberg, A M. Tjoa, E. Weippl (Eds.): Machine Learning and Knowledge Extraction. Proceedings of the International Cross Domain Conference for Machine Learning & Knowledge Extraction (CD-MAKE’17), LNCS 10410. Springer, Heidelberg, Germa, Aug 2017
¹ Erstautoren
² Letztautoren
Dipl.-Wirtsch.-Inform. Sebastian Büttner¹, Andreas Besginow, B. Sc., Prof. Dr.-Ing. Michael Prilla, Prof. Dr.-Ing. Dr. phil. Dr. rer. soc. Carsten Röcker²
Mobile Projection-Based Augmented Reality in Work Environments – An Exploratory Approach
In: R. Dachselt, G. Weber (Eds.): Mensch und Computer 2018 - Workshopband. Gesellschaft für Informatik, Bonn, Germany, Sep 2018
¹ Erstautoren
² Letztautoren
Intelligent Adaptive Assistance Systems in an Industrial Context – Overview of Use Cases and Features
In: 5. Workshop zu Smart Factories: Mitarbeiter-zentrierte Informationssysteme für die Zusammenarbeit der Zukunft, Mensch und Computer 2018, Sep 2018
¹ Erstautoren
² Letztautoren
Teaching by Demonstrating – How Smart Assistive Systems Can Learn from Users
In: 22nd International Conference on Human-Computer Interaction, Jul 2020
¹ Erstautoren
² Letztautoren
Masterarbeit
Using Deep Learning-Based Action Recognition in Assistance Systems – A Prototypical Implementation
Andreas Besginow, B. Sc.
Projektarbeit
Development of a Prototype for Mobile Remote Collaboration Using Projection-Based Augmented Reality
Andreas Besginow, B. Sc.
Masterarbeit
Implementierung und Evaluierung von Bildverarbeitungsalgorithmen zur Erkennung von montierten Metallbauteilen
Andreas Peda
Projektarbeit
Erkennung von Montageschritten durch maschinelles Sehen mit Hilfe von OpenCV
Andreas Peda
Studienarbeit
Konzeptionierung eines mobilen Assistenzsystems zur Unterstützung von Produktionsmitarbeitern
10.10.2018 bis 05.12.2018
Bosch Rexroth AG
Wassermann Technologie GmbH
Gefördert durch
Projektträger