Bildgestütztes Teach-In eines mobilen Manipulators in einer virtuellen Umgebung

Matsikis, Alexandros; Kraiss, Karl-Friedrich

doi:HT014302382

Bildgestütztes Teach-In eines mobilen Manipulators in einer virtuellen Umgebung

Matsikis, Alexandros (Author)

2005

Verantwortlichkeitsangabevorgelegt von Alexandros Matsikis

ImpressumAachen : Publikationsserver der RWTH Aachen University 2005

UmfangXVI, 235 S. : Ill., graph. Darst.

Aachen, Techn. Univ., Diss., 2005

Genehmigende Fakultät
Fak06

Hauptberichter/Gutachter
Kraiss, Karl-Friedrich (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2005-01-21

Online
URN: urn:nbn:de:hbz:82-opus-10171
URL: https://publications.rwth-aachen.de/record/52752/files/Matsikis_Alexandros.pdf

Einrichtungen

Fakultät für Elektrotechnik und Informationstechnik (600000)

Inhaltliche Beschreibung (Schlagwörter)
Erweiterte Realität <Informatik> (Genormte SW) ; Mensch-Maschine-System (Genormte SW) ; Greifmanipulator (Genormte SW) ; Teach-in-Methode (Genormte SW) ; Maschinelles Sehen (Genormte SW) ; Objekterkennung (Genormte SW) ; Ingenieurwissenschaften (frei) ; Robotik (frei) ; mobile Manipulation (frei) ; Teach-In (frei) ; bildgestützte Steuerung (frei) ; virtuelle Umgebung (frei) ; Verhaltensfusion (frei)

Thematische Einordnung (Klassifikation)
DDC: 620

Kurzfassung
Der Anwendungsbereich der Robotik verschiebt sich von Industrieapplikationen auf die Unterstützung von Menschen in natürlichen Umgebungen. Zur Erfüllung der neuen Aufgaben wird oft ein Roboterarm auf einer mobilen Plattform montiert, der Objekte bildgestützt greifen, betätigen und transportieren soll. Diese so genannte mobilen Manipulatoren sind noch auf den Laborbereich beschränkt, da die Realisierung von Verfahren, die aus Bildinformation entsprechende Manipulatorbewegungen ableiten, keine triviale Aufgabe darstellt. Existierende Systeme sind in der Lage einfache Objekte zu greifen und an einen anderen Ort zu transportieren, berücksichtigen jedoch keine Hindernisse, die den direkten Greifvorgang behindern. Gegenstand der Arbeit ist die Entwicklung einer Architektur für mobile Manipulation, die das bildgestützte Greifen von Objekten in einer teilweise bekannten Umgebung unter Berücksichtigung von Hindernissen ermöglicht. Zugleich wird ein Ansatz vorgestellt, um das gewünschte, bildgestützte Greifen anhand von Aufnahmen virtueller Kameras aus einer virtuellen Umgebung zu erlernen. Zur Evaluierung dient ein Pick-and-Place Szenario. Der mobile Manipulator muss ein Objekt, das eine bestimmte Greifrichtung erfordert, von Hindernissen umgeben und arbiträr auf einem Tisch positioniert ist, greifen und an einen anderen Ort transportieren. Die Schwierigkeit der Aufgabenstellung liegt in der zunächst unbekannten Position von Zielobjekt und Hindernissen, die durch Bildverarbeitung detektiert und lokalisiert werden müssen. Die folgende, bildgestützte Ausführung des Greifvorgangs erfordert, dass sich der Manipulator dem Objekt aus einer optimalen Richtung annähert, wobei auf neue Bildinformation zu reagieren ist, um Kollisionen zu vermeiden. Das System soll echtzeitfähig und in seiner Planung flexibel sein, um bei misslungenen Aktionen alternative Handlungsweisen zu wählen. Zur Lösung ist eine erweiterte drei-Ebenen Architektur realisiert. Die unterste, reaktive Ebene beinhaltet spezialisierte Regelkreise, die für eine Reaktion des Roboterarms auf Umgebungsänderungen sorgen. Diese Regelkreise sind explizit programmiert oder mit Neuronalen Netzen (Radial Basis Function Networks und Neuro-Fuzzy) erlernt. Sie setzen die Information der Roboterkameras ein, um den Manipulator zum Ziel zu führen, das Objekt im Sichtfeld der Manipulatorkamera zu halten oder den Greifer bzw. die Manipulator-Segmente vor Kollisionen zu schützen. Soll der mobile Manipulator beim Greifen des Zielobjektes Hindernisse berücksichtigen, müssen Zielführung, Zielverfolgung und Kollisionsvermeidung aktiviert und koordiniert werden. Bayesian Belief Netzwerke realisieren in der mittleren Ebene diesen Koordinationsmechanismus. Sie bestimmen die Anwendbarkeit der Komponenten der reaktiven Ebene und ermitteln die nächste Manipulatorbewegung anhand der aktuellen Bildinformation und des auszuführenden Planungsschrittes. Die hierarchisch höchste, deliberative Ebene arbeitet strategische Pläne aus und zerlegt eine Aufgabe in eine Sequenz von Planungsschritten für den Manipulator und die mobile Plattform. Hier werden auch alternative Handlungsweisen und Greifpositionen bestimmt, falls ein Planungsschritt misslingt. Die Komponenten der reaktiven Ebene und der Koordinationsmechanismus werden in einer virtuellen Umgebung mit Modellen der Objekte, des Roboters und Aufnahmen von virtuellen Kameras trainiert. Zwei bildgestützte Alternativen zum positionsbasierten Teach-In sind für das Training in der virtuellen Umgebung realisiert: das algorithmische Teach-In für die Zielführung und das stochastische Teach-In für die Kollisionsvermeidung und den Koordinationsmechanismus. Mit dieser Arbeit ist ein System zur mobilen Manipulation in teilweise bekanntenen Umgebung unter Berücksichtigung von Hindernissen entstanden. Die realisierte 3T-Architektur ermöglicht den parallelen Einsatz reaktiver zielführender und kollisionsvermeidender Verfahren; bisher wurde nur die sequentielle Ausführung der Komponenten der reaktiven Ebene implementiert. Weiterhin wurde der Einsatz virtueller Umgebungen zum Teach-In der reaktiven, bildgestützten Komponenten sowie des Koordinationsmechanismus untersucht. Die trainierten Verfahren kommen erfolgreich auf dem realen mobilen Manipulator zum Einsatz.

In the last years the field of robotics moves away from applications in the industrial sector to the assistance of humans in everyday environments. To meet the challenges of the new application area robots are made up as a combination of a robotic arm and a mobile platform, so to enable the manipulation and transportation of objects based on visual information from cameras. These so-called mobile manipulators are still confined in laboratories since it is not a trivial task to map visual information on manipulator movements. Existing systems are able to grasp and transport objects, however they do not consider obstacles that can obstruct the manipulator movement. This work presents architecture for vision-based mobile manipulation in a partly known environment that considers obstacles for the robotic arm. Furthermore an approach is investigated for learning the desired vision-controlled movement of the manipulator from images acquired in a virtual environment. A pick-and-place scenario is used for evaluation of the realised system. In this scenario the mobile manipulator has to grasp an object from an optimal gripping direction while avoiding the obstacles around it and transport it to another location. The tasks main difficulty lies in the a priori unknown position of the objects, which have to be detected and localised through image processing. The vision-based control of the manipulator has to adapt the executed movement based on continuously acquired image data, so that collisions are avoided and the goal object is approached form the optimal gripping direction. The system should also be flexible in its planning and it try out alternative solutions when the robots current course of action is proven to be unsuccessful. The implemented architecture consists of three layers. The lowest, reactive layer contains specialised feedback loops, which adapt the manipulator movement to changes in the environment. These feedback loops, also known as reactive behaviours or skills, are either explicitly programmed or learned with neural networks. They use the information of the lead to manipulator to a goal position, keep the object in the viewing filed of the cameras or prevent collisions of the manipulator segments with obstacles. In order to enable a complex movement when reaching for an object while at the same time avoiding obstacles, the reactive behaviours should be combined so to contribute to the finale manipulator movement. Bayesian Belief Networks implement in the second, intermediate layer the corresponding behaviour coordination mechanism. They compute the behaviours’ applicabilities and determine thus the next manipulator movement based on the in real-time acquired camera data and the active behaviours. The hierarchical highest, deliberative layer creates plans and decomposes an assigned task in a sequence of subtasks, each of which can be successfully achieved by the coordination of a group of active behaviours. This layer determines also alternative actions in case the mobile manipulator fails to complete a subtask successfully. The components of the reactive and the intermediate layers are trained in a virtual environment with images acquired from virtual cameras. Two vision-based alternatives toe the standard position-based teach-in methods are implemented for assisting the training in the virtual environment. The algorithmic teach-in is used for training the goal-reaching behaviour whereas the stochastic teach-in is applied for the collision avoidance behaviour as well as for the coordination mechanism. The implemented system enables mobile manipulation in a partly unknown environment and considers obstacles when grasping a goal-object. The realised architecture makes the combination of reactive, vision-based behaviours possible; until today only the sequential execution of the reactive layer’s components was implemented for manipulators. Furthermore this work investigated the application of virtual environments for the teach-in of reactive, vision-based behaviours and of the behaviour coordination mechanism. The trained components come successfully into application on the real mobile manipulator.

Fulltext:
PDF
(additional files)