Efficient deep learning methods for human pose estimation

Rafi, Umer; Gall, Juergen; Leibe, Bastian

doi:HT019849206

Efficient deep learning methods for human pose estimation

Rafi, Umer^RWTH*

2018

Verantwortlichkeitsangabevorgelegt von MSc Umer Rafi

ImpressumAachen 2018

Umfang1 Online-Ressource (vi, 113 Seiten) : Illustrationen, Diagramme

Dissertation, RWTH Aachen University, 2018

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Leibe, Bastian (Thesis advisor)^RWTH* ; Gall, Juergen (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2018-09-19

Online
DOI: 10.18154/RWTH-2018-229377
URL: https://publications.rwth-aachen.de/record/748392/files/748392.pdf
URL: https://publications.rwth-aachen.de/record/748392/files/748392.pdf?subformat=pdfa

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
Human pose estimation (frei) ; deep learning (frei)

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Die Schätzung der menschlichen Pose ist ein aktiver Forschungsbereich auf dem Gebiet der Computervision. Ziel ist es, in Bildern und Videos die Körperhaltung artikulierender Personen herzuleiten. Dies findet Anwendungen in Spielen, Mensch-Computer-Interaktion, Analyse, Bildsuche, Robotik und autonomes Fahren. In den letzten Jahren wurde ein beeindruckender Erfolg bei der Aufgabe der Schätzung von menschlichen Posen in unkontrollierten Umgebungen erreicht. Der Erfolg kann hauptsächlich dem Deep-Learning zugeschrieben werden. Der Trend geht jedoch dahin, mit rechenintensiven Methoden auf maximale Leistung zu setzen. Trotz guter Leistung erfordern die Verfahren High-End-Grafikverarbeitungseinheiten für eine effiziente Leistung. Die jüngste Zunahme von Servicerobotern und autonomen Fahrzeugen haben die Nachfrage nach Methoden zur Schätzung der menschlichen Pose erhöht, die effizient und robust auf Low-End-Grafikverarbeitungseinheiten laufen, welche hauptsächlich für Roboter und autonome Fahrzeuge verfügbar sind. In dieser Arbeit schlagen wir effiziente und robuste Deep-Learning Methoden zur Schätzung der menschlichen Pose vor. Wir beginnen mit einer 3D-Methode zur Schätzung der menschlichen Pose anhand von Tiefendaten. Wir bauen auf einer Regressions-Forest-Methode auf, um partielle Verdeckungen von Objekten zu behandeln, ohne die Komplexität der Methode zu erhöhen. Unser vorgeschlagenes 3D-Schätzverfahren für menschliche Posen kann in Innenraum-Szenarien verwendet werden, um Körperposen von Personen abzuschätzen, die teilweise durch Objekte verdeckt sind. Wir gehen dann zur 2D-Posenschätzung von Einzelpersonen in RGB-Bildern über. Wir schlagen eine effiziente und robuste Deep-Learning Methode für die 2D-Einzelposenschätzung vor. Das vorgeschlagene Verfahren erreicht eine vergleichbare Leistung wie die neuesten 2D-Einzelpersonen-Posenschätzmethoden.Unsere vorgeschlagene Methode läuft effizient auf Low-End-Grafikverarbeitungssystemen. Wir widmen uns dann der Aufgabe der Mehrpersonen-Posenschätzung. Wir schlagen eine Bottom-Up-Mehrpersonen Methode vor mit einer neuartigen Assoziation, basierend auf paarweisen relativen Offsets. Unser Ansatz sagt gleichzeitig Körperteile und relative Offsets voraus. Die relativen Offsets werden verwendet, um Körpergelenke mit einer greedy-Prozedur zu assoziieren. Im Vergleich zu modernen Bottom-up-Ansätzen erfordert das vorgeschlagene Verfahren keine kostspielige Nachbearbeitung. Schließlich schlagen wir eine effiziente und robuste Korrespondenz-Matching-Methode mit einer neuen Korrelationsebene vor. Die Korrelationsebene berechnet effizient Ähnlichkeits-Heat-Maps für alle Abfrage-Schlüsselpunkte über dem Zielbild. Die Methode wird auf den Vergleich von semantischen Schlüsselpunkten, dichte Anpassung und übereinstimmende Instanzschlüsselpunkte angewendet. Im Kontext von Mehrpersonen-Posentracking, kann der Vergleich von Instanz-Schlüsselpunkte verwendet werden, um Körpergelenke über die Zeit zu assoziieren.

Human pose estimation is a very active research area in the field of computer vision. The goal is to infer the body pose of highly articulated people in images and videos. It has applications in gaming, human computer interaction, analysis, image retrieval, robotics and autonomous driving. In the past few years, impressive success has been achieved on the task of human pose estimation in uncontrolled environments. The success can be mainly attributed to deep learning. However, the trend is to push for maximum performance by using computationally expensive deep learning methods. Despite good performance, the methods require high end graphical processing units for efficient performance. The recent increase in deployment of service robots and autonomous vehicles has raised the demand for human pose estimation methods that run efficiently and robustly on low end graphics processing units that are mostly available on robots and autonomous vehicles. In this thesis, we propose efficient and robust deep learning methods for human pose estimation. We start with 3D human pose estimation from depth data. We build on a regression forest method to handle partial occlusion from objects without any increase in method's complexity. Our proposed method can be used in indoor scenarios to estimate body poses of people partially occluded by objects. We then move to 2D single person pose estimation from RGB images. We propose an efficient and robust deep learning method for 2D single person pose estimation. The proposed method achieves comparable performance to the recent state-of-the-art 2D single person pose estimation methods. Our proposed method runs efficiently on low-end graphics processing units. We then approach the task of multi-person pose estimation. We propose a bottom up multi-person method with a novel pairwise relative offsets based association. Our approach simultaneously predicts body parts and relative offsets maps respectively. The relative offsets are used to associate body joints with a greedy procedure. Compared to state-of-the-art bottom up approaches the proposed method does not require any expensive post-processing. Finally, we propose a correspondence matching method with an efficient correlation layer. The correlation layer efficiently computes similarity heat-maps for all the query key points over the target image. The method is applied to the tasks of semantic key points matching, dense matching and instance key points matching. In the context of multi-person pose tracking, we apply instance key points matching for associating body joints over time.

OpenAccess:
PDF PDF (PDFA)
(additional files)