Efficient person detection with LiDAR sensors for mobile robots

Jia, Dan; Arras, Kai; Rossmanith, Peter; Leibe, Bastian

doi:HT031403095

Efficient person detection with LiDAR sensors for mobile robots

Jia, Dan^RWTH*

2025 & 2026

Verantwortlichkeitsangabevorgelegt von Dan Jia, M. Sc.

ImpressumAachen : RWTH Aachen University 2025

Umfang1 Online-Ressource : Illustrationen

Dissertation, RWTH Aachen University, 2025

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University 2026

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Leibe, Bastian (Thesis advisor)^RWTH* ; Arras, Kai (Thesis advisor) ; Rossmanith, Peter (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2025-07-11

Online
DOI: 10.18154/RWTH-2026-01134
URL: https://publications.rwth-aachen.de/record/1027011/files/1027011.pdf

Einrichtungen

Projekte

Inhaltliche Beschreibung (Schlagwörter)
deep learning (frei) ; mobile robots (frei) ; person detection (frei) ; point cloud (frei) ; semantic segmentation (frei)

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
In der Ära der zunehmenden Robotikanwendungen werden Roboter immer mobiler und allgegenwärtiger und übernehmen verschiedenste Aufgaben, von der Hausarbeit bis zur Navigation in komplexen städtischen Umgebungen. Dieser Anstieg ist auf Fortschritte in den Bereichen Sensorik, Computertechnik und künstliche Intelligenz zurückzuführen, die zur Entwicklung hochentwickelter autonomer Systeme geführt haben. Im Gegensatz zu Industrierobotern, die für die Automatisierung von Fabriken entwickelt wurden, sind mobile Roboter für den Einsatz in komplexen und unstrukturierten Umgebungen konzipiert, die für eine sichere Interaktion fortschrittliche Fähigkeiten zum Verstehen von Szenen erfordern. Eine dieser Fähigkeiten ist die Personenerkennung, die im Mittelpunkt dieser Arbeit steht. Es gibt zwar ausgereifte Lösungen für die Erkennung von Personen mit Hilfe von RGB(-D)-Kameras und Deep-Learning-basierten Objektdetektoren, doch sind diese mit Einschränkungen verbunden, wie z. B. einem eingeschränkten Sichtfeld, einem erhöhten Rechenaufwand bei der Einrichtung mehrerer Kameras und Bedenken hinsichtlich der Privatsphäre. LiDAR-Sensoren bieten eine Alternative mit Vorteilen wie einem großen Sichtfeld, einer genauen Entfernungsmessung und einer geringeren Beeinträchtigung der Privatsphäre. Die effiziente Erkennung von Personen mit LiDAR-Sensoren ist jedoch aufgrund der einzigartigen Datenstruktur von Punktwolken und der spärlichen Entfernungsmessung eine Herausforderung. In dieser Arbeit werden neue Techniken vorgeschlagen, um diese Herausforderungen zu überwinden und effiziente Algorithmen zur Personenerkennung für LiDAR-Sensoren zu entwickeln. Der erste Beitrag ist DR-SPAAM, ein schneller Personendetektor für 2D-LiDAR-Sensoren auf mobilen Robotern. Die Schlüsselkomponente von DR-SPAAM ist ein neuartiges SPatial Attention and Auto-regressive Module (räumliches Aufmerksamkeits- und autoregressives Modul), das lernt, Messungen aus aufeinanderfolgenden Scans zu assoziieren und zu aggregieren, um die Herausforderungen einer dünnen Punktwolke mit minimalem Rechenaufwand zu bewältigen. DR-SPAAM stellt mit einer AP von 70,3% einen neuen Spitzenwert im DROW-Datensatz auf. Darüber hinaus hat es eine hohe Inferenzrate von 87,2 FPS auf einem Laptop mit dediziertem Grafikprozessor oder 22,6 FPS auf einem NVIDIA Jetson AGX mit integriertem Grafikprozessor. Weitere Experimente zeigen, dass das vortrainierte DR-SPAAM robust gegenüber Änderungen der Sensorspezifikationen wie Abtastauflösung und -rate ist, was den Einsatz auf Plattformen, die mit unterschiedlichen Sensoren ausgestattet sind, erleichtert. Durch die hohe Inferenzrate und die Robustheit gegenüber sich ändernden Sensorspezifikationen ist DR-SPAAM für mobile Roboteranwendungen gut geeignet. Im Gegensatz zu der Fülle an gelabelten Bildern gibt es nur wenige Datensätze für das Training von 2D-LiDAR-basierten Personendetektoren wie DR-SPAAM. Diese Datenbeschränkung kann dazu führen, dass sich das Netzwerk auf falsche Korrelationen konzentriert, die nur in den Trainingsdaten vorhanden sind, was zu einer schlechten Generalisierung der Erkennung während des Einsatzes führt. Um dieses Problem zu entschärfen, schlagen wir einen Ansatz vor, der automatisch Trainingslabels, so genannte Pseudolabels, für den 2D-LiDAR-Sensor generiert, indem eine kalibrierte Kamera mit einem handelsüblichen bildbasierten Detektor verwendet wird. Wir führen Experimente durch, um zu bestätigen, dass das Training oder die Feinabstimmung eines Detektors mit diesen Pseudo-Labels in der Tat seine Leistung während des Einsatzes verbessert, und die Leistung kann mit robusten Trainingstechniken wie Mixup Regularization und Partially Huberized Cross-Entropy Loss weiter verbessert werden. Mit dem vorgeschlagenen Ansatz kann ein mobiler Roboter seinen Personendetektor während des Einsatzes feinabstimmen, ohne dass zusätzliche Kosten für die manuelle Kennzeichnung anfallen. Trotz ihrer Effektivität und Erschwinglichkeit sind 2D-LiDAR-Sensoren auf die Messung einer einzigen Ebene beschränkt. Im Gegensatz dazu scannen 3D-LiDAR-Sensoren aufgrund ihres zusätzlichen Drehwinkels mehrere Ebenen in verschiedenen Höhen, sind aber mit höheren Kosten verbunden. Dieser Unterschied stellt einen Kompromiss dar, der bei der Auswahl von Sensoren für die Entwicklung neuer Roboter berücksichtigt werden sollte. Wir führen Experimente durch, um den Leistungsunterschied zwischen diesen beiden Arten von LiDAR-Sensoren für die Erkennung von Personen zu verstehen, mit dem Ziel, fundierte Entscheidungen bei der Sensorauswahl zu erleichtern. Wir verwenden die hochmodernen CenterPoint- und DR-SPAAM-Personendetektoren als Stellvertreter für 3D- bzw. 2D-LiDAR-Sensoren und vergleichen ihre Leistung in Bezug auf mehrere Aspekte, darunter Erkennungsgenauigkeit, Inferenzgeschwindigkeit, Lokalisierungsleistung und Robustheit. Unsere Ergebnisse zeigen, dass 2D-LiDAR-Sensoren sichtbare Personen genauso genau erkennen können wie 3D-LiDAR-Sensoren. Es ist jedoch viel einfacher, dass Personen in einem 2D-LiDAR-Scan mit nur einer Ebene vollständig verdeckt sind, was eine Erkennung unmöglich macht. Für Anwendungen wie die Kollisionsvermeidung, bei denen es ausreicht, in der Nähe befindliche sichtbare Personen zu erkennen, sind 2D-LiDAR-Sensoren aufgrund ihrer hohen Inferenzgeschwindigkeit und ihrer geringen Kosten eine gute Wahl. Für Anwendungen, die eine zuverlässige Personenerkennung über einen größeren Bereich erfordern, sollten jedoch die teureren 3D-LiDAR-Sensoren verwendet werden. Der permutationsäquivariante Aufmerksamkeitsmechanismus, der ursprünglich für Sprach-aufgaben vorgeschlagen wurde, ist ein vielversprechender Mechanismus für die Verarbeitung von LiDAR-Scans. Allerdings verbietet die quadratische Raumkomplexität in Bezug auf die Anzahl der Punkte seine Anwendung auf große Punktwolken. Um dieses Problem zu lösen, schlagen wir eine speichereffiziente Variante des Aufmerksamkeitsmechanismus vor, die als Globale Hierarchische Aufmerksamkeit (GHA) bezeichnet wird und die reguläre Aufmerksamkeit durch die Berechnung lokaler Aufmerksamkeit auf einer Reihe von Auflösungshierarchien approximiert. GHA bietet zwei wesentliche Vorteile. Erstens hat sie eine lineare Komplexität in Bezug auf die Anzahl der Punkte, so dass sie große Punktwolken verarbeiten kann. Zweitens neigt GHA von Natur aus zu räumlich nahen Punkten und schenkt lokalen Strukturen mehr Aufmerksamkeit, während die globale Konnektivität zwischen allen Punkten erhalten bleibt. In Kombination mit einem Feedforward-Netzwerk kann GHA in viele bestehende Netzwerkarchitekturen eingefügt werden. Unsere Experimente mit mehreren Basisnetzen zeigen, dass das Hinzufügen von GHA die Leistung bei verschiedenen Aufgaben und Datensätzen durchweg verbessert. Bei der Aufgabe der semantischen Segmentierung führt GHA zu einer Steigerung von +1,7% mIoU gegenüber der MinkowskiEngine-Baseline auf ScanNet. Bei der Aufgabe der 3D-Objekterkennung verbessert GHA die CenterPoint-Baseline um +0,5% mAP auf dem nuScenes-Datensatz und die 3DETR-Baseline um +2,1% mAP25 und +1,5% mAP50 auf ScanNet.

In the era of surging robotic applications, robots are becoming increasingly mobile and ubiquitous, participating in diverse tasks ranging from household chores to navigating complex urban environments. This surge is attributed to advances in sensing, computing, and artificial intelligence, leading to the development of sophisticated autonomous systems. In contrast to industrial robots designed for factory automation, mobile robots are designed to operate in complex and unstructured environments, necessitating advanced scene understanding capabilities for safe interactions. One such capability is person detection, which is the focus of this thesis. While mature solutions exist for detecting persons using RGB(-D) cameras and deep learning-based object detectors, these come with limitations such as restricted field of view, increased computation with multi-camera setups, and privacy concerns. LiDAR sensors offer an alternative with advantages including a wide field of view, accurate range measurement, and reduced privacy intrusion. However, efficiently detecting persons with LiDAR sensors presents challenges due to the unique data structure of point clouds and the sparsity of the range scan.This thesis proposes novel techniques to overcome these challenges and design efficient person detection algorithms for LiDAR sensors. The first contribution is DR-SPAAM, a fast person detector for 2D LiDAR sensors on mobile robots. The key component of DR-SPAAM is a novel SPatial Attention and Auto-regressive Module, which learns to associate and aggregate measurements from consecutive scans, addressing challenges from the sparse point cloud with minimal computational overhead. DR-SPAAM establishes a new state-of-the-art on the DROW dataset, reaching 70.3% AP. In addition, it has a high inference rate of 87.2 FPS on a laptop with a dedicated GPU or 22.6 FPS on an NVIDIA Jetson AGX with an embedded GPU. Further experiments show that pretrained DR-SPAAM is robust against changes in sensor specifications such as sampling resolution and rate, making it easy to deploy on platforms that are equipped with different sensors. The high inference rate and the robustness against changing sensor specifications make DR-SPAAM well-suited for mobile robotic applications. Contrary to the abundance of labeled images, only a few datasets exist for training 2D-LiDAR-based person detectors such as DR-SPAAM. This limitation in data may cause the network to focus on false correlations that are only present in training data, leading to poor detection generalization during deployment. To mitigate this problem, we propose an approach that automatically generates training labels, called pseudo-labels, for the 2D LiDAR sensor, using a calibrated camera with an off-the-shelf image-based detector. We conduct experiments to confirm that training or fine-tuning a detector with these pseudo-labels indeed improves its performance during deployment, and the performance can be further improved with robust training techniques such as mixup regularization and partially Huberized cross-entropy loss. With the proposed approach, a mobile robot can fine-tune its person detector during deployment, with no additional manual labeling cost. Despite their effectiveness and affordability, 2D LiDAR sensors are limited to measuring a single plane. In contrast, 3D LiDAR sensors scan multiple planes at various heights due to their additional rotation angle, but they come with higher costs. This difference presents a trade-off that should be considered when selecting sensors for designing new robots. We conduct experiments to understand the performance gap between these two types of LiDAR sensors for detecting persons, aiming to facilitate informed decisions on sensor selection. We use state-of-the-art CenterPoint and DR-SPAAM person detectors as proxies for 3D and 2D LiDAR sensors, respectively, and compare their performance in multiple aspects, including detection accuracy, inference speed, localization performance, and robustness. Our results show that 2D LiDAR sensors can detect visible persons as accurately as 3D LiDAR sensors. However, it is much easier for persons to be fully occluded in the single-plane 2D LiDAR scan, making detection impossible. For applications such as collision avoidance, where detecting nearby visible persons is sufficient, 2D LiDAR sensors are a good choice due to their high inference speed and low cost. However, for applications requiring reliable person detection over an extended range, the more expensive 3D LiDAR sensors should be used. The permutation equivariant attention mechanism, originally proposed for language tasks, is a promising operation for processing LiDAR scans. However, the quadratic space complexity with respect to the number of points forbids its application on large point clouds. To address this issue, we propose a memory-efficient variant of the attention mechanism, called Global Hierarchical Attention (GHA), which approximates the regular attention by computing local attention on a series of resolution hierarchies. GHA offers two key advantages. First, it has linear complexity relative to the number of points, allowing it to process large point clouds. Second, GHA inherently biases towards spatially close points, giving more attention to local structures while maintaining global connectivity among all points. Combined with a feedforward network, GHA can be inserted into many existing network architectures. Our experiments with multiple baseline networks show that adding GHA consistently improves performance across various tasks and datasets. For the task of semantic segmentation, GHA gives a +1.7% mIoU increase to the MinkowskiEngine baseline on ScanNet. For the 3D object detection task, GHA improves the CenterPoint baseline by +0.5% mAP on the nuScenes dataset, and the 3DETR baseline by +2.1% mAP25 and +1.5% mAP50 on ScanNet.

OpenAccess:
PDF
(additional files)