Dynamic 3D representations and robust evaluation for visual tracking

Luiten, Jonathon Tyler; Ramanan, Deva; Leibe, Bastian

doi:43924

Dynamic 3D representations and robust evaluation for visual tracking

Luiten, Jonathon Tyler^RWTH*

2024 & 2025

Verantwortlichkeitsangabevorgelegt von Jonathon Luiten, M. Sc.

ImpressumAachen : RWTH Aachen University 2024

Umfang1 Online-Ressource : Illustrationen

Dissertation, RWTH Aachen University, 2024

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University 2025

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Leibe, Bastian (Thesis advisor)^RWTH* ; Ramanan, Deva (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2024-03-06

Online
DOI: 10.18154/RWTH-2024-11182
URL: https://publications.rwth-aachen.de/record/998170/files/998170.pdf

Einrichtungen

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Die visuelle Verfolgung ist eine zentrale Aufgabe im Bereich der Computer Vision, bei der es darum geht, die Bewegung und die Beständigkeit der dynamischen Welt in einem Video zu verstehen. Die Entwicklung leistungsfähiger Verfolgungsalgorithmen ist für viele Anwendungen von entscheidender Bedeutung, z. B. in der Robotik, bei selbstfahrenden Fahrzeugen, in der virtuellen und erweiterten Realität, bei der Szenenanalyse für Sport-, Einzelhandels- und Bauszenarien sowie bei der Erstellung und Bearbeitung von Inhalten. Während andere Bereiche der Computer Vision, wie z.B. die Erkennung und Detektion, in letzter Zeit dank Deep Learning und extrem großen Trainingsdatensätzen herausragende Leistungen erreicht haben, ist das Tracking eine unglaublich schwierige Aufgabe geblieben, bei der solche Ansätze nicht in der Lage waren, ähnliche Erfolge zu erzielen. Wir argumentieren, dass sich die Verfolgung von Natur aus von diesen Aufgaben unterscheidet und dass eine einfache Skalierung von Rechenleistung und Daten nicht ausreicht. In dieser Arbeit entwickeln wir, was unserer Meinung nach das fehlende Element ist, das dem Tracking einen ähnlichen Erfolg verwehrt: die Verwendung von dynamischen 3D-Darstellungen, die zur Modellierung der zugrunde liegenden Szene verwendet werden können. Darüber hinaus stellen wir fest, dass das zweite Hindernis im Bereich des visuellen Trackings das Fehlen geeigneter Evaluierungsmetriken und Benchmarking-Einstellungen ist. Wir setzen uns mit diesen Einschränkungen auseinander, indem wir neuartige Metriken und Benchmarks einführen, die für die Messung der Leistung von Algorithmen entscheidend sind und das Feld zu sinnvollen Fortschritten führen. Die erste Hälfte dieser Arbeit befasst sich mit Ansätzen zur Übertragung von Darstellungen für die Verfolgung auf 3D, sowohl auf der Ebene ganzer Objekte (MOTSFusion) als auch auf der Ebene infinitesimaler 3D-Szenenelemente (Dynamic 3D Gaussians). Traditionell werden beim Tracking in jedem Zeitschritt Korrespondenzen zwischen statischen 2D-Darstellungen wie Pixeln oder Bounding-Boxen gefunden. Stattdessen stellen wir die Welt als eine Menge dynamischer 3D-Darstellungen dar, die sich im Laufe der Zeit bewegen, um konsistent denselben physischen Ort im Raum zu repräsentieren, während er sich bewegt. Wir formulieren das Tracking von einem Korrespondenzschätzungsproblem zu einem Analyse-durch-Synthese-Problem um, bei dem es um die Anpassung eines zugrunde liegenden dynamischen 3D-Modells geht, dessen Bewegung Änderungen des Bildinhalts über Zeitschritte hinweg erklärt. Durch die Verwendung von 3D-Darstellungen können wir Erscheinungsänderungen aufgrund der 3D-Bewegung der Szene und der Bewegung der Kamera durch die Welt besser modellieren und gleichzeitig intuitives physikalisches Wissen darüber nutzen, wie sich Objekte durch die 3D-Welt bewegen. Auf diese Weise können wir sowohl bessere Verfolgungsergebnisse erzielen als auch konsistente dynamische 3D-Darstellungen, die für viele nachgelagerte Aufgaben direkt nützlich sind. Die zweite Hälfte dieser Arbeit befasst sich mit der Entwicklung robuster Metriken und Benchmarks zur Bewertung der Leistung visueller Tracking-Algorithmen. Für die Aufgabe des Multi-Objekt-Trackings (MOT) fehlten bisher Evaluierungsmetriken, die sich nur auf bestimmte Aspekte der Tracking-Leistung (z.B. Erkennung oder Assoziation) konzentrieren, aber nicht in der Lage sind, Verbesserungen der Tracking-Leistung ganzheitlich zu messen. Darüber hinaus war die Bewertung der Verfolgungsleistung auf Situationen beschränkt, in denen nur eine kleine Anzahl von festen Objektklassen bewertet wurde. Die HOTA-Metriken ermöglichen eine faire und ganzheitliche Bewertung der Tracking-Leistung, und die Open-World-Tracking-Aufgabe erweitert die Tracking-Evaluierung auf eine offene Welt, in der eine potenziell unbegrenzte Anzahl von Objektklassen verfolgt werden muss, selbst wenn diese zuvor beim Training nicht gesehen wurden. Zusammen markieren diese Maßnahmen eine Veränderung in der Art und Weise, wie Tracking-Methoden bewertet und verglichen werden, und ermöglichen es der Tracking-Gemeinschaft, sinnvolle Fortschritte auf dem Weg zu leistungsfähigeren und nützlicheren Tracking-Algorithmen zu machen. Insgesamt liefert diese Arbeit durch die Entwicklung von dynamischen 3D Darstellungen für das Tracking und einer neuartigen Reihe von Evaluierungsmetriken und Benchmarks eine Reihe von entscheidenden fehlenden Teilen, die benötigt werden, um wirklich nützliche und leistungsfähige Tracking-Algorithmen zu entwickeln und damit den Erfolg der Vielzahl von Anwendungen, für die das Tracking eine Kernkomponente ist, zu gewährleisten.

Visual tracking is a core task within computer vision, one that involves understanding the motion and persistence of the dynamic world when observed in video. Building performant tracking algorithms is critical for many applications such as robotics; self-driving vehicles; virtual and augmented reality; scene-analysis for sporting, retail and construction scenarios; and content creation and editing. While other areas of computer vision such as recognition and detection have recently reached outstanding performance due to deep learning and extremely large training datasets, tracking has remained an incredibly difficult task where such approaches have not been able to achieve similar success. We argue that tracking is inherently different from these tasks and that simply scaling up compute and data is not going to be enough. In this thesis we develop what we believe to be the missing piece holding tracking back from similar success: the use of dynamic 3D representations that can be used to model the underlying scene. Furthermore, we find that the second critical thing to address in the field of visual tracking is the lack of adequate evaluation metrics and benchmark settings. We address these limitations by introducing novel metrics and benchmarks, which are crucial for measuring the performance of algorithms and guiding the field toward making meaningful progress. The first half of this thesis deals with approaches to lift representations for tracking to 3D, both at the level of whole objects (MOTSFusion) and at the level of infinitesimal 3D scene elements (Dynamic 3D Gaussians). Traditionally, tracking involves finding correspondences between static 2D representations in each timestep, such as pixels or bounding-boxes. Instead, we represent the world as a set of dynamic 3D representations, that move around over time in order to consistently represent the same physical location in space as it moves. We reformulate tracking from a correspondence estimation problem, to an analysis-by-synthesis problem of fitting an underlying dynamic 3D model, whose motion explains changes in image content across timesteps. By using 3D representations we can better model appearance changes due to the 3D motion of the scene and the motion of the camera through the world, while also making use of intuitive physics knowledge about how objects move through the 3D world. This enables us to both obtain better tracking results, while also resulting in consistent dynamic 3D representations that are directly useful for many downstream tasks. The second half of this thesis deals with building robust metrics and benchmarks for evaluating the performance of visual tracking algorithms. For the task of Multi-Object Tracking (MOT), previous evaluation metrics have been sorely lacking, focusing only on particular aspects of tracking performance (e.g. detection or association), but not being able holistically measure improvements in tracking performance. Furthermore, tracking evaluation has been limited to setting where only a small number of fixed object classes were evaluated. We address both of these evaluation limitations by proposing the HOTA Metrics for evaluating tracking performance in a fair and holistic way, and introducing the task of Open-World Tracking for extending tracking evaluation to an open-world setting where a potentially unlimited set of object classes need to be tracked, even if they were not previously seen during training. Together, these mark a step-change in how tracking methods are evaluated and benchmarked, and allow the tracking community to make meaningful progress towards more performant and useful tracking algorithms. Overall, by developing both dynamic 3D representations for tracking and a novel set of evaluation metrics and benchmarks, this thesis provides a number of crucial missing pieces that are needed to move towards truly useful and performant tracking algorithms, and thus toward the success of the multitude of applications for which tracking is a core component.

OpenAccess:
PDF
(additional files)