000855014 001__ 855014 000855014 005__ 20230328171930.0 000855014 0247_ $$2HBZ$$aHT021583164 000855014 0247_ $$2Laufende Nummer$$a41766 000855014 0247_ $$2datacite_doi$$a10.18154/RWTH-2022-09930 000855014 037__ $$aRWTH-2022-09930 000855014 041__ $$aEnglish 000855014 082__ $$a670 000855014 1001_ $$0P:(DE-82)IDM02409$$aLin, Jiaying$$b0$$urwth 000855014 245__ $$aPerception and observation with networked multi-agent systems for automated shipping and harbor applications$$cvorgelegt von Jiaying Lin$$honline 000855014 246_3 $$aUmgebungswahrnehmung und -beobachtung mittels vernetzter Multi-Agent-Systeme für automatisierte Schifffahrts- und Hafenanwendungen$$yGerman 000855014 260__ $$aAachen$$bRWTH Aachen University$$c2022 000855014 300__ $$a1 Online-Ressource : Illustrationen, Diagramme 000855014 3367_ $$02$$2EndNote$$aThesis 000855014 3367_ $$0PUB:(DE-HGF)11$$2PUB:(DE-HGF)$$aDissertation / PhD Thesis$$bphd$$mphd 000855014 3367_ $$2BibTeX$$aPHDTHESIS 000855014 3367_ $$2DRIVER$$adoctoralThesis 000855014 3367_ $$2DataCite$$aOutput Types/Dissertation 000855014 3367_ $$2ORCID$$aDISSERTATION 000855014 500__ $$aVeröffentlicht auf dem Publikationsserver der RWTH Aachen University 000855014 502__ $$aDissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2022$$bDissertation$$cRheinisch-Westfälische Technische Hochschule Aachen$$d2022$$gFak04$$o2022-08-30 000855014 5203_ $$aDie Umgebungswahrnehmung ist ein grundlegendes Element automatisierter Schiffe, vor allem in oft überfüllten Bereichen wie Häfen. Die intelligenten Schiffe sollten die aktuelle Situation erkennen, das heißt, die Objekte in der Umgebung wahrnehmen und beobachten, um bei den hochautomatisierten Aufgaben wie autonomes Anlegen und kooperatives Manövrieren, mögliche Kollisionen zu vermeiden. In einem intelligenten Hafen für die zukünftige automatisierte Schifffahrt müssen die Schiffe echtzeitfähig miteinander kommunizieren um dadurch eine robuste Lokalisierung und Wahrnehmung zu erreichen. Mittlerweile haben Sensorfusion-basierte Umgebungswahrnehmung und -beobachtung viel Aufmerksamkeit für die maritime Anwendungen auf sich gezogen. Dennoch gibt es nur begrenzte Forschungen, die die Wahrnehmungssensoren intelligent integrieren. Für die Wahrnehmung und Lokalisierung vernetzter Systeme gibt es nur wenige Ansätze, die maritime Szenarien in der realen Welt betrachtet haben. In dieser Arbeit wird ein neuartiges Konzept der Umgebungswahrnehmung von Multi- Agenten-Systemen für die automatisierte maritime Anwendungen untersucht. Dieser Ansatz verwendet LiDAR als primären Sensor und AIS und Radar als unterstützende Informationsquellen und besteht aus vier Funktionsmodulen: Objekterkennung, Objektverfolgung, Kartierung der statischen Umgebung und vernetzte Lokalisierung. Zur Objekterkennung in der Umgebung sollen die LiDAR-Punktwolken so verarbeitet werden, dass die Punkte, die ein Objekt darstellen, extrahiert werden. In dieser Arbeit wird ein Convolutional Neural Network (CNN) eingesetzt, um verschiedene Punktwolkenmuster zu erkennen, Objekte aus diesen zu extrahieren und Bounding Boxes für die erkannten Objekte zu erzeugen. Anschließend werden die Objekte mit Hilfe einer Reihe von Kalman Filterbänken verfolgt, um dabei mögliche fehlerhafte Messungen und unterschiedliche Abtastraten zu kompensieren. Beim Kartieren der statischen Umgebung werden mehrere Polygone zur Darstellung der Objekte verwendet. Bei der vernetzten Lokalisierung werden die Beobachtungen mehrerer Schiffe in einen zentralen Server integriert, sodass die vernetzten Schiffe ihre Beobachtungen teilen und kooperativ optimieren können. Die Algorithmen wurden mit Testfahrten im Rostocker Hafen evaluiert, wobei die mit Navigations- und Wahrnehmungssensoren ausgestatteten Forschungsschiffe unterschiedliche Fahrszenarien, wie Anlegen und Manövrieren durchführten, und die vielversprechende Leistung der Algorithmen nachgewiesen wurde. Die in dieser Arbeit erläuterten Systeme und Verfahren ermöglichen eine robuste und präzise Lokalisierung von Schiffen und Hindernissen in maritimen Umgebungen, selbst bei hoher Verkehrsdichte.$$lger 000855014 520__ $$aEnvironment perception is a fundamental element of automated vessels, especially in hightraffic areas such as harbors. The intelligent vessels should be aware of the situation, i.e., perceive and observe the objects in the environment, to avoid collisions while conducting highly automated tasks, such as autonomous docking and cooperative maneuvering. In the context of an intelligent harbor for future automated shipping, the vessels must be wirelessly connected for real-time information exchange and thus a robust cooperative localization and perception. Meanwhile, environment perception and observation based on sensor fusion have drawn much attention for maritime applications. However, few studies intelligently integrate various perception sensors, considering their characteristics. As for the perception and localization of networked multi-agent systems, few approaches exist to tackle the real world’s maritime scenarios. This thesis proposes a novel concept of environment perception and observation of multiagent systems for automated maritime applications. This approach uses Light Detection and Ranging (LiDAR) as a primary sensor, Automatic Identification Systems (AIS), and Radio Detection and Ranging System (radar) as assisting information sources. It consists of four functional modules: object detection, Multi-Object Tracking (MOT), static environment mapping, and networked localization. For detecting objects in the surroundings, a Convolutional Neural Network (CNN) is applied to recognize different patterns in LiDAR point clouds, extract objects from them, and generate bounding boxes for the detected objects. The detected objects are tracked by estimating their motion profile for possible collision avoidance in the MOT module, which integrates the detections from different perception sensor measurements. As for static mapping, several polygons are used to represent the static environment. In networked localization, the perception from a single vessel is integrated into a central server, such that more networked vessels can share and optimize their perception estimation. The proposed algorithms were evaluated with test drives conducted in Rostock harbor, Germany. The research vessels equipped with navigation and perception sensors carried out different driving scenarios, such as docking and maneuvering, in which promising performance of the algorithms was demonstrated. The proposed perception and observation of networked multi-agent systems present a possibility of highly accurate and robust surveillance in a connected, intelligent harbor.$$leng 000855014 588__ $$aDataset connected to DataCite 000855014 591__ $$aGermany 000855014 653_7 $$aAutomatic Identification Systems (AIS) 000855014 653_7 $$aConvolutional Neural Network (CNN) 000855014 653_7 $$aKalman Filterbank 000855014 653_7 $$aLiDAR 000855014 653_7 $$aLight Detection and Ranging (LiDAR) 000855014 653_7 $$aMulti-Object Tracking (MOT) 000855014 7001_ $$0P:(DE-82)IDM03056$$aAbel, Dirk$$b1$$eThesis advisor$$urwth 000855014 7001_ $$aSchön, Steffen$$b2$$eThesis advisor 000855014 8564_ $$uhttps://publications.rwth-aachen.de/record/855014/files/855014.pdf$$yOpenAccess 000855014 8564_ $$uhttps://publications.rwth-aachen.de/record/855014/files/855014_AV.pdf$$yRestricted 000855014 8564_ $$uhttps://publications.rwth-aachen.de/record/855014/files/855014_source.zip$$yRestricted 000855014 909CO $$ooai:publications.rwth-aachen.de:855014$$popenaire$$popen_access$$pVDB$$pdriver$$pdnbdelivery 000855014 9101_ $$0I:(DE-588b)36225-6$$6P:(DE-82)IDM02409$$aRWTH Aachen$$b0$$kRWTH 000855014 9101_ $$0I:(DE-588b)36225-6$$6P:(DE-82)IDM03056$$aRWTH Aachen$$b1$$kRWTH 000855014 9141_ $$y2022 000855014 915__ $$0StatID:(DE-HGF)0510$$2StatID$$aOpenAccess 000855014 9201_ $$0I:(DE-82)416610_20140620$$k416610$$lLehrstuhl und Institut für Regelungstechnik$$x0 000855014 961__ $$c2022-12-19T12:09:04.763369$$x2022-10-27T21:47:11.872215$$z2022-12-19T12:09:04.763369 000855014 9801_ $$aFullTexts 000855014 980__ $$aI:(DE-82)416610_20140620 000855014 980__ $$aUNRESTRICTED 000855014 980__ $$aVDB 000855014 980__ $$aphd