guest ::
Virtualization as an enabler for dynamic resource allocation in HPC
2019
Dissertation, RWTH Aachen University, 2018
Auch veröffentlicht auf dem Publikationsserver der RWTH Aachen University
Genehmigende Fakultät
Fak06
Hauptberichter/Gutachter
;
Tag der mündlichen Prüfung/Habilitation
2018-12-07
Online
DOI: 10.18154/RWTH-2019-02208
URL: http://publications.rwth-aachen.de/record/756085/files/756085.pdf
Einrichtungen
Inhaltliche Beschreibung (Schlagwörter)
HPC (frei) ; co-scheduling (frei) ; fault-tolerance (frei) ; locality-awareness (frei) ; virtualization (frei)
Thematische Einordnung (Klassifikation)
DDC: 621.3
Kurzfassung
Diese Dissertation untersucht wie Virtualisierungstechniken zu Lösungen neuer Herausforderungen im Bereich des Hochleistungsrechnens beitragen können. Es wird ein Ansatz auf der Systemebene verfolgt, der eine flexiblere Nutzung der in Rechnerverbundsystemen zur Verfügung stehenden Betriebsmittel ermöglicht. Entsprechend dem Stand der Technik präsentiert diese Dissertation eine Analyse unterschiedlicher Virtualisierungstechniken hinsichtlich ihres Einsatzes im Hochleistungsrechnen. Hieraus werden Anforderung an Hochleistungsrechner abgeleitet, die zur effizienten Nutzung von Virtualisierungstechniken in diesem Umfeld erfüllt sein müssen. Diese liefen die Grundlage für eine Kommunikationsschicht, welche als Teil dieser Dissertation speziell für den Einsatz in Virtualisierungsumgebungen insbesondere im Hochleistungsrechnen entwickelt wurde. Sie ermöglicht die transparente Migration von Prozessen einer Message-Passing Interface (MPI) Anwendung unter Einhaltung strengster Leistungsanforderungen. Zudem berücksichtigt sie Lokalitäts- sowie Topologiebeziehungen in virtuellen Rechnerverbundsystemen. Der Einsatz der Kommunikationsschicht wird am Beispiel des Co-Schedulings demonstriert. Hierzu wird eine Erweiterung des Prototyp-Co-Schedulers ``Poor Man's Co-Scheduler'' (poncos) vorgestellt. Diese Erweiterung wurde entwickelt, um die Realisierbarkeit von dynamischem Co-Scheduling auf Basis des Speicherbandbreitenverbrauchs von Anwendungen im Hochleistungsrechnen zu untersuchen. Die in dieser Dissertation vorgestellten Konzepte ermöglichen eine flexiblere Zuweisung von Betriebsmitteln im Hochleistungsrechnen. So kann die Gesamtauslastung der Systeme in Rechenzentren gesteigert werden.This dissertation explores the viability of virtualization techniques to address the challenges that arise from current developments in High Performance Computing (HPC). In doing so, it follows a system-level approach enabling a more flexible utilization of the resources in supercomputers. It presents a state-of-the-art analysis of virtualization in HPC and derives a set of requirements for its efficient support in this domain. These requirements build the foundation for the virtualization-aware communication stack that has been developed as part of this work. Firstly, the communication stack enables the seamless migration of Message-Passing Interface (MPI) processes in HPC clusters while meeting the performance demands of the HPC domain. And secondly, it supports locality-awareness and topology-awareness in virtual clusters. Its viability is demonstrated by taking the example of co-scheduling. In doing so, this dissertation presents an extension to the prototype co-scheduler ``Poor Man's Co-Scheduler'' (poncos). This extension has been developed to investigate the feasibility of dynamic co-scheduling based on the applications' main memory bandwidth consumption. The concepts proposed by this dissertation support a more flexible assignment of the resources. This allows cluster maintainers to improve the overall system utilization.
OpenAccess: 
PDF
(additional files)
Dokumenttyp
Dissertation / PhD Thesis/Book
Format
online, print
Sprache
English
Externe Identnummern
HBZ: HT019997443
Interne Identnummern
RWTH-2019-02208
Datensatz-ID: 756085
Beteiligte Länder
Germany
