HPC file system parameter evaluation

Simons, Ruben; Kunkel, Julian; Martin, Philipp; Müller, Matthias S.

doi:10.18154/RWTH-2022-09869

HPC file system parameter evaluation = Parameterevaluation von Dateisystemen in Hochleistungsrechnen

Simons, Ruben^RWTH*

2022

VerantwortlichkeitsangabeRuben Simons

ImpressumAachen : RWTH Aachen University 2022

Umfang1 Online-Ressource : Diagramme

Masterarbeit, RWTH Aachen University, 2022

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Müller, Matthias S. (Thesis advisor)^RWTH* ; Kunkel, Julian (Thesis advisor) ; Martin, Philipp (Consultant)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2022-10-25

Online
DOI: 10.18154/RWTH-2022-09869
URL: https://publications.rwth-aachen.de/record/854928/files/854928.pdf

Einrichtungen

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Um optimale Performance für Anwendungen im Bereich High Performance Computing sicherzustellen, ist ein schnelles, paralleles Dateisystem von Bedeutung. Deshalbwurden im Rahmen dieser Arbeit die Auswirkungen von Dateisystemparametern auf die Performance von Anwendungen untersucht. Hauptsächlich wurden dabei die Parameter des BeeGFS Dateisystems, welches jeweils für die Dauer der Ausführung einer Anwendung erstellt wurde, variiert. Ebenfalls wurden Tests auf einem zentralen LUSTRE Dateisystem durchgeführt. Anhand von fünf Benchmarks wurden Tests mit bestimmten Parameterkombinationen durchgeführt, um die Performance des Dateisystems für unterschiedliche Anwendungsfälle zu testen. Betrachtet wurden hierbei für BeeGFS Clientparameter, Chunkgrößenparameter sowie Remote Direct Memory Access (RDMA) Parameter, während bei LUSTRE Parameter für das Striping variiert wurden. Bei der Betrachtung der Ergebnisse zeigten sich kein Effekt durch die Variation der Clientparameter. Allerdings sind durch Variation der Chunkgröße sowie der RDMA Parameter Unterschiede aufgefallen. Während bei der Chunkgröße je nach Anwendung unterschiedliche Größen die beste Performance zeigen, konnte bei der Variation der RDMA Parameter kein Performancegewinn gegenüber der Standardeinstellung festgestellt werden. Für LUSTRE zeigen kleine Blockgrößen beim Striping sowie eine größere Anzahl an Striping Targets die beste Performance in den eingesetzten Tests.

To ensure optimal performance for applications in the field of high-performance computing, a fast, parallel file system is important. Therefore, the effects of file system parameters on the performance of applications were examined in the context of this work. Mainly the parameters of the BeeGFS file system, which was created for the duration of an application execution, were varied. Tests were also performed on a central LUSTRE file system. Five benchmarks were used to run tests with different parameter combination in order to test the performance of the file system for different use cases. Client parameters, chunk size parameters as well as Remote Direct Memory Access(RDMA) parameters were considered for BeeGFS, while striping parameters were varied for LUSTRE. When looking at the results, no effects could be observed by varying the client parameters. However, differences were noticed by varying the chunk size as well as the RDMA parameters. While the best chunk size setting for the application performance varies per application, no performance gain could be observed when varying the RDMA parameters compared to the default setting. For LUSTRE, small block sizes for striping and a larger number of striping targets show the best performance in the tests used.

OpenAccess:
PDF
(additional files)