h1

000660992 001__ 660992
000660992 005__ 20250613101611.0
000660992 020__ $$a978-3-95806-152-1
000660992 0247_ $$2URN$$aurn:nbn:de:hbz:82-rwth-2016-057044
000660992 0247_ $$2HBZ$$aHT019045735
000660992 0247_ $$2ISSN$$a1868-8489
000660992 0247_ $$2Laufende Nummer$$a35410
000660992 037__ $$aRWTH-2016-05704
000660992 041__ $$aEnglish
000660992 082__ $$a004
000660992 1001_ $$0P:(DE-82)008946$$aFrings, Wolfgang$$b0
000660992 245__ $$aEfficient task-local I/O operations of massively parallel applications$$cWolfgang Frings$$honline, print
000660992 246_3 $$aEffiziente tasklokale I/O-Operationen in massiv-parallelen Anwendungen$$yGerman
000660992 260__ $$aJülich$$bForschungszentrum Jülich GmbH, Zentralbibliothek, Verlag$$c2016
000660992 300__ $$a1 Online-Ressource (xiv, 140 Seiten) : Diagramme
000660992 3367_ $$2DataCite$$aOutput Types/Dissertation
000660992 3367_ $$2ORCID$$aDISSERTATION
000660992 3367_ $$2BibTeX$$aPHDTHESIS
000660992 3367_ $$02$$2EndNote$$aThesis
000660992 3367_ $$0PUB:(DE-HGF)11$$2PUB:(DE-HGF)$$aDissertation / PhD Thesis$$bphd$$mphd
000660992 3367_ $$2DRIVER$$adoctoralThesis
000660992 3367_ $$0PUB:(DE-HGF)3$$2PUB:(DE-HGF)$$aBook$$mbook
000660992 4900_ $$aSchriften des Forschungszentrums Jülich. IAS Series$$v30
000660992 500__ $$aDruckausgabe: 2016. - Onlineausgabe: 2016. - Auch veröffentlicht auf dem Publikationsserver der RWTH Aachen University
000660992 502__ $$aDissertation, RWTH Aachen University, 2016$$bDissertation$$cRWTH Aachen University$$d2016$$gFak01$$o2016-04-26
000660992 5203_ $$aAuf heutigen Supercomputer-Systemen belasten parallele Anwendungen, welche regelmäßig Checkpoints der im Hauptspeicher befindlichen Simulationsdaten erstellen, das Dateisystem enorm. Zum Beispiel werden auf Supercomputern mit einem verteilten Hauptspeicher die Checkpoints oft individuell von jedem Ausführungsprozess erzeugt, wodurch eine große Anzahlvon Dateien entsteht. Neben der aufwendigen Handhabung der Dateien bewirkt dieses als tasklokaler I/O bezeichnete Zugriffsmuster zudem eine hohe Belastung der Dateisystem-Komponenten, die für die Verwaltung der Metadaten zuständig sind, was zu Verzögerungen im Programmablauf oder sogar zu dessen Abbruch führen kann. Ähnliche Auswirkungen durch die hohe Belastung des Metadatenmanagements findet man auch bei parallelen dynamisch gelinkten Programmen, die beim Start nach den benötigten Bibliotheken auf dem Dateisystem suchen und diese von dort laden. Hauptursache der oben beschriebenen Verzögerungen ist, dass die für den I/O zuständigenseriellen Komponenten des Betriebssystems keine Vorteile aus der Parallelität der Anwendungenziehen können. In dieser Arbeit werden zwei neuartige Lösungen vorgestellt, welche Charakteristika der I/O-Operationen von parallelen Programmen ausnutzen und mit geeigneten Mechanismen wie z.B. Aggregation oder Zwischenspeicherung die oben beschriebenen Engpässe vermeiden. Die zugrundeliegenden Methoden wurden in den beiden Werkzeugen SIONlib zur effizienten Speicherung von tasklokalen Daten und Spindle für das Laden von dynamisch gelinkten Programmen implementiert. Beide Tools nutzen verfügbare Informationen über die Parallelität der Anwendung, die Struktur der I/O-Komponenten und des Verbindungsnetzwerks des Supercomputers sowie die Konfiguration des parallelen Dateisystems zur Koordinierung und Optimierung der I/O-Operationen aus. Als eine Zwischenschicht zwischen der parallelen Anwendung und den vorhandenen POSIX-Schnittstellen können sie ohne Modifikation des Betriebssystems und mit minimaler bzw. ohne Änderung der Anwendungeingesetzt werden. SIONlib wird bereits in Anwendungen für die effiziente Erstellung von Checkpoints eingesetzt und ist in die parallele Performance-Analysewerkzeuge Scalasca und Score-P für die Speicherung von Ereignisspuren integriert. Messungen auf dem Blue Gene/Q System in Jülich zeigen, dass SIONlib auch bei 1,8 Millionen Prozessen eine effiziente Ein-/Ausgabe von Daten mitbis zu 60-80% der nominellen Bandbreite des Dateisystems unterstützt, ohne Probleme beim Metadatenmanagement zu verursachen. Auch die Leistungsfähigkeit von Spindle konnte mit Hilfe von Benchmarks nachgewiesen werden. Zum Beispiel ermöglichte Spindle auf einem Supercomputer des Lawrence Livermore National Laboratory das gemeinsame dynamische Laden mit nahezu konstantem Zeitaufwand auf einer ohne Spindle erst gar nicht erreichbaren Größenordnung von über 15.000 Prozessoren. Mit Hilfe von SIONlib und Spindle konnte in dieser Arbeit die Leistungsfähigkeit von Komponenten des Betriebssystems gesteigert werden, ohne diese oder die I/O-Muster der Anwendungen zu verändern. Damit stellen beide Werkzeuge Prototypen für die Implementierung von Funktionalitäten dar, die von Betriebssystemen der nächsten Generation bereitgestellt werden sollten.$$lger
000660992 520__ $$aApplications on current large-scale HPC systems use enormous numbers of processing elements for their computation and have access to large amounts of main memory for their data. Nevertheless, they still need file-system access to maintain program and application data persistently. Characteristic I/O patterns that produce a high load on the file system often occur during access to checkpoint and restart files, which have to be frequently stored to allow the application to be restarted after program termination or system failure. On large-scale HPC systems with distributed memory, each application task will often perform such I/O individually by creating task-local file objects on the file system. At large scale, these I/O pattern simpose substantial stress on the metadata management components of the I/O subsystem. For example, the simultaneous creation of thousands of task-local files in the same directory can cause delays of several minutes. Also at the startup of dynamically linked applications, such metadata contention occurs while searching for library files and induces a comparably high metadata load on the file system. Even mid-scale applications cause in such load scenarios startup delays of ten minutes or more. Therefore, dynamic linking and loading is nowadays not applied on large HPC systems, although dynamic linking has many advantages for managing large code bases. The reason for these limitations is that POSIX I/O and the dynamic loader are implemented as serial components of the operating system and do not take advantage of the parallel nature of the I/O operations. To avoid the above bottlenecks, this work describes two novel approaches for the integration of locality awareness (e.g., through aggregation or caching) into the serial I/O operations of parallel applications. The underlying methods are implemented in two tools, SIONlib and Spindle, which exploit the knowledge of application parallelism to coordinate access to file-system objects. In addition, the applied methods also use knowledge of the underlying I/O subsystem structure, the parallel file system configuration, and the network between HPC-system and I/O system to optimize application I/O. Both tools add layers between the parallel application and the POSIX-based standard interfaces of the operating system forI/O and dynamic loading, eliminating the need for modifying the underlying system software. SIONlib is already applied in several applications, including PEPC, muphi, and MP2C, to implement efficient checkpointing. In addition, SIONlib is integrated in the performance-analysis tools Scalasca and Score-P to efficiently store and read trace data. Latest benchmarks on the Blue Gene/Q in Jülich demonstrate that SIONlib solves the metadata problem at large scale by running efficiently up to 1.8 million tasks while maintaining high I/O band widths of 60-80%of file-system peak with a negligible file-creation time. The scalability of Spindle could be demonstrated by running the Pynamic benchmark, a proxy benchmark for a real application, ona cluster of Lawrence Livermore National Laboratory at large scale. The results show that the startup of dynamically linked applications is now feasible on more than 15000 tasks, whereas the overhead of Spindle is nearly constantly low. With SIONlib and Spindle, this work demonstrates how scalability of operating system components can be improved without modifying them and without changing the I/O patterns of applications. In this way, SIONlib and Spindle represent prototype implementations of functionality needed by next-generation runtime systems.$$leng
000660992 591__ $$aGermany
000660992 653_7 $$aParallel I/O
000660992 653_7 $$adynamic loading
000660992 653_7 $$aTask-local I/O
000660992 653_7 $$aSIONlib
000660992 653_7 $$aSpindle
000660992 7001_ $$0P:(DE-82)IDM00960$$aNaumann, Uwe$$b1$$eThesis advisor
000660992 7001_ $$0P:(DE-82)008951$$aWolf, Felix Gerd Eugen$$b2$$eThesis advisor
000660992 8564_ $$uhttps://publications.rwth-aachen.de/record/660992/files/660992.pdf$$yOpenAccess
000660992 8564_ $$uhttps://publications.rwth-aachen.de/record/660992/files/660992_source.zip$$yRestricted
000660992 8564_ $$uhttps://publications.rwth-aachen.de/record/660992/files/660992.gif?subformat=icon$$xicon$$yOpenAccess
000660992 8564_ $$uhttps://publications.rwth-aachen.de/record/660992/files/660992.jpg?subformat=icon-1440$$xicon-1440$$yOpenAccess
000660992 8564_ $$uhttps://publications.rwth-aachen.de/record/660992/files/660992.jpg?subformat=icon-180$$xicon-180$$yOpenAccess
000660992 8564_ $$uhttps://publications.rwth-aachen.de/record/660992/files/660992.jpg?subformat=icon-640$$xicon-640$$yOpenAccess
000660992 8564_ $$uhttps://publications.rwth-aachen.de/record/660992/files/660992.pdf?subformat=pdfa$$xpdfa$$yOpenAccess
000660992 909CO $$ooai:publications.rwth-aachen.de:660992$$popenaire$$popen_access$$purn$$pdriver$$pVDB$$pdnbdelivery
000660992 9141_ $$y2016
000660992 915__ $$0StatID:(DE-HGF)0510$$2StatID$$aOpenAccess
000660992 915__ $$0LIC:(DE-HGF)CCBY4$$2HGFVOC$$aCreative Commons Attribution CC BY 4.0
000660992 9201_ $$0I:(DE-82)124010_20140620$$k124010$$lLehrstuhl für Parallele Programmierung$$x0
000660992 9201_ $$0I:(DE-82)123120_20140620$$k123120$$lLehr- und Forschungsgebiet Informatik 12 (Software und Werkzeuge für Computational Engineering)$$x1
000660992 9201_ $$0I:(DE-82)120000_20140620$$k120000$$lFachgruppe Informatik$$x2
000660992 961__ $$c2016-09-28T16:57:46.339515$$x2016-07-26T12:28:01.589410$$z2016-09-28T16:57:46.339515
000660992 9801_ $$aFullTexts
000660992 980__ $$aphd
000660992 980__ $$aVDB
000660992 980__ $$aI:(DE-82)124010_20140620
000660992 980__ $$aI:(DE-82)123120_20140620
000660992 980__ $$aI:(DE-82)120000_20140620
000660992 980__ $$aUNRESTRICTED
000660992 980__ $$abook