Semantics driven adjoints of the message passing interface

Schanen, Michel; Naumann, Uwe; Bücker, Martin

doi:urn:nbn:de:hbz:82-rwth-2015-038935

Semantics driven adjoints of the message passing interface = Semantische Herleitung der adjungierten Kommunikation des Message Passing Interfaces

Schanen, Michel

2016

Verantwortlichkeitsangabevorgelegt von Michel Schanen

ImpressumAachen : Publikationsserver der RWTH Aachen University 2016

Umfang165 S. : graph. Darst.

Aachen, Techn. Hochsch., Diss., 2014

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University 2016

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Naumann, Uwe (Thesis advisor) ; Bücker, Martin (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2014-10-24

Online
URN: urn:nbn:de:hbz:82-rwth-2015-038935
URL: https://publications.rwth-aachen.de/record/480835/files/480835.pdf
URL: https://publications.rwth-aachen.de/record/480835/files/480835.pdf?subformat=pdfa

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
Informatik (frei) ; algorithmic differentiation (frei) ; automatic differentiation (frei) ; MPI (frei) ; Message Passing Interface (frei) ; adjoints (frei) ; optimization (frei) ; differentiation (frei) ; steepest descent (frei) ; gradient descent (frei) ; gradient (frei)

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
In numerischen Simulationen sind möglichst genaue Ableitung unabdingbar für eine gradientengestützte Optimierung. Finite Differenzen sind eine nutzerfreundliche Lösung, stellen jedoch nur eine Approximierung der Ableitungen durch die Störung der Eingaben dar. Das adjungierte Modell erlaubt es den Gradienten einer skalaren Funktion sowohl in Maschinengenauigkeit als auch in der Komplixitätsklasse der primalen Funktion zu berechnen. Jedoch impliziert das adjungierte Modell eine Datenflussumkehr des Programms, der sich auch in der Message Passing Interface (MPI) Kommunikation widerspiegeln muss. Diese Arbeit erstellt eine Abstraktion der MPI Aufrufe die es erlaubt die adjungierte Kommunikation eines Programms herzuleiten. Es wird ein semantischer Formalismus aufgestellt der die Generierung der adjungierten Kommunikation erleichtert und, sofern möglich, die Verifizierung der Korrektheit erlaubt. Basierend auf diesen semantischen Beschreibungen der adjungierten Kommunikation wird eine adjungierte MPI (AMPI) Bibliothek implementiert, die gekoppelt mit einer algorithmischen Ableitungssoftware, die Generierung der adjungierten Kommunikation in Programmen erlaubt. Diese Implementierung wurde auf das Portable Extensible Toolkit for Scientific computation (PETSc) und auf den Sedimenttransportlöser Sisyphe in Kombination mit dem Strömungslöser OpenTELEMAC angewendet.

Access to correct derivative information is crucial in numerical simulations andoptimization. While finite differences easily provide derivative approximationsthrough perturbing a function's inputs, the adjoint derivative model is the onlyway of acquiring a function's gradient both at machine precision and at the sametime complexity as the initial function evaluation. However, the adjoint model implies acomplete data flow reversal of an executed program. The same implication holds for the Message Passing Interface (MPI) of a parallel implementation. Everycommunication pattern has to be reversed when the adjoint model is applied. This work establishes a framework forthe semantic analysis of MPI communication patterns. It formulates a semanticdriven generation of adjoint patterns of the corresponding original patterns. The MPI standarddefines the semantics of every MPI communication in English language. A moreabstract representation of the MPI semantics is extracted and used in order toapply the logic of Algorithmic Differentiation (AD). Based on these adjointpattern representations a generic adjoint MPI library is implemented that may be usedsemi-automatically with any AD tool. Moreover, theruntime expectation of such an implementation on current cluster systems isanalyzed. The outcome is tested with two software packages used in numericalscience. One is the Portable Extensible Toolkit for Scientific computation(PETSc). It is currently one of the most robust frameworks for parallel linearand nonlinear solvers that exist. The other one is Sisyphe, a sedimenttransport simulation software used in the context of the fluid solver OpenTELEMAC.

OpenAccess:
PDF PDF (PDFA)
(additional files)