Efficient computation of derivatives for optimal experimental design

Rasch, Arno; Bischof, Christian

doi:urn:nbn:de:hbz:82-opus-21117

Efficient computation of derivatives for optimal experimental design = Effiziente Ableitungsberechnung für optimale Versuchsplanung

Rasch, Arno (Author)

2007

Verantwortlichkeitsangabevorgelegt von Arno Rasch

ImpressumAachen : Publikationsserver der RWTH Aachen University 2007

UmfangVI, 137 S. : graph. Darst.

Aachen, Techn. Hochsch., Diss., 2007

Zusammenfassung in dt. und engl. Sprache

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Bischof, Christian (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2007-11-23

Online
URN: urn:nbn:de:hbz:82-opus-21117
URL: https://publications.rwth-aachen.de/record/62561/files/Rasch_Arno.pdf

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
Automatische Differentiation (Genormte SW) ; Parallelverarbeitung (Genormte SW) ; Optimale Versuchsplanung (Genormte SW) ; OpenMP (Genormte SW) ; Optimierung (Genormte SW) ; Parameterschätzung (Genormte SW) ; Computersimulation (Genormte SW) ; Informatik (frei) ; Automatic Differentiation (frei) ; Parallel Computing (frei) ; Optimal Experimental Design (frei) ; OpenMP (frei) ; Optimization (frei) ; Parameter Identification (frei) ; Computer Simulation (frei)

Thematische Einordnung (Klassifikation)
DDC: 004
ccs: D.2.6 Prog * D.2.12 Int * I.6.4 Mode * I.6.7 Simu * G.1.6 Opti

Kurzfassung
Computersimulationen basierend auf mathematischen Modellen zur Beschreibung von physikalischen Phänomenen stellen in vielen natur- und ingenieurwissenschaftlichen Disziplinen ein unverzichtbares Hilfsmittel dar. Dabei ist es oftmals erforderlich, das verwendete Modell mit Hilfe von experimentell gewonnenen Messdaten zu kalibrieren, d.h. so einzustellen, dass die Modellvorhersage bestmöglich mit gegebenen Messdaten aus zuvor durchgeführten physikalischen Experimenten übereinstimmt. Bei der optimalen Versuchsplanung (optimal experimental design) wird versucht, diese Experimente so zu gestalten, dass der Informationsgewinn für die Kalibrierung des Modells maximiert wird. Dazu werden typischerweise mathematische Optimierungsverfahren eingesetzt, wobei zur Berechnung der Zielfunktion die Ableitung des zugrunde liegenden Modells benötigt wird. In dieser Arbeit wird gezeigt, wie man die Modellkalibrierung und optimale Versuchsplanung durch geeignete Software unterstützen kann. Da diese Prozesse oftmals selbst experimentellen Charakter haben, d.h. dass Simulationscode, Optimierungsverfahren undZielfunktion häufigen Änderungen unterliegen, wird mit EFCOSS eine neue Umgebung zur automatisierten Koppelung der verschiedenen Softwarekomponenten vorgestellt. Insbesondere können diese Komponenten unabhängig voneinander ausgetauscht werden, wodurch dem Benutzer das Experimentieren mit wechselnden Konfigurationen ermöglicht wird. Dabei wird der für die Optimierung benötigte Quellcode zur Berechnung der ersten und zweiten Ableitung des Computermodells mit Hilfe des automatischen Differenzierens generiert. Da der zusätzliche Rechenaufwand und Speicherbedarf für die Ableitungsberechnung im Vergleich zur Ausgangsfunktion je nach Problemstellung erheblich steigen kann, werden im zweiten Teil dieser Dissertation verschiedene Strategien zur Effizienzsteigerung, beispielsweise die automatische Parallelisierung der Ableitungsberechnung mittels OpenMP vorgestellt. Außerdem wird die Anwendung des automatischen Differenzierens auf Quellcode, der bereits mit OpenMP parallelisiert ist, sowie eine Kombination verschiedener Parallelisierungsstrategien untersucht. Bei der Berechnung von zweiten Ableitungen bietet die Ausnutzung der Dünnbesetztheitsstruktur der Hesse-Matrix weiteres Potential zur Effizienzsteigerung. Hierzu wird ein dynamischer Ansatz vorgestellt, welcher nur solche Matrixelemente berechnet, die nicht Null sind. Obwohl im Gegensatz zu früheren statischen Ansätzen keine Annahmen über das Dünnbesetztheitsmuster getroffen werden, ist der dynamische Ansatz diesen zum Teil deutlich überlegen. Das Ziel einer weiteren Strategie ist die Ausnutzung von Struktur im Quellcode zur Berechnung von partiell separablen Funktionen. Dabei wird die Technik der Schnittstellenkontraktion (interface contraction) auf zweite Ableitungen erweitert und schließlich gezeigt, dass durch die Kombination von interface contraction mit einer geeigneten Parallelisierung gegenüber sogenannten "Black-Box"-Ansätzen des automatischen Differenzierens gerade bei der häufig auftretenden Problemklasse der partiell separablen Funktionen ein dramatischer Effizienzgewinn möglich ist.

In many scientific disciplines, computer simulations based on mathematical models are an indispensable research tool for studying the phenomenological behavior of physical systems. In order to use a mathematical model, it is often necessary to adjust some of its parameters such that the simulation output best matches some given experimental data obtained from physical experiments - a task often called parameter estimation. In addition, optimal experimental design methodology, taking into account certain sensitivities of the model, can be used to maximize the information gained from the physical experiments. In this thesis, recurring optimization tasks such as parameter estimation and optimal experimental design are analyzed with a particular focus on software-engineering aspects. A novel framework for automatically combining simulation- and optimization software is introduced. This framework, called EFCOSS, treats the simulation, the optimization algorithm, and the mathematical objective function as separated components which can be exchanged independently in order to facilitate experimenting with frequently changing problem configurations. The first- and second-order derivatives of the model, which are required to solve the various optimization problems, are obtained by applying automatic differentiation to the simulation code. Since compared to the original function evaluation, the derivative calculation is often significantly more expensive in terms of execution time and memory requirement, several strategies for improving the efficiency of the derivative computation are presented in the second part of this thesis. These strategies include, e.g., the automatic parallelization of the derivative computation with OpenMP. In addition, the application of automatic differentiation to OpenMP-parallelized source code is investigated, as well as a combined multilevel-parallelization strategy. The efficiency of the computation of second-order derivatives can be further improved by exploiting the sparsity of the Hessian matrix using a dynamic approach, where only non-zero elements of the Hessian are computed. Although no a priori knowledge of the sparsity pattern is required, this dynamic approach often outperforms previous static approaches. Another strategy aims at exploiting the structure of partially separable functions. A general technique called interface contraction is extended to second-order derivative computation, and its efficiency is demonstrated in the context of partially separable functions. Finally, a combined approach employing interface contraction and parallelization is presented. Accompanying performance experiments show a dramatic efficiency increase of this combined approach, compared to black-box automatic differentiation, in particular for the rich class of partially separable functions.

Fulltext:
PDF