Development of a validation method for multivariate arbitrarily distributed results

van Enkhuizen, Marinus; Marissen, R.; Reh, Stefan; Hirt, Gerhard Kurt Peter

doi:10.18154/RWTH-2017-04769

Development of a validation method for multivariate arbitrarily distributed results

van Enkhuizen, Marinus

2017

Verantwortlichkeitsangabevorgelegt von M.Sc. Marinus Johannus van Enkhuizen

ImpressumAachen 2017

Umfang1 Online-Ressource (xx, 160 Seiten) : Illustrationen, Diagramme

Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2017

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak05

Hauptberichter/Gutachter
Reh, Stefan (Thesis advisor)^RWTH* ; Hirt, Gerhard Kurt Peter (Thesis advisor)^RWTH* ; Marissen, R. (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2017-05-16

Online
DOI: 10.18154/RWTH-2017-04769
URL: http://publications.rwth-aachen.de/record/690010/files/690010.pdf
URL: http://publications.rwth-aachen.de/record/690010/files/690010.pdf?subformat=pdfa

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
validation (frei) ; simulation (frei) ; experiments (frei) ; scatter (frei) ; multivariate arbitrarily distributed (frei)

Thematische Einordnung (Klassifikation)
DDC: 620

Kurzfassung
Während der Produktentwicklung verwenden Ingenieure und Wissenschaftler eine Vielfalt an numerischen Modellen um vorherzusagen, wie sich Systeme, Baugruppen und Bauteile verhalten. Um das Verhalten dieser Produkte zu beschreiben werden mehrere relevante Eigenschaften verwendet, zum Beispiel: Masse, Steifigkeit, Lebensdauer, Effizienz und Energieverbrauch. Diese Eigenschaften können numerisch oder experimentell bestimmt werden. Es ist aber meistens nicht möglich alle relevanten Eigenschaften mittels einer dieser Methoden zu bestimmen. Deswegen ist es notwendig, die numerische und die experimentelle Methode zu kombinieren um die relevanten Eigenschaften zu bestimmen. Hierfür müssen Experiment und Simulation die Realität gut abbilden. Um festzustellen, ob das numerische Modell der Realität entspricht, wird eine Validierung durchgeführt. Hierbei werden die numerischen Ergebnisse mit der Realität verglichen, die durch die experimentellen Ergebnisse dargestellt wird.Im Zusammenhang mit Validierung ist es notwendig zu erwähnen, dass die experimentellen Ergebnisse durch Variationen in der Produktion und in den Betriebsbedingungen streuen. Da die experimentellen Ergebnisse schwanken, ist es sinnvoll, stochastische experimentelle Ergebnisse mit stochastischen numerischen Ergebnissen zu vergleichen. Hinzu kommt, dass die experimentellen und die numerischen Ergebnisse im Allgemeinen multivariat und beliebig verteilt sind, deswegen muss die Validierungsmethode für multivariate beliebig verteilte Ergebnisse geeignet sein. Derzeit gibt es keine Methode für diesen allgemeinen Fall.In der vorliegenden Arbeit wurde eine Methode entwickelt, welche numerische Modelle mit Hilfe von beliebig verteilten, multivariaten Ergebnissen validieren kann. Um den Unterschied zwischen den numerischen und den experimentellen Ergebnissen mittels eines Abstandsmaßes zu quantifizieren, werden die jeweiligen Verteilungen, basierend auf den vorhandenen Ergebnissen, mit geeigneten Methoden geschätzt. Hierbei ist es möglich, die Messungenauigkeit und die Unsicherheit in der Simulation explizit bei der Bestimmung des Abstands zwischen Experiment und Simulation zu berücksichtigen. Um festzustellen ob das numerische Modell valide ist, wird mit Hilfe eines Hypothese-Tests bestimmt, ob der Abstand zwischen Simulation und Experiment signifikant ist und ob der Abstand zwischen den numerischen und den experimentellen Ergebnissen größer ist als die Unsicherheiten der jeweiligen Ergebnisse.Um zu untersuchen, ob die neu entwickelte Validierungsmethode effektiver ist als die typischerweise verwendeten Methoden für mehrdimensionale Probleme, wurden Benchmark-Tests durchgeführt. Da diese typischen Methoden für normalverteilte Größen entwickelt wurden, werden die Benchmark-Tests an normalverteilten Daten und an einem Datensatz, der nicht normalverteilt ist, durchgeführt. Mittels dieser Benchmark-Tests wird gezeigt, dass die entwickelte Methode in einigen Fällen den Abstand zwischen den numerischen und experimentellen Ergebnissen besser bestimmen kann als die typischerweise verwendeten Abstandsmaße. Darüber hinaus wird am Beispiel eines Kugeleindruckmodells gezeigt, dass die neu entwickelte Validierungsmethode im Rahmen von Ingenieurfragestellungen sinnvoll angewendet werden kann. Mittels der neu entwickelten Validierungsmethode ist es jetzt möglich, stochastische numerische Modelle mit Hilfe von beliebig verteilten, mehrdimensionalen, experimentellen und numerischen Ergebnissen zu validieren. Mit dieser Methode ist es auch möglich die Messunsicherheit und die Simulationsunsicherheit bei der Bestimmung des Abstands zwischen Modell und Experiment direkt zu berücksichtigen.

During product development, engineers and scientist use a variety of numerical models to determine how assemblies, components or parts behave. To describe the behaviour of these products, multiple performance relevant quantities are used such as weight, stiffness, lifetime, efficiency and energy consumption. These performance quantities can be estimated using experiments or numerical models. However, it is often not possible to obtain all performance quantities using one approach. Therefore, it is necessary to combine the experimental and the numerical approach to obtain the performance quantities of interest. Consequently, it is necessary to ensure that both approaches represent reality accurately. To determine whether the numerical results differ from reality, validation is performed. During validation it is determined whether the distance between the numerical results and reality is significant, where reality is represented by the experimental results.In context of validation, it is necessary to point out that experimental results scatter due to variations in the production process and the operation conditions to which the product is subjected. Therefore, it would be appropriate to compare the stochastic experimental results to stochastic numerical results. Since these results are generally multivariate and arbitrarily distributed, it is required to use a validation method that is suitable for arbitrarily distributed multivariate results. However, currently no validation method exists to compare such results.In this work, a method is developed to validate numerical models using arbitrarily distributed multivariate results. To quantify the shape difference between the samples without assuming a distribution function, the underlying distributions of the experimental and numerical results are estimated based on the results. Furthermore, the measurement uncertainties and the numerical uncertainties can be used explicitly in the distance measure for additional information. To determine whether the numerical model is valid, it is determined if the numerical model is significantly different from the experimental results using a hypothesis test. Furthermore, it is determined whether the distance between the numerical results and the experimental results is larger than the uncertainties present in the numerical and experimental results.To investigate if the developed validation method is more effective than the typically used methods for multivariate problems, benchmark tests are performed. Since these distance measures were developed for multivariate normally distributed data, the benchmarks are performed using normally distributed data and a test data set that represents non-normally distributed data. Using these benchmark tests, it is shown that the developed method is more effective to determine the distance between the numerical and the experimental results than the typically used distance measures. Furthermore, it is demonstrated that it is meaningful to use the developed validation method for engineering problems by an example of a spherical indentation model.Using the developed method, it is now possible to validate stochastic numerical models without assuming distribution functions for the experimental and numerical results. It is also possible to incorporate the measurement uncertainties and the simulation uncertainties in the distance measure of this method.

OpenAccess:
PDF PDF (PDFA)
(additional files)