Sustainable brain-inspired networks and deep-learning methods in structural mechanics

Tandale, Saurabh Balkrishna; Kowalski, Julia; Stoffel, Marcus

doi:10.18154/RWTH-2024-08806

Sustainable brain-inspired networks and deep-learning methods in structural mechanics = Nachhaltige biologisch-inspirierte Netzwerke und tiefes Lernen in der Strukturmechanik

Tandale, Saurabh Balkrishna^RWTH*

2024

Verantwortlichkeitsangabevorgelegt von Saurabh Balkrishna Tandale

ImpressumAachen : RWTH Aachen University 2024

Umfang1 Online-Ressource : Illustrationen

ReiheReport. Institute of General Mechanics / Institut für Allgemeine Mechanik (IAM) ; 22

Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2024

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak04

Hauptberichter/Gutachter
Stoffel, Marcus (Thesis advisor)^RWTH* ; Kowalski, Julia (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2024-09-12

Online
DOI: 10.18154/RWTH-2024-08806
URL: https://publications.rwth-aachen.de/record/993533/files/993533.pdf

Einrichtungen

Lehrstuhl und Institut für Allgemeine Mechanik (411110)

Projekte

DFG project 504279932 - Ein neuer Finite Elemente Ansatz mit Hilfe neuronaler Netze (504279932) (504279932)

Inhaltliche Beschreibung (Schlagwörter)
deep learning (frei) ; neuromorphic computing (frei) ; nonlinear finite element (frei) ; self-learning networks (frei) ; viscoplasticity (frei)

Thematische Einordnung (Klassifikation)
DDC: 620

Kurzfassung
In der numerischen Mechanik hat sich die Finite-Elemente-Methode (FEM) als Methode zur Analyse komplexer Strukturen in technischen Anwendungen etabliert. Sie bietet die Möglichkeit beliebige Strukturen aus Elementen zusammenzusetzen und sie mit unterschiedlichem Materialverhalten zu versehen. Für nichtlineare Probleme, wie geometrische und physikalische Nichtlinearitäten, müssen jedoch mehrere Iterationen auf globaler (Element) und lokaler (Gaußpunkte) Ebene durchgeführt werden, was die Methode sehr rechenintensiv macht. Mit den jüngsten Durchbrüchen in der Künstlichen Intelligenz (KI) haben tiefe neuronale Netze, die auch als Netze der zweiten Generation bezeichnet werden, schnellere Lösungen für nichtlineare numerische Aufgaben in verschiedenen Bereichen ermöglicht. Diese Netze bestehen aus einer vereinfachten Neuronenmodellierung basierend auf Matrizenmultiplikationen, die aber häufig suboptimal sind. Im Gegensatz dazu zeigt das menschliche Gehirn eine bessere Leistung, da die Neuronen durch binäre Signale kommunizieren. Diese Fähigkeit des biologischen Neurons wird in den neuronalen Netzen der zweiten Generation durch eine Spiking-Aktivierung eingeführt, und die entsprechenden vom Gehirn inspirierten Netze werden als Spiking Neural Networks (SNNs) oder Netze der dritten Generation bezeichnet. Ziel dieser Arbeit ist es, einen Rahmen für die Verwendung von Netzwerken der dritten Generation zur Approximation nichtlinearer Funktionen zu schaffen, die auf einem neuromorphen Chip eingesetzt werden können. Netzwerkmodelle der zweiten und dritten Generation sollen mit dem Ziel in die FEM integriert werden, um die Rechengeschwindigkeit zu beschleunigen und selbstlernende neuronale Netzwerke für die Lösung nichtlinearer Gleichungssysteme zu entwickeln. Um diese Ziele zu erreichen, wird eine neue Kodierungsstrategie entwickelt, die die Verwendung von SNNs für reellwertige Daten ermöglicht. Darüber hinaus werden ein datengesteuerter Ansatz zur Entwicklung von Ersatzmodellen aus Experimenten und eine Kombination aus datengetriebenen und physikalisch motivierten Strategien entwickelt, um die zweite und dritte Generation in FEM einzusetzen. Schließlich wird ein physikalisch motivierter selbstlernender Algorithmus entwickelt, um eine schnellere Konvergenz der FE-Simulation zu gewährleisten. Ausgehend von den Grundlagen der Bewegungsgleichungen und ihrer schwachen Form werden die kombinierten datengetriebenen und physikalisch motivierten Ansätze mit der FEM auf drei Ebenen kombiniert: Globale datenbasierte Modelle ersetzen die FEM für zuverlässige Berechnungen. Auf Elementebene beschleunigt die Sobolev-Trainingsmethode die Simulation. In Gaußpunkten wird das Modell durch neuronale Netze ersetzt. Um das Problem des mangelnden Extrapolationsvermögens zu umgehen, werden neuronale Netze als nichtlineare Löser entwickelt. Die Methoden beschleunigen bei geometrischen und physikalischen Nichtlinearitäten die Berechnungen deutlich. Der Einsatz von SNNs auf neuromorphen Chips senkt den Energieverbrauch im Vergleich zu herkömmlichen Netzwerken um ein Tausendstel.

In computational mechanics, the Finite Element Method (FEM) has proven to be a popular tool for analyzing complex structures in engineering applications. It offers tremendous freedom in handling structures assembled from elements that can be modeled arbitrarily and simulated with different material behaviors. However, for nonlinear problems such as geometrical and physical nonlinearities, several iterations need to be performed at the global and Gaussian points, making it computationally expensive. With recent breakthroughs in Artificial Intelligence (AI), deep neural networks, also known as second-generation networks, have promoted faster solutions to nonlinear numerical tasks in several fields. These networks consist of a simplified neuron model that relies on a dense matrix multiplication, which is often suboptimal. In contrast, the human brain shows improved energy performance since the neurons communicate through sparse signals. This ability of the biological neuron is introduced through Leaky Integrate and Fire neuron (LIF), and the corresponding brain-inspired networks are known as Spiking Neural Networks (SNNs) or third-generation networks. This thesis aims to provide a framework for using third-generation networks for nonlinear function approximation that can be deployed on a neuromorphic chip, integrating second and third-generation network models into FEM, accelerating computational speed, and developing self-learning neural networks for solving nonlinear systems of equations. To achieve those objectives, a new autoencoding strategy is developed that allows SNNs to be used for real-valued data. Furthermore, a data-driven approach for developing surrogate models from experiments and a combination of data-driven and physics-based strategies are designed to deploy second and third-generation in FEM. Finally, a physics-based self-learning framework is developed to ensure faster convergence of the FE simulation. Based on the fundamentals of the equation of motion and its weak form; the combined data-driven and physics-based approaches find their interface with the FEM at three levels. At the global level, data-driven models from both generations replace the Finite Element models and achieve reliable computations. A Sobolev training strategy is introduced at the element level, resulting in an efficient update of converged quantities and a considerable speed-up of FE simulations. At the Gaussian points, a Sobolev procedure is introduced again to replace the entire constitutive model with the forward pass of the Neural Network (NN). To make the NNs free from the notion of extrapolation, both second and third-generation networks are deployed as an informed nonlinear solver, developing a physics-based self-learning integration scheme. Focusing on geometrical and physical nonlinearities, the proposed methods and models lead to considerable speed-ups by several orders of magnitude. Lastly, the SNNs, when deployed on a neuromorphic chip, reduced the energy consumption to the thousandth order compared to their second-generation counterparts.

OpenAccess:
PDF
(additional files)