Gradient-free optimization of artificial and biological networks using learning to learn

Yegenoglu, Alper; Morrison, Abigail Joanna Rhodes; Herty, Michael

doi:urn:nbn:de:hbz:5:2-1257933

Gradient-free optimization of artificial and biological networks using learning to learn = Gradient-freies Optimieren von künstlichen und biologischen Netzwerken mittels des learning to learn Verfahrens

Yegenoglu, Alper^RWTH*

2023

VerantwortlichkeitsangabeAlper Yeğenoğlu

ImpressumJülich : Forschungszentrum Jülich GmbH, Zentralbibliothek, Verlag 2023

Umfang1 Online-Ressource (136 Seiten) : Illustrationen, Diagramme

ISBN978-3-95806-719-6

ReiheSchriften des Forschungszentrums Jülich. IAS series ; 55

Dissertation, RWTH Aachen University, 2023

Druckausgabe: 2023. - Onlineausgabe: 2023. - Auch veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Morrison, Abigail Joanna Rhodes (Thesis advisor)^RWTH* ; Herty, Michael (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2023-06-23

Online
DOI: 10.18154/RWTH-2023-09115
URN: urn:nbn:de:hbz:5:2-1257933
URL: https://publications.rwth-aachen.de/record/969331/files/969331.pdf

Einrichtungen

Projekte

Inhaltliche Beschreibung (Schlagwörter)
artificial intelligence (frei) ; computational neuroscience (frei) ; gradient-free (frei) ; learning-to-learn (frei) ; machine learning (frei) ; meta-learning (frei) ; neural network (frei) ; optimization (frei) ; spiking (frei) ; swarm intelligence (frei)

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Die Intelligenz zu verstehen und wie sie den Menschen ermöglicht zu lernen, Entscheidungen zu treffen und Erinnerungen zu bilden, ist ein langfristiges Bestreben in den Neurowissenschaften. Unser Gehirn besteht aus Netzwerken von Neuronen und anderen Zellen, jedoch ist es nicht klar wie diese Netzwerke trainiert werden können, um bestimmte Aufgaben zu lösen. Im Bereich des maschinellen lernen und künstlicher Intelligenz ist es üblich neuronale Netzwerke mittels Gradientenabstieg und Backpropagation zu trainieren und zu optimieren. Wie diese Optimierungsstrategie auf biologische, gepulste neuronale Netzwerke übertragen werden kann, ist wissenschaftlich noch offen. Wegen der binären Kommunikation zwischen den Neuronen des gepulsten Netzwerkes mittels Spikes, ist eine direkte Anwendung des Gradientenabstieg und Backpropagation ohne Approximationen nicht möglich. In meiner Arbeit präsentiere ich gradientfreie Optimierungstechniken, welche auf künstliche und biologische Netzwerke direkt anwendbar sind. Ich benutze Metaheuristiken, wie zum Beispiel Genetische Algorithmen oder Ensemble Kalman Filter (EnKF), um die Netzwerkparameter zu optimieren und die Netzwerke zu trainieren bestimmte Aufgaben zu lösen. Die Optimierung wird in das Konzept des Meta-Lernens bzw. learning to learn eingebettet. Das learning to learn Konzept besteht aus einem zwei Schleifen Optimierungsprozess. In der ersten, inneren Schleife wird ein Algorithmus oder ein Netzwerk auf einer Aufgabe aus einer Familie von Aufgaben trainiert. In der zweiten, äußeren Schleife werden die Parameter und Hyper-Parameter des Netzwerkes optimiert. Als Erstes optimiere ich mit dem EnKF ein Convolutional Neural Network und erreiche eine hohe Erfolgsrate bei der Klassifizierung von Zahlen. Danach, wende ich die gleiche Optimierungsstrategie innerhalb der L2L Bibliothek auf ein gepulstes Reservoir Netzwerk an. L2L, eine Implementierung des learning to learn Konzepts, ermöglicht es mir auf eine einfache Weise mehrere Netzwerkinstanzen parallel auf Hochleistungsrechnern auszuführen. Um zu verstehen wie sich das Lernen des Netzwerkes entwickelt, analysiere ich die Netzwerkgewichte über mehrere Generationen und untersuche eine Kovarianzmatrix des EnKF im Hauptkomponentenraum. Die Analyse zeigt nicht nur das Konvergenzverhalten der Optimierung, sondern auch wie zum Beispiel Sampling Techniken die Optimierung beeinflussen. Danach bette ich den EnKF in die innere Schleife des L2L ein und passe die Hyper-Parameter des Optimierers mit einem genetischem Algorithmus (GA) an. Im Kontrast zur manuellen Parametereinstellung findet der GA eine alternative Konfiguration. Zum Schluss präsentiere ich eine simulierte Ameisenkolonie, die nach Futter sucht und vom einem gepulstem Netzwerk gesteuert wird. Während des Netzwerktrainings entwickelt sich eine Selbstkoordination und Selbstorganization innerhalb der Kolonie. Ich verwende verschiedene Analysemethoden, um das Ameisenverhalten besser zu verstehen. Mit meiner Arbeit zeige ich wie Optimierung und Meta-Lernen auf einfache Weise in verschiedenen Wissenschaftsbereichen benutzt werden können und wie gradientfreie Optimierung auf biologische und künstliche Netzwerke angewendet werden kann.

Understanding intelligence and how it allows humans to learn, to make decision and form memories, is a long-lasting quest in neuroscience. Our brain is formed by networks of neurons and other cells, however, it is not clear how those networks are trained to learn to solve specific tasks. In machine learning and artificial intelligence it is common to train and optimize neural networks with gradient descent and backpropagation. How to transfer this optimization strategy to biological, spiking networks (SNNs) is still a matter of research. Due to the binary communication scheme between neurons of an SNN via spikes, a direct application of gradient descent and backpropagation is not possible without further approximations. In my work, I present gradient-free optimization techniques that are directly applicable to artificial and biological neural networks. I utilize metaheuristics, such as genetic algorithms and the ensemble Kalman Filter, to optimize network parameters and train networks to learn to solve specific tasks. The optimization is embedded into the concept of meta-learning and learning to learn respectively. The learning to learn concept consists of a two loop optimization procedure. In the first, inner loop the algorithm or network is trained on a family of tasks, and in the second, outer loop the hyper-parameters and parameters of the network are optimized. First, I apply the EnKF on a convolution neural network, resulting in high accuracy when classifying digits. Then, I employ the same optimization procedure on a spiking reservoir network within the L2L framework. The L2L framework, an implementation of the learning to learn concept, allows me to easily deploy and execute multiple instances of the network in parallel on high performance computing systems. In order to understand how the network learning evolves, I analyze the connection weights over multiple generations and investigate a covariance matrix of the EnKF in the principle component space. The analysis not only shows the convergence behaviour of the optimization process, but also how sampling techniques influence the optimization procedure. Next, I embed the EnKF into the L2L inner loop and adapt the hyper-parameters of the optimizer using a genetic algorithm (GA). In contrast to the manual parameter setting, the GA suggests an alternative configuration. Finally, I present an ant colony simulation foraging for food while being steered by SNNs. While training the network, self-coordination and self-organization in the colony emerges. I employ various analysis methods to better understand the ants’ behaviour. With my work I leverage optimization for different scientific domains utilizing meta-learning and illustrate how gradient-free optimization can be applied on biological and artificial networks.

OpenAccess:
PDF
(additional files)
External link:
Fulltext by OpenAccess repository