A brain inspired sequence learning algorithm and foundations of a memristive hardware implementation

Bouhadjar, Younes; Waser, Rainer; Diesmann, Markus

doi:HT030005838

A brain inspired sequence learning algorithm and foundations of a memristive hardware implementation

Bouhadjar, Younes^RWTH*

2023

VerantwortlichkeitsangabeYounes Bouhadjar

ImpressumJülich : Forschungszentrum Jülich GmbH, Zentralbibliothek, Verlag 2023

Umfang1 Online-Ressource : Illustrationen, Diagramme

ISBN978-3-95806-693-9

ReiheSchriften des Forschungszentrums Jülich. Reihe Information ; 95

Dissertation, RWTH Aachen University, 2023

Druckausgabe: 2023. - Onlineausgabe: 2023. - Auch veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak05

Hauptberichter/Gutachter
Waser, Rainer (Thesis advisor)^RWTH* ; Diesmann, Markus (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2023-02-13

Online
DOI: 10.18154/RWTH-2023-03627
URL: https://publications.rwth-aachen.de/record/955632/files/955632.pdf

Einrichtungen

Projekte

Inhaltliche Beschreibung (Schlagwörter)
memristive devices (frei) ; neural networks (frei) ; neuromorphic hardware (frei) ; plasticity (frei) ; sequence learning (frei) ; spiking neurons (frei)

Thematische Einordnung (Klassifikation)
DDC: 620

Kurzfassung
Das Gehirn nutzt komplexe biologische Mechanismen und Prinzipien, um eine Vielzahl von Aufgaben zu lösen. Diese Prinzipien verleihen den Systemen selbstlernende Fähigkeiten, sowie eine hohe Energieffizienz und Speicherkapazität. Ein zentrales Konzept, bei der Informationsverarbeitung im Gehirn, ist die Sequenzvorhersage und -wiedergabe. Diese Form der Berechnung ist essenziell für fast alle täglichen Aufgaben wie Sinneswahrnehmung, Bewegungsausführung und Sprache. Zu verstehen wie das Gehirn eine solche Berechnung durchführt, treibt die Neurowissenschaft voran und ebnet den Weg für neue technologische, vom Gehirn inspirierte Anwendungen. Im ersten Teil dieser Arbeit schlagen wir ein Modell zum Sequenzenlernen vor, das erklärt, wie biologische Netzwerke lernen können, nachfolgende Elemente vorherzusagen, nicht erwartete Ereignisse zu signalisieren und Sequenzen als Reaktion auf ein Hinweis-Signal abzurufen. Das Modell berücksichtigt anatomische und elektrophysiologische Eigenschaften kortikaler neuronaler Netzwerke und lernt komplexe Sequenzen auf unüberwachte Weise mittels bekannter biologischer Plastizität und homöostatischer Kontrollmechanismen. Während des Lernens organisiert es sich selbst in eine Konfiguration, die sich durch einen hohen Grad an Spärlichkeit in der Konnektivität und Aktivität auszeichnet, was sowohl eine hohe Speicherkapazität und Energieeffizienz zur Folge hat. Im zweiten Teil erweitern wir das Modell so, dass es einen probabilistischen sequentiellen Gedächtnisabruf als Reaktion auf mehrdeutige Hinweise ermöglicht. In Abwesenheit von Rauschen ruft das Modell deterministisch die im Training am häufigsten gezeigte Sequenz ab. Wir untersuchen, wie verschiedene Formen von Rauschen zu einem explorativeren Verhalten führen. Wir zeigen, dass sich unkorreliertes Rauschen bei populationsbasierter Kodierung wegmittelt, was zu einer nicht-explorativen Dynamik führt. Dieses Problem wird durch lokal kohärentes Rauschen in Form einer zufälligen Stimuluskopplung an intrinsische, raum-zeitliche Oszillationen behoben. Unsere Ergebnisse zeigen, dass das Netzwerk, je nach Amplitude und Frequenz der Oszillation, gelernte Sequenzen gemäss verschiedener Strategien abrufen kann: entweder wird immer die häufigste Sequenz wiedergegeben, oder Sequenzen werden entsprechend ihrer Auftrittswahrscheinlichkeit beim Training abgespielt. Die Studie trägt zum Verständnis der neuronalen Mechanismen bei, die verschiedenen Entscheidungsstrategien zugrunde liegen, und unterstreicht die Rolle kohärenter Netzwerkaktivität bei sequenziellem Gedächtnisabruf. Schließlich untersuchen wir die Realisierbarkeit der Implementierung des Sequenzverarbeitungsmodells auf einer speziellen Hardware, welche Eigenschaften des Gehirns imitiert. Hier konzentrieren wir uns auf eine Art von Hardware, bei der die Synapsen durch memristive Bauteile emuliert werden. Als ersten Schritt in diese Richtung ersetzen wir die Synapsen-Dynamik des ursprünglichen Modells durch eine Dynamik, die das phänomenologische Verhalten von memristiven Elementen beschreibt, und demonstrieren Robustheit der Vorhersagen bei Variation verschiedener Hardware-Eigenschaften. In dieser Arbeit beschreiben wir außerdem, wie das Sequenzlernmodell auf algorithmischer Ebene angepasst werden kann, um eine Implementierung in eine vollelektronische Schaltung basierend auf einem memristiven Crossbar-Array zu ermöglichen. Insgesamt wirft diese Arbeit Licht auf die prinzipiellen Mechanismen, dem Lernen, der Vohersage und dem Abruf von Sequenzen in biologischen Netzwerken zugrunde liegen, und demonstriert die Realisierbarkeit der Implementierung dieser Art von Berechnung auf neuromorpher Hardware.

The brain uses intricate biological mechanisms and principles to solve a variety of tasks. These principles endow systems with self-learning capabilities, efficient energy usage, and high storage capacity. A core concept that lies at the heart of brain computation is sequence prediction and replay. This form of computation is essential for almost all our daily tasks such as movement generation, perception, and language. Understanding how the brain performs such a computation advances neuroscience and paves the way for new technological brain-inspired applications. In the first part of this thesis, we propose a sequence learning model that explains how biological networks learn to predict upcoming elements, signal non-anticipated events, and recall sequences in response to a cue signal. The model accounts for anatomical and electrophysiological properties of cortical neuronal circuits, and learns complex sequences in an unsupervised manner by means of known biological plasticity and homeostatic control mechanisms. After learning, it self-organizes into a configuration characterized by a high degree of sparsity in connectivity and activity allowing for both high storage capacity and efficient energy usage. In the second part, we extend the sequence learning model such that it permits probabilistic sequential memory recall in response to ambiguous cues. In the absence of noise, the model deterministically recalls the sequence shown most frequently during training. We investigate how different forms of noise give rise to more exploratory behavior. We show that uncorrelated noise averages out in population based encoding leading to non exploratory dynamics. Locally coherent noise in the form of random stimulus locking to spatiotemporal oscillations addresses this issue. Our results show that depending on the amplitude and frequency of oscillation, the network can recall learned sequences according to different strategies: either always replay the most frequent sequence, or replay sequences according to their occurrence probability during training. The study contributes to an understanding of the neuronal mechanisms underlying different decision strategies in the face of ambiguity, and highlights the role of coherent network activity during sequential memory recall. Finally, we investigate the feasibility of implementing the sequence learning model on dedicated hardware mimicking brain properties. Here, we focus on a type of hardware where synapses are emulated by memristive devices. As a first step in this direction, we replace the synapse dynamics of the original model with dynamics describing the phenomenological behavior of memristive elements, and demonstrate resilience with respect to different device characteristics. In this thesis, we further describe how the sequence learning model can be adapted at the algorithmic level to foster an implementation in a full electronic circuit centered around a memristive crossbar array. Overall, this thesis sheds light on the key mechanisms underlying sequence learning, prediction, and replay in biological networks and demonstrates the feasibility of implementing this type of computation on neuromorphic hardware.

OpenAccess:
PDF
(additional files)