Field theoretic approaches to computation in neuronal networks

Keup, Christian; Helias, Moritz; Krämer, Michael

doi:41433

Field theoretic approaches to computation in neuronal networks

Keup, Christian^RWTH*

2022

Verantwortlichkeitsangabevorgelegt von M.Sc. Physik Christian Keup

ImpressumAachen : RWTH Aachen University 2022

Umfang1 Online-Ressource : Illustrationen, Diagramme

Dissertation, RWTH Aachen University, 2022

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Helias, Moritz (Thesis advisor)^RWTH* ; Krämer, Michael (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2022-06-28

Online
DOI: 10.18154/RWTH-2022-06733
URL: https://publications.rwth-aachen.de/record/849327/files/849327.pdf

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
DMFT (frei) ; chaos (frei) ; field theory (frei) ; neuronal networks (frei) ; origami (frei) ; random networks (frei)

Thematische Einordnung (Klassifikation)
DDC: 530

Kurzfassung
Im Mittelpunkt dieser Arbeit steht die Anwendung der statistischen Feldtheorie auf die Frage, wie Berechnungen in neuronalen Netzen durchgeführt werden. Die Impuls-Aktivität in dichten Netzwerken von Neuronen, wie z. B. im Gehirn, neigt dazu, stark chaotisch zu sein. Wie können diese Schaltkreise dann zuverlässig Informationen verarbeiten? Bisherige Untersuchungen haben hauptsächlich schwach chaotische Modelle für die Feuerrate untersucht. Hier zeigen wir einen universellen Mechanismus, der erklärt, wie selbst stark chaotische Aktivitäten leistungsstarke Informationsverarbeitung unterstützen können. Für die analytischen Rechnungen wird ein neuartiger, einheitlicher theoretischer Rahmen verwendet, der es ermöglicht, Modelle neuronaler Netze auf verschiedenen Ebenen der Modellkomplexität zu vergleichen. Hier wird dieser Rahmen auf zwei gängige Modellklassen angewandt: binäre Neurone, die zwischen einem impuls-emittierenden und einem ruhenden Zustand wechseln, und Ratenneurone, die nur die Anzahl der Impulse pro Sekunde beschreiben. Diese implementieren zwei unterschiedliche Annahmen über das Substrat der Informationscodierung, die gemeinhin als spike-coding und rate-coding bezeichnet werden. Wir berechnen den Übergang zu chaotischer Dynamik in zufälligen binären Netzwerken und zeigen, dass jedes chaotische binäre Netzwerk einem äquivalenten Raten-Netzwerk mit der gleichen Aktivitätsstatistik, aber mit nicht-chaotischer Dynamik entspricht. Daher lassen sich die Ergebnisse über die gut untersuchte Chaosgrenze in Feuerratenmodellen nicht direkt auf mit Impulsen kommunizierende Netzwerke übertragen. Als Nächstes zeigen wir für Regime mit stark chaotischer Dynamik, dass die Aktivität vorübergehend die Trennbarkeit verschiedener Eingangsreize fördert. Dieser Effekt entsteht dadurch, dass die Zustandstrajektorien für verschiedene Eingabemuster in stereotyper, entfernungsabhängiger Weise voneinander divergieren. Binäre Netze und pulsgekoppelte Netze bieten eine besonders schnelle Trennung, die für eine schnelle, ereignisbasierte Informationsverarbeitung ausgenutzt werden kann, welche allerdings eine Kontrolle der Anfangsbedingungen erfordert. Diese Ergebnisse liefern Vorhersagen für experimentelle Messungen von neuronaler Gehirnaktivität und laden zur Forschung über die Verwendung chaotischer Dynamik in künstlichen neuronalen Netzen ein. Wir verallgemeinern den theoretischen Rahmen, der als Brücke zwischen vielen Arten bestehender neuronaler Netzwerkmodelle dienen kann und eine systematische Methode zur Herleitung selbstkonsistenter, zeitabhängiger Gau{\ss}scher Näherungen sowie Störungskorrekturen für solche Systeme bietet. Darüber hinaus wird eine parallele Arbeitslinie vorgestellt, bei der dieselbe Art von Techniken verwendet wird, um zu untersuchen, wie die Repräsentation von Daten während des Informationsverarbeitungsprozesses durch rekurrente Reservoir-Netzwerke und trainierte künstliche vorwärtsverbundene Netzwerke transformiert wird. Da solche tiefe Netze Wechselwirkungen zwischen allen Skalen in den Daten nutzen können, sind diese Netze auf der Grundlage ihrer mikroskopischen Struktur schwer zu verstehen. Wir konnten zeigen, dass für nahezu gau{\ss}förmige Datenklassen die Repräsentation in jeder Schicht durch eine annähernd Gau{\ss}sche Theorie für die hochdimensionale Aktivität erfasst werden kann. Dennoch bleibt es eine fundamentale Herausforderung, eine solche Theorie auf stark nicht-gau{\ss}sche Verteilungen zu erweitern, und eine graphische Intuition zur Beschreibung von Transformationen hochdimensionaler strukturierter Wahrscheinlichkeitsverteilungen fehlt weitgehend. Daher entwickeln wir, inspiriert von unserer feldtheoretischen Arbeit, eine grafische Erklärung für die Transformationen, die in Klassifikationsaufgaben gelernt werden. Wir zeigen, wie die Transformationen der Datenmannigfaltigkeit mit Faltoperationen verknüpft werden können, welche eine niedrigdimensionale Intuition haben die auch im hochdimensionalen Fall gültig bleibt, und eröffnen damit eine spannende Verbindung zwischen der Mathematik von Faltalgorithmen und neuronalen Netzen.

This thesis is centered around the application of statistical field theory to the question of how computation is performed by neuronal networks. The spiking activity in dense networks of neurons, such as in the brain, tends to be strongly chaotic. How, then, can these circuits reliably process information? Past investigations have studied mainly weakly chaotic firing-rate models. Here we demonstrate a universal mechanism explaining how even strongly chaotic activity can support powerful computations. The calculations use a novel unified theoretical framework that allows to compare models of neural networks across scales of model complexity. Here, the framework is applied to two common model classes: binary neurons, which switch between a pulse-emitting and non-emitting state, and rate neurons, which describe just the number of pulses per second. These implement two different assumptions about the substrate of computation, commonly referred to as spike-coding vs. rate-coding. We calculate the transition to chaos in random binary networks and show that each chaotic binary network corresponds to an equivalent rate network with the same activity statistics, but with nonchaotic dynamics. Therefore results on the well-studied edge-of-chaos in firing-rate models cannot be directly transferred to spiking-type networks. Next, considering strongly chaotic regimes, we show that the activity transiently promotes the separability of different input stimuli. This effect arises because state trajectories for different inputs diverge from one another in a stereotypical, distance-dependent manner. Binary networks and pulse-coupled networks offer a particularly fast separation that can be exploited for fast, event-based computation, which, however, requires control of the initial conditions. These results provide predictions for experimental recordings in brain circuits and invite research on the use of chaotic dynamics in artificial neural networks. We further generalize the theoretical framework, which can serve as a bridge between many types of existing neural-network models and provides a systematic method to derive self-consistent, time-dependent Gaussian approximations and perturbation corrections for such systems. Furthermore, a parallel line of work is presented using the same type of techniques to study how the data representation is transformed in the process of computation by recurrent reservoir networks and trained artificial feed-forward networks. Because deep networks can exploit interactions between all scales in the data, these networks are difficult to understand based on their microscopic structure. We find that for close to Gaussian data classes, the computation can be captured by a Gaussian theory for the high-dimensional activity in each layer. Nonetheless, it remains a fundamental challenge to extend such a theory to strongly non-Gaussian distributions, and a graphical intuition to describe transformations of high-dimensional structured probability distributions is largely lacking. Therefore, inspired by our field-theoretic work we develop a graphical explanation for the transformations learned in classification tasks. We demonstrate how the transformations of the data manifold can be linked to folding operations which have a low-dimensional intuition that stays valid in the high-dimensional case, thereby opening an exiting link between the mathematics of folding algorithms and neuronal networks.

OpenAccess:
PDF
(additional files)