The role of nonlinear interactions and connectivity in shaping critical and collective network dynamics

Tiberi, Lorenzo; Honerkamp, Carsten; Helias, Mortiz

doi:42731

The role of nonlinear interactions and connectivity in shaping critical and collective network dynamics

Tiberi, Lorenzo^RWTH*

2023

Verantwortlichkeitsangabevorgelegt von Lorenzo Tiberi Master of Science in Physics

ImpressumAachen : RWTH Aachen University 2023

Umfang1 Online-Ressource : Illustrationen

Dissertation, RWTH Aachen University, 2023

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Helias, Mortiz (Thesis advisor)^RWTH* ; Honerkamp, Carsten (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2023-10-19

Online
DOI: 10.18154/RWTH-2023-09969
URL: https://publications.rwth-aachen.de/record/972001/files/972001.pdf

Einrichtungen

Projekte

Inhaltliche Beschreibung (Schlagwörter)
neural networks (frei) ; non-equilibrium statistical mechanics (frei) ; random matrix theory (frei) ; renormalization group (frei)

Thematische Einordnung (Klassifikation)
DDC: 530

Kurzfassung
Neuronale Rechenprozesse sind ein kollektives Phänomen, das aus der komplexen Interaktion einer großen Anzahl von Neuronen entsteht. Im Zuge einer evolutionären Entwicklung und durch Lernprozesse organisieren neuronale Netze ihre Struktur, was zu einer reichhaltigen kollektiven Dynamik führt, die komplexe Berechnungsaufgaben erleichtern kann. Einige Observablen dieser Dynamik scheinen tatsächlich optimal für Berechnungen geeignet zu sein. Beispiele hierfür sind die Dimensionalität und das Spektrum der Hauptkomponenten neuronaler Aktivität oder das allgegenwärtige Vorhandensein von Observablen, die einer Potenzgesetz-Skalierung folgen, was darauf hindeutet, dass das Gehirn einen kritischen Zustand anstreben könnte. Welche strukturellen Eigenschaften neuronaler Netze es dem Gehirn ermöglichen, diese dynamischen Observablen optimal einzustellen, ist noch eine offene Frage. Außerdem ist nicht ganz klar, welchen rechnerischen Nutzen einige der beobachteten Verhaltensweisen des Gehirns, wie z. B. Kritikalität, haben. In dieser Arbeit befassen wir uns mit diesen Fragen, indem wir die Dynamik von zwei biologisch inspirierten neuronalen Netzwerkmodellen, dem stochastischen Wilson-Cowan-Modell und dem stochastischen Sompolinsky-Crisanti-Sommers (SCS)-Modell, charakterisieren. Zu diesem Zweck bedienen wir uns der Methoden eines Bereichs, der bereits große Erfolge beim Verständnis kollektiver Phänomene verzeichnen konnte - der statistischen Physik. Auf der Suche nach analytischem Verständnis und Interpretierbarkeit konzentrieren wir uns auf die beiden minimalen und wesentlichen Bestandteile neuronaler Berechnungen: Nichtlinearitäten und Konnektivität. Zunächst konzentrieren wir uns auf die Nichtlinearitäten im Wilson-Cowan-Modell. Wir führen die erste Renormierungsgruppenanalyse (RG) eines neuronalen Netzwerkmodells durch. Durch die Ableitung des so genannten Kopplungsflusses sind wir in der Lage, die rechnerischen Auswirkungen einer grundlegenden Eigenschaft kritischer Systeme zu untersuchen: das Vorhandensein nichtlinearer Wechselwirkungen über alle Längenskalen hinweg. Diese Eigenschaft war in früheren Studien aufgrund der Verwendung von Mittelwertfeld-Näherungen bisher unzugänglich. Wir stellen fest, dass sich die Nichtlinearitäten in einem Gell-Mann-Low-Regime befinden: Obwohl sie bei sehr großen Längenskalen verschwinden, tun sie dies logarithmisch langsam und bleiben somit auf praktisch allen Zwischenskalen vorhanden. Wir argumentieren, dass dieses Regime für die Berechnung optimal ist und ein Gleichgewicht zwischen Linearität, die für das Gedächtnis optimal ist, und Nichtlinearität, die für die Berechnung erforderlich ist, herstellt. Zweitens konzentrieren wir uns auf die Konnektivität in dem linearisierten SCS-Modell. Wir fragen, welche Konnektivitätsstrukturen die dynamischen Beobachtungswerte des Netzwerks direkt steuern und sie auf die rechnerisch optimalen Werte abstimmen können, die experimentell beobachtet wurden. Wir entwickeln eine neue Theorie für zufällige Konnektivitätsmatrizen, die zeigt, dass diese Strukturen in der Form der Eigenwertverteilung der Konnektivität kodiert sind. Insbesondere steuert die Dichte nahezu kritischer Eigenwerte die Potenzgesetz-Skalierung vieler dynamischer Beobachtungen, wie z. B. die Autokorrelation, die Autoresponse, die Dimensionalität und das Hauptkomponentenspektrum der neuronalen Aktivität. Anders als herkömmliche Konnektivitätsstrukturen, wie z. B. Motive, können diese neuartigen Strukturen Phänomene wie eine fein abgestimmte Potenzgesetz-Skalierung des Hauptkomponentenspektrums erklären, wie sie in V1 von Mäusen beobachtet wurde. Drittens konzentrieren wir uns sowohl auf Nichtlinearitäten als auch auf Konnektivität im SCS-Modell. Wir arbeiten daran, die RG-Analyse nichtlinearer Interaktionen auf Netzwerke zu übertragen, insbesondere auf den allgemeinen Fall asymmetrischer heterogener Netzwerke, der für die Neurowissenschaften von größtem Interesse ist. Dies ist - und bleibt - ein offenes Problem, für das wir jedoch einige neue Schritte aufzeigen. Zunächst einmal machen wir es formal möglich, die RG-Methoden auf generische Netzwerke anzuwenden, indem wir eine Analogie zu klassischen kritischen Phänomenen feststellen. Dann identifizieren wir die neuen technischen Herausforderungen, die für den asymmetrischen, heterogenen Fall spezifisch sind, und schlagen formale Methoden zu deren Lösung vor, die auf unserer neu entwickelten Zufallsmatrixtheorie beruhen. Wir zeigen auch einen neuartigen Mechanismus auf, der einen Zusammenbruch der für klassische kritische Phänomene typischen Potenzgesetz-Skalierung bewirkt.

Neural computation is a collective phenomenon emerging from the complex interaction of a large number of neurons. Through evolution and learning, neural networks organize their structure, giving rise to rich collective dynamics that can support complex computational tasks. Some observables of these dynamics indeed appear to be optimally tuned for computation. Examples include the dimensionality and pricipal components' spectrum of neuronal activity, or the ubiquitous presence of observables following a power-law scaling, which suggests that the brain might tune itself into a critical state. Understanding which structural properties of neural networks allow the brain to optimally tune these dynamical observables is till an open question. Furthermore, it is not fully clear, in the very first place, what is the computational benefit of some of the brain's observed behaviors, such as criticality. In this thesis, we address these questions by characterizing the dynamics of two biologically inspired neural network models, the stochastic Wilson-Cowan model and the stochastic Sompolinsky-Crisanti-Sommers (SCS) model. To this end, we adapt tools from a field that has already seen great success in understanding collective phenomena - statistical physics. Seeking analytical understanding and interpretability, we focus on the two minimal and essential ingredients of neural computation: nonlinearities and connectivity. First, we focus on nonlinearities in the Wilson-Cowan model. We perform the first renormalization group (RG) analysis of a neural network model. By deriving the so-called flow of couplings, we are able to explore the computational implications of a fundamental property of critical systems: the presence of nonlinear interactions across all length-scales. This property has been so far inaccessible by previous studies, due to the use of mean-field approximations. We find nonlinearities to be in a Gell-Mann-Low regime: despite vanishing at very large length scales, they do so logarithmically slowly, thus remaining present on practically all intermediate scales. We argue this regime to be optimal for computation, striking a balance between linearity, optimal for memory, and nonlinearity, required for computation. Second, we focus on connectivity in the linearized SCS model. We ask which connectivity structures can directly control the network's dynamical observables, tuning them into the computationally optimal values observed experimentally. We develop a novel theory for random connectivity matrices, which shows that these structures are encoded in the shape of the connectivity's eigenvalue distribution. In particular, the density of nearly critical eigenvalues controls the power-law scaling of many dynamical observable, such as the autocorrelation, autoresponse, dimensionality, and principal components spectrum of neuronal activity. Differently than more traditional connectivity structures, such as motifs, these novel structures can account for phenomena such as a fine-tuned power-law scaling of the principal components spectrum, as observed in V1 of mice. Third, we focus on both nonlinearities and connectivity in the SCS model. We work on importing the RG analysis of nonlinear interactions to networks, especially in the general case of asymmetric heterogeneous networks, which is of most interest to neuroscience. This is - and still remains - an open problem, for which, however, we provide some novel steps forward. In the very first place, we make it formally possible to apply the RG methods to generic networks, by noticing an analogy with classical critical phenomena. Then, we identify new technical challenges specific to the asymmetric, heterogeneous case and propose formal methods to solve them, which rely on our newly developed random matrix theory. We also identify a novel mechanism, which causes a breakdown of the typical power-law scaling observed in classical critical phenomena.

OpenAccess:
PDF
(additional files)