Probabilistic neural computation and neural simulation technology

Jordan, Jakob; Diesmann, Markus; Leibe, Bastian

doi:HT020147767

Probabilistic neural computation and neural simulation technology = Probabilistische neuronale Berechnungen und neuronale Simulationstechnologie

Jordan, Jakob^RWTH*

2018 & 2019

Verantwortlichkeitsangabevorgelegt von Master of Science Physik Jakob Jordan

ImpressumAachen 2018

Umfang1 Online-Ressource (xiii, 253 Seiten) : Illustrationen, Diagramme

Dissertation, RWTH Aachen University, 2018

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University 2019

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Diesmann, Markus (Thesis advisor)^RWTH* ; Leibe, Bastian (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2018-10-30

Online
DOI: 10.18154/RWTH-2019-06298
URL: http://publications.rwth-aachen.de/record/763385/files/763385.pdf

Einrichtungen

Projekte

Inhaltliche Beschreibung (Schlagwörter)
large-scale simulation (frei) ; neural networks (frei) ; neuromorphic computing (frei) ; probabilistic computation (frei) ; supercomputing (frei)

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Die Funktionsweise unseres Gehirns zu entschlüsseln ist aus mindestens zwei Perspektiven von dringender Wichtigkeit. Aus klinischer Sicht wird ein besseres Verständnis des Gehirns zu besseren Therapiemöglichkeiten für psychische und neurodegenerative Erkrankungen führen. Die technische Perspektive verspricht schlaue Maschinen, die wir die Welt wie wir wahrnehmen, daraus lernen und entsprechend handeln können. Im Allgemeinen wird angenommen, dass die relevanten physikalischen Prozesse die unserem Gehirn zugrunde liegen, auf der Ebene von großen, plastischen Netzwerken von Nervenzellen verstanden werden können. Über den letzten Dekaden hat sich die Wahrscheinlichkeitstheorie als normatives Modell von Hirnfunktion großer Beliebtheit erfreut, da sie eine einheitliche Sichtweise auf das Verhalten von intelligenten Organismen ermöglicht. Computermodelle bieten hervorragende Mittel um diese abstrakte Beschreibungsebene mit den zugrundeliegenden neuronalen Netzwerken zu verbinden. Vielen Netzwerkmodelle zur neuronalen Implementation von wahrscheinlichkeitstheoretischen Berechnungen, liegen approximative Algorithmen zugrunde. Diese benutzen Stochastizität um eine sample-basierte Repräsentation von Wahrscheinlichkeitsverteilungen zu erreichen. In dem ersten Teil dieser Arbeit untersuchen wir biophysikalisch plausible Quellen von Stochastizität in neuronalen Substraten. Hierfür benutzen wir ein Netzwerkmodell, das von einer weit verbreiteten Klasse für approximative Algorithmen, so genannten Boltzmann Maschinen, abgeleitet wurde. In diesem ersetzen wir die sonst angenommene Stochastizität durch eine natürliche Alternative: Input von anderen Neuronen. Wir zeigen, dass Stochastizität die durch ein zusätzliches rekurrentes Netzwerk von Neuronen generiert wird, bessergeeignet ist als die von unabhängigen Zufallszahlengeneratoren, falls Ressourcen limitiert sind. Daraufhin zeigen wir, dass der grundlegende Effekt der hierfür zuständig ist, auch in Netzwerken, die in neuromorphen Systemen mit starken räumlichen und zeitlichen Heterogenitäten emuliert werden, vorhanden ist. Wir untersuchen zusätzlich alternative Quellen von Stochastizität, unter Anderem Variabilität in der Kopplungsstärke zwischen Neuronen. Unsere Ergebnisse zeigen, dass Netzwerke die von der Ursprünglichen Definition von Boltzmann Maschinen abweichen, zwar wohldefinierte Wahrscheinlichkeitsverteilungen repräsentieren können, aber dass sie wichtige Eigenschaften verlieren, die Berechnungen in Boltzmann Maschinen besonders effizient machen. Das Menschliche Gehirn enthält in etwa einhundert Milliarden individuelle Nervenzellen, die über ungefähr einhundert Billionen Synapsen miteinander verschaltet sind. Diese Komplexität stellt Computersimulationen vor enorme Herausforderungen. Um große Netzwerke mit einer Auflösung von einzelnen Neuronen und Synapsen simulieren zu können, wird hoch performante und gut getestete Simulationssoftware benutzt die die Leistung von Supercomputer effizient ausnutzen kann. Moderne Software skaliert bis zu den größten Systemen die momentan verfügbar sind, in denen zehntausende von Rechenknoten eingesetzt werden. Die momentane neuronale Simulationstechnologie hat jedoch einen Skalierbarkeitsengpass, der sich auf die verwendeten Verbindungsinfrastrukturen und Kommunikationsalgorithmen zurückführen lässt. In dem zweiten Teil dieser Arbeit präsentieren wir eine neue, zweigeteilte Verbindungsinfrastruktur, die gerichtete Kommunikation zwischen verschiedenen Prozessen ermöglicht. Wir implementieren diese neue Technologie in NEST, einem weit verbreiteten Simulator für großskalige neuronale Netzwerkmodelle, und zeigen, dass diese Technologie die vorherigen Skalierbarkeitsengpässe entfernt. Unsere Ergebnisse demonstrieren zusätzlich, dass diese Änderungen Simulationen auch auf aktuellen Supercomputern signifikant schnellermachen, während die Leistung von Simulationen auf kleinen Systemen nicht negativbeeinflusst wird. Zusätzlich zu Software für die Simulation von neuronalen Netzwerken, ist auch Software die diese Netzwerke mit realistischen Input versorgt, notwendig, um beispielsweise Netzwerkmodelle von Lernen zu untersuchen. Hierbei sollte nicht speziell für eine bestimmte Studie entwickelte Software zum Einsatz kommen, da dies die Vergleichbarkeit von Modellen zusätzlich erschwert. Um dieses Problem zu vermeiden, entwickeln wir eine Toolchain die eine enge Interaktion zwischen neuronalen Netzwerkmodellen in weit verbreiteten Simulatoren und standardisierten simulierten Umgebungen ermöglicht. Zusammenfassend betrachtet bringt diese Arbeit neuronale Netzwerkmodelle die Wahrscheinlichkeitsberechnungen implementieren näher zusammen mit biophysikalischen Erkenntnissen, und stellt Simulationstechnologie vor, die Software auf die Simulation desmenschlichen Kortex mit einer Auflösung von einzelnen Nervenzellen und Synapsen auf der nächsten Generation von Supercomputern vorbereitet.

Deciphering the working principles of brain function is of major importance from at least two perspectives. From the clinical viewpoint, a deeper understanding of our brains will lead to better treatments for psychological and neurodegenerative diseases. The technological perspective promises smart machines that rival our ability to perceive, learn and act in the real world. It is generally believed that the relevant physical processes can be understood in terms of large, plastic networks of nerve cells. Over the last decade, probability theory has gained popularity as a normative model of brain function, since it offers a unifying view for many behavioural phenomena. To connect this high-level description to low-level implementations in neural substrates, computational models provide effective means to investigate specific hypotheses. Many neural network models for probabilistic inference employ approximation algorithms, relying on stochasticity to achieve a sample-based representation of probability distributions. In the first part of this thesis, we investigate biophysically plausible sources of stochasticity for models of approximate inference in neural substrates. We consider network models derived from a popular model class for sample-based inference, Boltzmann machines, but equipped with a natural source of stochasticity: synaptic input from other neurons. We demonstrate that stochasticity generated by recurrent neural networks can outperform other approaches based on independent random number streams if resources are limited. We further show that the essential effect required for this approach is also present in networks emulated in a mixed-signal neuromorphic system with strong temporal and spatial heterogeneities. Subsequently we consider network models with alternative sources of stochasticity, including variability in the coupling strength between neurons. Our results show that while these networks are able to represent well-defined probability distributions, probabilistic inference cannot be implemented using straightforward methods familiar from Boltzmann machines. The human brain contains approximately one hundred billion individual nerve cells connected by about one hundred trillion synapses: This complexity poses a significant computational challenge for the numerical simulation of such systems. To support simulations of large-scale network models at cellular resolution, researchers can rely on well-tested high-performance simulation software that makes efficient use of the largest supercomputers available today with tens of thousands of compute nodes. However, it has an inherent scalability bottleneck arising from the memory consumption of the connection infrastructure and the undirected communication algorithms typically employed. In the second part of this thesis, we introduce a new two-tier connection infrastructure employing directed communication across compute nodes. By implementing this new technology in NEST, a widely-used simulator for large-scale neural network models, we demonstrate that it solves previous scalability bottlenecks in terms of memory consumption. In addition, we show that on current supercomputers, the directed communication between processes significantly improves the simulation performance, and at the same time maintains high efficiency in small-scale simulations executed on laptops and small clusters. Simulation software is however only one part required for neuroscientific modeling: for functional networks, providing a realistic environment that interacts with the models is equally important. Researchers should not have to rely on handcrafted solutions as this makes models difficult to evaluate and compare objectively. To tackle these issues, we develop a toolchain that enables closed-loop interactions between neural-network models in established simulators and reinforcement-learning environments from machine-learning toolkits. In conclusion, this thesis brings models for approximate inference in neural circuits further into the biophysically plausible domain, with direct applications for neuromorphic implementations, and presents new simulation technology preparing software tools for the simulation of human cortex at the resolution of individual neurons and synapses on future HPC systems.

OpenAccess:
PDF
(additional files)