Analysis of information processing and memory prerequisites for temporal difference learning in cortical neural network models

Schulte to Brinke, Tobias; Kampa, Björn M.; Morrison, Abigail Joanna Rhodes

doi:HT031278667

Analysis of information processing and memory prerequisites for temporal difference learning in cortical neural network models

Schulte to Brinke, Tobias^RWTH*

2025

Verantwortlichkeitsangabevorgelegt von M. Sc.Tobias Schulte to Brinke

ImpressumAachen : RWTH Aachen University 2025

Umfang1 Online-Ressource : Illustrationen

Dissertation, RWTH Aachen University, 2025

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Morrison, Abigail Joanna Rhodes (Thesis advisor)^RWTH* ; Kampa, Björn M. (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2025-06-16

Online
DOI: 10.18154/RWTH-2025-07981
URL: https://publications.rwth-aachen.de/record/1018794/files/1018794.pdf

Einrichtungen

Projekte

Inhaltliche Beschreibung (Schlagwörter)
biological machine learning (frei) ; cortical models (frei) ; information processing (frei) ; microcircuit (frei) ; reservoir computing (frei) ; spiking neural networks (frei) ; temporal difference learning (frei)

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Diese Doktorarbeit befasst sich mit den rechnerischen Besonderheiten des menschlichen Gehirns und erforscht die Fähigkeiten kortikaler Mikroschaltkreismodelle, das Ausmaß ihrer Informationsverarbeitungskapazität und ihre Rolle beim Gedächtnis und beim Temporal Difference Learning mithilfe kortiko-striataler Populationen. Im Mittelpunkt dieser Forschung steht die Untersuchung von spikenden neuronalen Netzwerken (SNN). Dabei ist das Ziel, ein tieferes Verständnis der strukturellen und neuronalen Einflüsse auf die Informationsverarbeitung in diesen Netzwerken zu gewinnen und gleichzeitig einen Leitfaden für deren Analyse bereitzustellen. Im ersten Teil wird ein in einer früheren Arbeit eingeführtes Netzwerkmodell einer kortikalen Säule reproduziert und erweitert. Diese Untersuchungen zeigen, dass die spezifische, datenbasierte Konnektivität die Rechenleistung verbessert, indem sie die Klarheit interner Repräsentationen schärft, anstatt wie zuvor beschrieben die Dauer der Informationsbeibehaltung zu verlängern. Der zweite Teil geht über die traditionellen aufgabenbasierten Auswertungen hinaus und stellt eine neue Anwendung der Informationsverarbeitungskapazität (IPC) auf SNN vor. Dieser Ansatz liefert ein umfassendes Profil der von SNN berechneten Funktionen, das sowohl das Gedächtnis als auch die nichtlineare Verarbeitung einschließt. Die Studie untersucht methodisch verschiedene Kodierungsmechanismen und ihre Auswirkungen auf die IPC und zeigt, dass die Metrik Rückschlüsse auf die Leistung bei Aufgaben mit unterschiedlichen Anforderungen an nichtlineare Verarbeitung und Gedächtnis zulässt. Diese Untersuchung erweitert nicht nur den Nutzen der IPC-Metrik auf komplexere neuronale Netzwerke, sondern bietet auch einen tieferen Einblick in deren Rechenfähigkeiten. Der dritte Teil der Arbeit testet eine Hypothese über die Berechnung von Temporal Difference Fehlern im Gehirn und konzentriert sich dabei auf zwei unterschiedliche Populationen von Neuronen der kortikalen Schicht 5: die gekreuzten kortikostriatalen (CCS) und kortikopontinen (CPn) Zellen. Durch die Implementierung von Netzwerkmodellen, die auf diesen Populationen basieren, und die Auswertung ihrer Gedächtnisfähigkeiten mit Hilfe der IPC unterstützt die Arbeit, zumindest für Netzwerke mit kontinuierlicher Rate, die vorgeschlagene Rolle dieser Neuronen bei der Berechnung von Temporal Difference Fehlern. Die spikenden Netzwerkmodelle stellen allerdings eine größere Herausforderung dar und weisen in unseren Experimenten generell kaum Fähigkeiten zum Speichern vorhergehender Eingaben auf. Zusammenfassend lässt sich sagen, dass diese Arbeit nicht nur bestehende Forschungsergebnisse bestätigt und erweitert, sondern auch neue Methoden für die Analyse von SNN entwickelt. Sie legt eine solide Grundlage für künftige Untersuchungen der Rechenprozesse des Gehirns und bereichert das Feld der Computational Neuroscience mit fortschrittlichen Werkzeugen und Methoden zur Erforschung der komplizierten Funktionsweise biologisch inspirierter neuronaler Netzwerkmodelle.

This doctoral thesis delves into the computational intricacies of the human brain, exploring the capabilities of cortical microcircuit models, the extent of their information processing capacity, and their role in memory and temporal difference learning through the use of cortico-striatal populations. Central to this exploration is the study of spiking neural networks (SNN). This research aims to gain a deeper understanding of the structural and neuronal influences on information processing in these networks and at the same time to provide a guideline for their analysis. In the first part, a network model of a cortical column introduced in a previous paper is reproduced and extended. These analyses show that the specific, data-based connectivity improves computational performance by sharpening the clarity of internal representations rather than increasing the duration of information retention as previously described. Moving beyond traditional task-based evaluations, the second part introduces a novel application of the information processing capacity (IPC) metric to SNNs. This approach provides a comprehensive profile of the functions computed by SNNs, encompassing memory and nonlinear processing. The study methodically examines various encoding mechanisms and their impact on the IPC and shows that the metric is indicative of the performance in tasks with different demands of nonlinear processing and memory. This exploration not only extends the utility of the IPC metric to more complex neural networks but also offers a deeper insight into their computational capabilities. The third part of the thesis tests a hypothesis about the computation of temporal difference errors in the brain, focusing on two distinct populations of cortical layer 5 neurons: the crossed corticostriatal (CCS) and corticopontine (CPn) cells. By implementing network models based on these populations and evaluating their memory capabilities through the lens of the IPC, the research supports, at least for continuous rate networks, the proposed role of these neurons in the computation of temporal difference errors. However, the spiking network models pose a greater challenge and exhibit little ability to memorize previous inputs in our experiments. In summary, this work not only confirms and extends existing research results, but also develops new methods for analyzing SNNs. It lays a solid foundation for future studies of the brain's computational processes and enriches the field of computational neuroscience with advanced tools and methods for exploring the intricate workings of biologically inspired neural network models.

OpenAccess:
PDF
(additional files)