Functions of spiking neural networks constrained by biology

Korcsak-Gorzo, Agnes; Diesmann, Markus; Offenhäusser, Andreas

doi:urn:nbn:de:hbz:5:2-1549209

Functions of spiking neural networks constrained by biology

Korcsak-Gorzo, Agnes^RWTH*

2025 & 2026

VerantwortlichkeitsangabeAgnes Korcsak-Gorzo

ImpressumJülich : Forschungszentrum Jülich GmbH, Zentralbibliothek, Verlag 2025

Umfang1 Online-Ressource (xvi, 142 Seiten) : Illustrationen, Diagramme

ISBN978-3-95806-876-6

ReiheSchriften des Forschungszentrums Jülich Reihe Information/Information ; 119

Dissertation, RWTH Aachen University, 2025

Druckausgabe: 2025. - Onlineausgabe: 2025. - Auch veröffentlicht auf dem Publikationsserver der RWTH Aachen University 2026

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Diesmann, Markus (Thesis advisor)^RWTH* ; Offenhäusser, Andreas (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2025-08-27

Online
DOI: 10.18154/RWTH-2026-00405
URN: urn:nbn:de:hbz:5:2-1549209
URL: https://publications.rwth-aachen.de/record/1024916/files/1024916.pdf

Einrichtungen

Projekte

Thematische Einordnung (Klassifikation)
DDC: 530

Kurzfassung
Künstliche Intelligenz (KI) übernimmt zunehmend Aufgaben, die traditionell von Menschen ausgeführt wurden. Allerdings sind der steigende Rechenaufwand und Energieverbrauch dieser Systeme nicht nachhaltig, was die Notwendigkeit effizienterer Designs unterstreicht. Das menschliche Gehirn, das sich entwickelt hat, um auch unter Energieknappheit effektiv zu funktionieren, dient hier als Inspiration. Da Lernen sowohl für die Künstliche Intelligenz als auch für das Gehirn zentral ist, können Einblicke in die zugrunde liegenden Prinzipien unser Verständnis des menschlichen Lernens vertiefen und gleichzeitig die Entwicklung von Algorithmen fördern, die über rein ingenieurwissenschaftliche Ansätze hinausgehen. Diese Dissertation untersucht biologisches Lernen durch zwei Studien, die es aus mechanistischer und funktionaler Perspektive auf einer Abstraktionsebene betrachten, wie sie häufig in der Neurophysik und der computergestützten Neurowissenschaft verwendet wird. Diese Disziplinen reduzieren komplexe neuronale Systeme und Phänomene auf handhabbare mathematische und rechnergestützte Modelle, welche Einblicke ermöglichen, die über den Rahmen traditioneller biologischer Ansätze hinausgehen. In der Erkenntnis, dass Synapsen - die Verbindungen zwischen Neuronen - für das Lernen grundlegend sind, beginnt die Arbeit mit einem Überblick über aktuelle Methoden in der rechnergestützten Neurowissenschaft zur Modellierung der Organisation von Synapsen. Dieser Überblick beleuchtet wesentliche Aspekte der synaptischen Signale, einschließlich Konnektivität, Übertragung, Plastizität und Heterogenität. In der ersten Studie wird ein Modell der synaptischen Plastizität in einen Simulator für spikende neuronale Netzwerke integriert und mit biologisch plausiblen Eigenschaften erweitert, wie etwa kontinuierlicher Dynamik und erhöhter Lokalität. Die Effektivität des erweiterten Modells wird durch das Training auf einer standardisierten neuromorphen Benchmark-Aufgabe demonstriert, unter Berücksichtigung von biologisch realistischer spärlichen Konnektivität und Gewichtsbeschränkungen. Die zweite Studie zeigt, dass die Sampling-Effizienz vortrainierter spikender neuronaler Netzwerke verbessert werden kann, indem sie oszillierenden Hintergrundaktivitäten ausgesetzt werden. Analog zum „Simulated Tempering“ modulieren diese rhythmischen Oszillationen die Erkundung des Zustandsraums und erleichtern Übergänge zwischen hochwahrscheinlichen Zuständen in der gelernten Repräsentation. Diese Ergebnisse stellen eine Verbindung zwischen kortikalen Oszillationen und auf Sampling basierenden Berechnungen her und bieten neue Einblicke in die Gedächtnisabruf- und -konsolidierungsprozesse aus einer rechnergestützten Perspektive. Die Forschung umfasst die Entwicklung mathematischer und rechnergestützter Modelle, die auf Hochleistungsrechnersystemen simuliert werden. Die Lern- und Sampling-Leistung wird mit Standardmetriken des maschinellen Lernens bewertet, und die Recheneffizienz wird durch Analyse der Laufzeit beurteilt. Diese Dissertation zeigt, wie biologisch inspirierte Mechanismen die funktionalen Fähigkeiten spikender neuronaler Netzwerke verbessern und wie sie die Entwicklung skalierbarer und effizienter KI-Systeme anleiten können.

Artificial intelligence (AI) solutions are increasingly taking on tasks traditionally performed by humans. However, their rising computational demands and energy consumption are unsustainable, highlighting the need for more efficient designs. The human brain, evolved to function effectively even when energy is scarce, offers inspiration. Since learning is central to both artificial intelligence and the brain, insights about its underlying principles can deepen our understanding of human learning while informing the development of algorithms that transcend purely engineering-based methods. This thesis investigates biological learning through two studies, examining it from mechanistic and functional perspectives at an abstraction level commonly employed in neurophysics and computational neuroscience. These fields distill complex neural systems and phenomena into tractable mathematical and computational models, enabling insights beyond the reach of traditional biological approaches. Recognizing that synapses - the connections between neurons - are fundamental to learning, the thesis begins with a review of state-of-the-art computational neuroscience methods for modeling synaptic organization. This review highlights critical aspects of synaptic signaling, including connectivity, transmission, plasticity, and heterogeneity. In the first study, a synaptic plasticity model is integrated into a spiking neural network simulator and extended with biologically plausible features, for example, continuous dynamics and increased locality. The effectiveness of this enhanced model is demonstrated by training it on a standard neuromorphic benchmark task, incorporating biologically realistic sparse connectivity and weight constraints. The second study demonstrates that the sampling efficiency of pre-trained spiking neural networks can be enhanced by exposing them to oscillating background spiking activity. Analogous to simulated tempering, these rhythmic oscillations modulate state space exploration, facilitating transitions between high-probability states within the learned representation. These findings establish a link between cortical oscillations and sampling-based computations, offering new insights into memory retrieval and consolidation from a computational perspective. The research involves developing mathematical and computational models, which are simulated on high-performance computing systems, evaluating learning and sampling performance using standard machine learning metrics, and assessing computational efficiency by analyzing runtime. This thesis shows how biologically inspired mechanisms enhance the functional capabilities of spiking neural networks and how they can guide the development of scalable and efficient AI systems.

OpenAccess:
PDF
(additional files)
External link:
Fulltext by OpenAccess repository