Design of digital compute-in-memory architectures for efficient hardware systems

Lanius, Christian Dominik; Yoshimitsu, Aoki; Gemmeke, Tobias

doi:10.18154/RWTH-2026-03034

Design of digital compute-in-memory architectures for efficient hardware systems = Design von digitalen Compute-in-Memory Architekturen für effiziente Hardware Systeme

Lanius, Christian Dominik^RWTH*

2026

Verantwortlichkeitsangabevorgelegt von Christian Lanius, M. Sc.

ImpressumAachen : RWTH Aachen University 2026

Umfang1 Online-Ressource : Illustrationen

Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2026

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak06

Hauptberichter/Gutachter
Gemmeke, Tobias (Thesis advisor)^RWTH* ; Yoshimitsu, Aoki (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2026-02-27

Online
DOI: 10.18154/RWTH-2026-03034
URL: https://publications.rwth-aachen.de/record/1030465/files/1030465.pdf

Einrichtungen

Lehrstuhl für Integrierte digitale Systeme und Schaltungsentwurf (611110)

Projekte

Inhaltliche Beschreibung (Schlagwörter)
EDA (frei) ; Smith-Waterman Algorithm (frei) ; compute-in-memory (frei) ; digital circuit design (frei) ; hardware accelerator (frei) ; minimap2 (frei) ; non-deterministic finite automata (frei) ; sorting (frei)

Thematische Einordnung (Klassifikation)
DDC: 621.3

Kurzfassung
Seit dem Aufkommen der "large-scale integration" ist die Anzahl der Bauelemente und die Komplexität der Schaltungen in digitalen Chips exponentiell gewachsen, was die Digitalisierung des Alltags vorangetrieben hat. Dies wurde durch Fortschritte in der Halbleiterfertigung, der Automatisierung des digitalen Schaltungsentwurfs und Systemen, die die zunehmende Rechenleistung nutzen, ermöglicht. Viele Fortschritte zielen jedoch auf Optimierungen in der Herstellung ab, während der Speicherdurchsatz und die Latenz nicht entsprechend skalieren. Massiv parallele Workloads stoßen daher auf den Speicherengpass, der von Neumann- und verwandten Architekturen inhärent ist, was die Entwicklung von Compute-in-Memory-Architekturen (CIM) motiviert. Bei CIM werden Rechenelemente mit Speicherzellen kointegriert, um den Overhead durch Datenbewegungen zu verringern. Diese Dissertation entwickelt eine effiziente Entwurfsmethodik für CIM-Architekturen, die Lücken in traditionellen digitalen Entwurfsabläufen schließt. Wir bewerten die Wirksamkeit von CIM-Arrays für Genome Alignment und Deep Packet Inspection durch Vermessung von gefertigtem Silizium. Schließlich entwickeln wir Systeme zur Messung der hergestellten Designs und bewerten die Auswirkungen dieser Hardware-Beschleuniger auf das Genome Alignment sowohl im Edge- als auch im Hochleistungskontext. Traditionell beginnt die Implementierung von digitalen Schaltungen mit einer Beschreibung in einer Hardwarebeschreibungssprache (HDL), die zu Logikgattern synthetisiert wird, die danach dann automatisch platziert und geroutet werden. Dadurch wird der manuelle Aufwand minimiert, aber die Kontrolle über die Zellauswahl, Platzierung und Regelmäßigkeit eingeschränkt. Um diese Kontrolle zurückzugewinnen, beschreiben wir in Kapitel 3 einen hierarchischen Ansatz, der Arrays von Standardzellen definiert, die zu dichten, hochgradig regelmäßigen Arrays zusammengesetzt werden [1]. Wir ergänzen dies durch ein regelmäßiges Routing-Schema, das die zusätzliche Regelmäßigkeit bietet, die erforderlich ist, da kommerzielle Router extrem dichte Designs nicht routen können. Für verzögerungsempfindliche Anwendungen wie Time Domain Computing bietet dieser Ansatz die erforderliche Kontrolle, um die Auswirkungen von unregelmäßigem Routing zu mindern. Die Methodik erzeugt die, für typische Implementierung, erforderlichen Dateien und ermöglicht so eine nahtlose Integration. Mit diesem Ansatz erreichen wir Dichten von über 90 % und reduzieren die parasitäre Verdrahtungskapazität um das 1,8-fache im Vergleich zu einer automatisch platzierten und gerouteten Referenz.Während sich die meisten CIM-Arbeiten auf die Matrix-Vektor-Multiplikation konzentrieren, sind andere Bereiche noch wenig erforscht. Bei dem Genome Alignment ist das Sortieren eine wichtige Operation. Daher implementieren wir in Kapitel 4.2 einen CIM-basierten Sortierer, der Vergleiche auf Speicherebene durchführt [2] und aufgrund der CIM-inhärenten Datenstationarität bis zu 3,9-mal weniger Energie verbraucht als frühere Designs. Ähnliche Vorteile erzielen wir mit einem Finite-Automaten-Beschleuniger, den wir in Kapitel 4.1 näher betrachten. Im Kern geht es dabei um die Evaluierung einer spärlichen Übergangsfunktion, die den aktuellen Zustand und das Eingabesymbol einem oder mehreren nächsten Zuständen zuordnet - ein Muster, das sich gut für CIM eignet. Unsere Methodik implementierung die Zustandsübertragungsfunktion in jedem Speicherwort, was zu einem effizienten NFA-Beschleuniger führt [3]. Regular Expressions werden häufig verwendet, um bösartige Muster in der Deep Packet Inspection zu spezifizieren, und können in solche Automaten überführt werden. Unter Verwendung realer Netzwerkverkehrsverteilungen und durch Einsetzen eines Bloom-Filters um die Aktivität zu minimieren erreicht der Beschleuniger einen Energieverbrauch pro Eingangsbyte von 2,62 pJ/B, was 4,8-mal weniger ist als bei früheren Designs. In Kapitel 5.1 diskutieren wir die Anforderungen an das System zur Messung und Validierung der Designs. Beide sind in einer 22-nm-FDSOI-Technologie gefertigt und liefern experimentell validierte Ergebnisse hinsichtlich Durchsatz und Energieeffizienz. Die Fertigung ermöglicht auch die Evaluierung von Konstrukten, die mit herkömmlichen digitalen Designtools nicht gut abgedeckt sind, wie z. B. zeitabhängige Schaltungen. In Kapitel 5.2 zeigen wir, dass FDSOI-Technologien aufgrund ihrer Trimmbarkeit über das Backgate und der fehlenden elektrischen Verbindung zwischen Backgate und Transistorkanals potenzielle Ziele für Trojaner sind, die solche Strukturen auszunutzen. Anhand der Chips zeigen wir, dass Hardware-Trojaner, die für herkömmliche Simulationen und Analysen unsichtbar sind, in Silizium wirksam sind [4].Da eine direkte Validierung solcher Testchips in realistischen Anwendungsszenarien nicht möglich ist, verwenden wir FPGA-basierte Systeme, um zu quantifizieren, wie sich die Beschleunigung des base-level alignments [5] in Kapitel 5.2 und des Sortierens [6] in Kapitel 5.4 auf das Genome Alignment als Anwendung auswirkt. Frühere Arbeiten bieten nur eine begrenzte Bewertung der Auswirkungen auf Anwendungsebene und vernachlässigen häufig Systembeschränkungen. Unsere Analysen auf Systemebene zeigen neue optimale Designpunkte auf, wenn Einschränkungen wie die Bandbreite der Host-Kommunikation und der Overhead der Software-Auslagerung berücksichtigt werden. Im kompletten System erreicht der Sorter einen Durchsatz von 1,3 GB/s, was fast viermal weniger ist als bei der ASIC-Implementierung, aber immer noch die Bandbreite des Hauptspeichers übersteigt.

Since the advent of large-scale integration, device count and circuit complexity in digital chips have grown exponentially, fueling the digitalization of everyday life. This progress has been enabled by advances in semiconductor fabrication, digital design automation, and system design that exploit increasing compute capability. However, many advances target the processing side, while memory throughput and latency have not scaled commensurately. Massively parallel workloads therefore encounter the memory bottleneck inherent in von Neumann and related architectures, motivating compute-in-Memory (CIM) architectures. In CIM, compute elements are co-integrated with memory cells to alleviate data-movement overheads. This thesis develops an efficient design methodology for CIM architectures, addressing gaps in traditional digital design flows. We evaluate the effectiveness of CIM arrays in genome alignment and deep packet inspection using fabricated silicon. Finally, we develop systems to measure the fabricated designs and assess the impact that these hardware accelerators have on genome alignment in both edge and high-performance contexts. Conventional digital implementation flows start from a hardware description languages (HDL) description, synthesize it to logic gates, and then automatically place and route them, minimizing manual effort but limiting control over cell selection, placement, and regularity. To regain this control, we propose in Chapter 3 a hierarchical approach that defines arrays of standard cells assembled into dense, highly regular arrays [1]. We complement this with a template-based, regular routing scheme that provides the additional regularity required because commercial routers cannot route extremely dense designs. For delay-variation-sensitive applications such as time-domain computing, this approach affords the control needed to mitigate the impact of irregular routing. The methodology produces the design collateral needed for standard implementation flows, allowing seamless integration into the flow, as well as the physical layout. Using this approach, we achieve utilizations above 90% and reduce parasitic wiring capacitance by 1.8x compared with an automatically placed-and-routed baseline. While most CIM work targets matrix-vector multiplication, other domains remain underexplored. In genome alignment, a key operation is sorting. Thus, in Chapter 4.2 we implement a CIM-based sorter that performs memory-level maximum computations [2], achieving up to 3.9x lower energy than prior designs due to the data stationarity inherent in CIM. We obtain similar benefits with a finite-automaton accelerator, which we explore in Chapter 4.1. At its core is the lookup of a sparse transition function mapping the current state and input symbol to one or more next states; a pattern well suited to CIM. Our methodology allows the complete automaton function to be implemented in each memory word, yielding an efficient NFA accelerator [3]. Regular expressions are commonly used to specify malicious patterns in deep packet inspection and can be mapped to such automata. Using real network-traffic distributions and gating activity with a Bloom filter, the accelerator achieves an energy per input byte of 2.62pJ/B, 4.8x lower than prior designs. We discuss the requirements on the system to measure and validate the designs in Chapter 5.1. Both are fabricated in a 22nm FDSOI technology, providing experimentally validated results in throughput and energy efficiency. Fabrication also enables exploration of constructs not well covered by traditional digital design, such as timing-dependent circuits. In Chapter 5.2 we show that FDSOI technologies are potential targets for trojans to exploit such structures, owing to their wide tunability via the backgate and the lack of an electrical connection between backgate and channel. Using the chips, we demonstrate that hardware trojans, invisible to conventional simulation and analysis, are effective in silicon [4]. Because direct validation of such test chips in realistic application scenarios is infeasible, we employ FPGA-based systems to quantify how accelerating base-level alignment [5] in Chapter 5.2 and sorting [6] in Chapter 5.4 affects end-to-end genome alignment. Prior work offers limited assessment of application-level impact and often neglects system constraints. Our system-level evaluations reveal new optimal design points when constraints such as host-communication bandwidth and software offload overheads are considered. In the complete system, the sorter achieves a throughput of 1.3GB/s, almost 4x lower than the ASIC implementation, yet still exceeding main-memory bandwidth.

OpenAccess:
PDF
(additional files)