Evaluating and comparing data placement optimization frameworks for heterogeneous memory systems

Huckebrink, Ben-Jay; Klinkenberg, Jannis; Lankes, Stefan; Müller, Matthias S.

doi:10.18154/RWTH-2025-08320

Evaluating and comparing data placement optimization frameworks for heterogeneous memory systems = Bewertung und Vergleich von Datenplatzierungs-Optimierungswerkzeugen für heterogene Speicherarchitekturen

Huckebrink, Ben-Jay^RWTH*

2025

VerantwortlichkeitsangabeBen-Jay Huckebrink

ImpressumAachen : RWTH Aachen University 2025

Umfang1 Online-Ressource : Illustrationen

Bachelorarbeit, RWTH Aachen University, 2025

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Müller, Matthias S. (Thesis advisor)^RWTH* ; Lankes, Stefan (Thesis advisor)^RWTH* ; Klinkenberg, Jannis (Consultant)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2025-09-29

Online
DOI: 10.18154/RWTH-2025-08320
URL: https://publications.rwth-aachen.de/record/1019304/files/1019304.pdf

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
data placement optimization (frei) ; heterogeneous memory (frei) ; high-bandwidth memory (frei) ; non-volatile memory (frei)

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Die speicherbezogenen Anforderungen von wissenschaftlichen Anwendungen steigen in immer höherem Tempo. Der traditionell genutzte Hauptspeicher, Dynamic Random Access Memory (DRAM), hält mit diesen steigenden Kapazitäts-, Geschwindigkeits- und Energieeffizienzanforderungen nicht mit. Daher werden heterogene Speicherarchitekturen, welche mehrere Speichertypen wie z.B. Non-Volatile Memory (NVM) und High-Bandwidth Memory (HBM) neben DRAM nutzen, immer präsenter. Um die Vorteile solcher Architekturen zu nutzen, werden einzelne Datenstrukturen der Anwendungen je nach deren Speicherzugriffsmustern in verschiedene Speichertypen platziert. Da eine solche Datenplatzierungs-Optimierung manuell vorzunehmen viel Wissen über die Anwendung und viel Zeit erfordert, wurden Datenplatzierungs-Optimierungswerkzeuge entwickelt, um diesen Prozess zu automatisieren und die getroffenen Entscheidungen zu verbessern. Jedoch hat die Forschung an diesen Werkzeugen deren Wirksamkeit nicht ausreichend untersucht. Zumeist wird nur die ausführungszeitbezogene Leistung der Platzierungsentscheidungen getestet, nicht aber die Benutzerfreundlichkeit der Werkzeuge oder deren Energieeffizienzvorteile. Zudem vergleicht diese existierende Forschung die verschiedenen Werkzeuge nicht miteinander. Zusammengenommen behindern diese Unzulänglichkeiten die weitere Forschung an solchen Werkzeugen, da die spezifischen Stärken und Schwächen von bereits existierenden Ansätzen unbekannt bleiben und daher deren Schwächen nicht systematisch behoben werden können. In dieser Arbeit adressiere ich diese Mängel, indem ich drei Datenplatzierungs-Optimierungswerkzeuge vergleiche und tiefergehend bewerte. Zu diesem Zweck entwickle ich einen hochgradig konfigurierbaren synthetischen Benchmark, welcher systematisch seine Speicherzugriffsmuster ändern kann. Diese Konfigurierbarkeit erlaubt mir, die spezifischen Stärken und Schwächen jedes dieser Werkzeuge zu untersuchen und deren Auswirkungen auf die Ausführungszeit und Energieeffizienz der getroffenen Platzierungsentscheidungen zu quantifizieren. Indem ich die Werkzeuge zusätzlich mit vier Proxy-Anwendungen teste, kann ich die realen Auswirkungen der identifizierten Vor- und Nachteile beurteilen. Zudem decken diese Proxy-Applikationen Schwächen in der Benutzerfreundlichkeit der Werkzeuge auf. Basierend auf meinen Ergebnissen schlage ich Modifikationen für diese Werkzeuge vor, die deren Platzierungsentscheidungen und Benutzerfreundlichkeit verbessern.

The memory-related demands of scientific applications rise at an ever-accelerating pace. However, traditional dynamic random access memory (DRAM) has not kept up with these increasing memory capacity, speed, and energy efficiency demands. In response, heterogeneous memory systems employing multiple memory types, such as non-volatile memory (NVM) or high-bandwidth memory (HBM), alongside DRAM have risen to prevalence. Leveraging the advantages of such systems involves placing individual application data structures into different memory types depending on their memory access behaviors. Since manually conducting such a placement optimization requires detailed application knowledge and a large time investment, previous research developed data placement optimization frameworks to automate this process and improve the placement decisions made. However, previous research on these frameworks has not adequately evaluated their efficacy. Most existing work tests only the execution time performance of the frameworks' placement decisions, leaving the frameworks' user experience and energy efficiency benefits unquantified. Crucially, existing research also does not compare the different frameworks against one another. In combination, these shortcomings impede research on future frameworks, since the specific strengths and weaknesses of already existing approaches remain unknown, meaning their weaknesses cannot be improved systematically. In this thesis, I address this shortage by evaluating and comparing three state-of-the-art data placement optimization frameworks in-depth. For this purpose, I develop a custom, highly configurable synthetic benchmark that can systematically alter its memory access behaviors. This configurability allows me to detail specific strengths and weaknesses of each framework's placement optimization algorithm and quantify their impact in terms of the execution time and energy efficiency the made placement decisions achieve. By also testing the frameworks on four proxy applications, I assess the real-world implications of the identified advantages and disadvantages. Further, using the proxy applications, I uncover shortcomings in the frameworks' user experience. Based on my observations, I propose modifications to the frameworks to improve their decision-making and their user experience.

OpenAccess:
PDF
(additional files)