Performance metrics for access pattern-aware analysis of heterogeneous memory power consumption in HPC

Alt, Lukas; Lankes, Stefan; Kozhokanova, Anara; Müller, Matthias S.

doi:10.18154/RWTH-2023-10152

Performance metrics for access pattern-aware analysis of heterogeneous memory power consumption in HPC = Metriken zur Analyse des Energieverbrauchs von heterogenem Arbeitsspeicher im Hochleistungsrechnen unter Berücksichtigung der Zugriffsmuster

Alt, Lukas^RWTH*

2023

VerantwortlichkeitsangabeLukas Alt

ImpressumAachen : RWTH Aachen University 2023

Umfang1 Online-Ressource : Illustrationen, Diagramme

Masterarbeit, RWTH Aachen University, 2023

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Müller, Matthias S. (Thesis advisor)^RWTH* ; Lankes, Stefan (Thesis advisor)^RWTH* ; Kozhokanova, Anara (Consultant)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2023-10-19

Online
DOI: 10.18154/RWTH-2023-10152
URL: https://publications.rwth-aachen.de/record/972397/files/972397.pdf

Einrichtungen

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Als Reaktion auf die steigende Nachfrage nach Speicherkapazität und -performance hat die Heterogenität des Arbeitsspeichers im Hochleistungsrechnen zugenommen. Insbesondere werden neben DRAM auch Technologien wie High-Capacity Memory (HCM) und High-Bandwidth Memory (HBM) eingesetzt. Während der Energieverbrauch von DRAM in der Vergangenheit oft bei der Energieoptimierung auf Knotenebene vernachlässigt wurde, motiviert der erhöhte Energieverbrauch von HCM die Untersuchung des Energieverbrauchs von heterogenem Speicher auf aktuellen Architekturen mit unterschiedlichen Zugriffsmustern. Es wird eine Methode zur Messung des Energieverbrauchs des Speichers durch Hardware-Instrumentierung der Speichersteckplätze beschrieben und implementiert. Die so durchgeführten Messungen werden mit RAPL verglichen, einem Interface zur Begrenzung und Messung des Energieverbrauchs auf Intel Systemen. Die Ergebnisse zeigen, dass die RAPL Messungen für den Arbeitsspeicher erheblich - um bis zu 120%- von Referenzmessungen auf Intel Ice Lake-SP Systemen abweichen. Eine Diskussion möglicher Gründe ergab, dass die RAPL-Speicherdomäne möglicherweise Verluste auf der Spannungsreglerebene enthält. Die Genauigkeit der Referenzmessungen wurde durch den Vergleich von Ergebnissen aus der Literatur mit den Ergebnissen auf einer ähnlichen Architektur (Broadwell-EP) im Rahmen dieser Arbeit validiert. In dieser Arbeit werden die neuen Metriken DEL und DES für die Bewertung des Energieverbrauchs von heterogenem Arbeitsspeicher unter Berücksichtigung der Zugriffsmuster vorgestellt. Zusätzlich wurde die BpW-Metrik für die Charakterisierung der Speicherenergieeffizienz verwendet. Die Metriken basieren auf Energiemessungen, die auf der Ice Lake-Architektur mit DRAM und Intel Optane Persistent Memory (PMem) durchgeführt wurden. Die Ergebnisse zeigen, dass das Zugriffsmuster und die Anzahl der gleichzeitigen Speicherzugriffe den dynamischen Energieverbrauch erheblich beeinflussen. Außerdem zeigt sich, dass PMem im Idle-Betrieb pro Kapazität energieeffizienter als DRAM ist und sich somit besser für die Speicherung selten benötigter Daten eignet. Unter Last ist DRAM aber energieeffizienter als PMem. Die präsentierten Metriken werden dann zur Schätzung des Energieverbrauchs realer Anwendungen verwendet, gefolgt von einer Diskussion über die Anwendbarkeit dieses Ansatzes und Verbesserungsmöglichkeiten.

In response to the rising demand for memory performance and capacity, memory heterogeneity in HPC systems increased. In particular, technologies such as high-bandwidth memory (HBM) and high-capacity memory (HCM) are employed in addition to DRAM. While the power consumption of the memory subsystem was often neglected in node-level power optimizations in the past, the increased power consumption by HCM motivates studying the energy consumption of heterogeneous memory on the latest architectures under workloads with different memory access patterns. A method for measuring the memory energy consumption using hardware instrumentation of memory slots is described and implemented. Measurements using this approach are compared to RAPL, a software interface for limiting and controlling power consumption on Intel systems. Results show that RAPL energy measurements for the memory domain can differ significantly - up to 120% - from reference measurements on Intel Ice Lake-SP systems. A discussion of possible reasons yields that the RAPL memory domain may include losses at the voltage regulator level. The accuracy of the reference measurements was validated by comparing the results from the literature to results obtained from a similar architecture (Broadwell-EP). This thesis presents the new metrics DEL and DES for heterogeneous memory energy evaluation using different memory access patterns. Additionally, the BpW metric was utilized for memory energy efficiency characterization. The metrics are based on the instrumented energy measurements conducted on the Ice Lake architecture equipped with DRAM and Intel Optane Persistent Memory (PMem). The results demonstrate that the memory access pattern and the concurrency in memory accesses significantly impact the memory’s dynamic energy consumption. Furthermore, it shows that PMem is more energy efficient per capacity than DRAM at idle and is better suited for storing rarely accessed data. When PMem is under load, DRAM is more energy efficient. The proposed metrics are then used to estimate the energy consumption of real-world applications, followed by a discussion on the applicability of this approach and potential improvements.

OpenAccess:
PDF
(additional files)