guest ::
Leveraging hierarchical monitoring data for job-specific energy attribution = Verwendung hierarchischer Monitoringdaten zur Berechnung job-spezifischer Energieverbräuche
2025
Bachelorarbeit, RWTH Aachen University, 2025
Veröffentlicht auf dem Publikationsserver der RWTH Aachen University
Genehmigende Fakultät
Fak01
Hauptberichter/Gutachter
; ;
Tag der mündlichen Prüfung/Habilitation
2025-02-28
Online
DOI: 10.18154/RWTH-2025-07962
URL: https://publications.rwth-aachen.de/record/1018768/files/1018768.pdf
Einrichtungen
Inhaltliche Beschreibung (Schlagwörter)
cluster monitoring (frei) ; energy consumption modelling (frei) ; high performance computing (frei) ; job energy attribution (frei)
Thematische Einordnung (Klassifikation)
DDC: 004
Kurzfassung
Heutzutage gibt es eine hohe Sensibilität für Nachhaltigkeit und Energieeffizienz im Hochleistungsrechnen. Da heutige Rechencluster bis zu mehreren Megawatt Stromverbrauchen können, besteht die Notwendigkeit, den Energieverbrauch des Clusters den Jobs, die auf ihm ausgeführt werden, zuzuordnen. Auf diese Weise können die Betreiber von Rechenclustern den Energieverbrauch und die Kohlenstoffemissionen der Rechenaufträge den Benutzern in Rechnung stellen. In früheren Forschungsarbeiten wurde der Stromverbrauch von Prozessen auf Computern untersucht und es wurden Modelle zur Schätzung desselben entwickelt. Diese Modelle und Softwaretools fokussieren sich aber auf die Auswertung während der Prozess auf einem Computer läuft. Da aber für einen Rechencluster Performancemetriken verfügbar sind, kann der Energieverbrauch eines Jobs nach dessen Beendigung unter Verwendung von Metriken aus der Umgebung des Rechenclusters und der Hardware der Rechenknoten geschätzt werden. In dieser Arbeit werden zwei Modelle, die Schätzungen für den Energieverbrauch der Rechenknoten liefern, und drei Gewichtungsfaktoren, die den Energieverbrauch den einzelnen Jobs auf einem Knoten zuordnen, vorgeschlagen und implementiert. Die Modelle verwenden Metriken von Stromverteilungseinheiten, Netzteilen und Hardware-Sensoren, die während des Betriebs des Clusters zur Überwachung der Performance gesammelt werden. Die Auswertung zeigt eine Abweichung zwischen den Modellschätzungen und dem Energieverbrauch der Netzteile von durchschnittlich 0,08% und 1,93% für die beiden Modelle. Die vorgeschlagenen Gewichtungsfaktoren unterscheiden sich in ihren Schätzungen und fördern unterschiedliches Benutzerverhalten oder ordnen nicht den gesamten Energieverbrauch eines Knoten den Jobs zu.Nowadays, there is a great awareness for sustainability and energy efficiency in computing. With compute clusters drawing up to several megawatts of power, there is a need to attribute the energy consumption of the cluster to the jobs scheduled to run thereon. This way cluster operators can bill the users for the incurred energy consumption and carbon emissions of the computation jobs. Previous research has investigated the power consumption of processes and developed models for estimating a process’s power consumption. However, these models and software tools focus on the estimation while a process is running. With the availability of performance metrics of a compute cluster, a job’s energy consumption can be estimated after its end using additional metrics from the environment of the cluster and the compute node hardware. This thesis proposes and implements two models providing energy consumption estimates for the compute nodes and three weighting factors attributing the energy consumption to individual jobs running on the nodes. The models use metrics from the power distribution units (PDU), power supply units (PSU) and hardware sensors from the monitoring data gathered during the cluster operation for the estimates. The validation shows a deviation between model estimates and PSU energy consumption on average of 0.08% and 1.93% for the models. The proposed weighting factors differ in their estimates and each encourage different user behaviour or leave energy unattributed.
OpenAccess: 
PDF
(additional files)
Dokumenttyp
Bachelor Thesis
Format
online
Sprache
English
Interne Identnummern
RWTH-2025-07962
Datensatz-ID: 1018768
Beteiligte Länder
Germany
|
The record appears in these collections: |