Numerical methods for stochastic optimal control: applications in rare event estimation and wireless networks

Subbiah Pillai, Shyam Mohan; Ben Rached, Nadhir; Jasra, Ajay; Tempone, Raul

doi:44427

Numerical methods for stochastic optimal control: applications in rare event estimation and wireless networks

Subbiah Pillai, Shyam Mohan^RWTH*

2025

Verantwortlichkeitsangabevorgelegt von Shyam Mohan Subbiah Pillai, M. Sc.

ImpressumAachen : RWTH Aachen University 2025

Umfang1 Online-Ressource : Illustrationen

Dissertation, RWTH Aachen University, 2025

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Tempone, Raul (Thesis advisor)^RWTH* ; Ben Rached, Nadhir (Thesis advisor) ; Jasra, Ajay (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2025-06-02

Online
DOI: 10.18154/RWTH-2025-05282
URL: https://publications.rwth-aachen.de/record/1013009/files/1013009.pdf

Einrichtungen

Projekte

Inhaltliche Beschreibung (Schlagwörter)
McKean--Vlasov (frei) ; optimal control (frei) ; rare events (frei) ; wireless networks (frei)

Thematische Einordnung (Klassifikation)
DDC: 510

Kurzfassung
In dieser Arbeit werden numerische Methoden für nicht standardisierte stochastiche Optimierungsprobleme entwickelt, die durch Anwendungen in der Schätzung von Rare Events und energieeffizienter drahtloser Netzwerke motiviert werden. Die grundlegende Prozessmodelle sind kontrollierte stochastische Differentialgleichungen. Im ersten Teil stellen wir einen effizienten Monte Carlo-Schätzer für Rare Event Wahrscheinlichkeiten von McKean--Vlasov stochastische Differentialgleichungen, die für die Analyse von Mean-Field-Systemen in der statistischen Physik, der Finanzmathematik und vielen weiteren Anwendungen wichtig sind. Unter Verwendung von stochastischer optimaler Kontrolle leiten wir eine optimale Importance-Sampling-Maßänderung ab, die den relativen statistischen Fehler des Schätzers minimiert. Anschließend kombinieren wir Importance-Sampling mit hierarchischen Monte-Carlo-Methoden wie Multilevel- und Multi-index-Monte Carlo, um seine Rechenkomplexität zu reduzieren. Der resultierende Multi-index-Double-Loop-Monte-Carlo-Schätzer erreicht eine deutlich verbesserte Rechenkomplexität von O(TOL^{-2} log(TOL^{-1})^{2}) für die Schätzung von Wahrscheinlichkeiten mit einer vorgegebenen relativen Genauigkeit TOL. Im zweiten Teil entwickeln wir einen Modellierungs- und numerischen Rahmen zur Lösung eines zufallsbeschränkten Optimierungsproblems in zellularen drahtlosen Netzwerken, bei dem das Ziel darin besteht, eine optimale kurzfristige Strombeschaffungsstrategie zu berechnen, die sowohl die Betriebskosten als auch den CO2-Fußabdruck minimiert. Das Modell berücksichtigt unsichere erneuerbare Energiequellen, stochastische drahtlose Kanäle und eine probabilistische Quality-of-Service-Bedingung, was es zu einem anspruchsvollen stochastiche Optimierungsproblem macht. Das Lösungsverfahren beinhaltet eine Lagrange-Relaxation der Quality-of-Service-Bedingung, ein rechnerisch effizientes numerisches Schema zur Lösung der Hamilton--Jacobi--Bellman partielle Differentialgleichung für den entspannten Problem, und einen Optimierungsrahmen für das nicht-glatte duale Problem, der einen effektiven Umgang mit der probabilistischen Bedingung ermöglicht. Das vorgeschlagene numerische Methode liefert optimale Strategien für eine zellulare Station, die mit einem hybriden Energiesystem betrieben wird, unter Verwendung von deutschen Netz- und zellularen Nutzerdaten. Die Ergebnisse zeigen, dass unser Methode Lösungen in einem praktischen Zeitrahmen liefert, was seine Berechnungseffizienz und seine Anwendbarkeit in der Praxis unterstreicht.

This thesis develops numerical methods for non-standard stochastic optimal control (SOC) problems, driven by real-world applications in rare event estimation and energy-efficient wireless networks. The underlying process models are controlled stochastic differential equations. In the first part, we introduce an efficient Monte Carlo (MC) estimator of rare event probabilities associated with the McKean--Vlasov stochastic differential equation, crucial for analysing mean-field systems in statistical physics, mathematical finance and many more applications. Using SOC, we derive an optimal importance sampling (IS) measure change that minimises the estimator's relative statistical error. We then combine IS with hierarchical sampling techniques, like multilevel and multi-index MC, to enhance its computational complexity. The resulting multi-index double loop MC estimator achieves a significantly improved computational complexity of O(TOL^{-2} log(TOL^{-1})^{2}) for estimating rare event probabilities with a prescribed relative accuracy TOL. In the second part, we develop a modelling and numerical framework to solve a chance-constrained SOC problem in cellular wireless networks, where the objective is to compute an optimal short-term power procurement strategy that minimises both operating expenditure and carbon footprint. The model accounts for uncertain renewable energy sources, stochastic wireless channels, and a probabilistic quality-of-service (QoS) constraint, making it a challenging SOC problem. The solution procedure involves a continuous-time Lagrangian relaxation of the QoS constraint, a computationally efficient numerical scheme to solve the Hamilton--Jacobi--Bellman partial differential equation associated with the relaxed problem, and an optimisation framework for the non-smooth dual problem, enabling effective handling of the probabilistic constraint. The proposed numerical procedure provides near-optimal policies for a model cellular base station powered by a hybrid energy system, using German grid and cellular user data. Results demonstrate that our approach delivers solutions in a practical time-frame, emphasising its computational efficiency and real-world applicability.

OpenAccess:
PDF
(additional files)