Modal sound synthesis for interactive virtual environments

Rausch, Dominik; Vorländer, Michael; Kuhlen, Torsten

doi:10.18154/RWTH-2018-223108

Modal sound synthesis for interactive virtual environments = Modale Sound-Synthese für Interaktive Virtuelle Umgebungen

Rausch, Dominik^RWTH*

2017 & 2018

Verantwortlichkeitsangabevorgelegt von Dipl.-Inform. Dominik Rausch

ImpressumAachen 2017

Umfang1 Online-Ressource (VIII, 158 Seiten) : Illustrationen, Diagramme

Dissertation, RWTH Aachen University, 2017

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University 2018

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Kuhlen, Torsten (Thesis advisor)^RWTH* ; Vorländer, Michael (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2017-12-14

Online
DOI: 10.18154/RWTH-2018-223108
URL: https://publications.rwth-aachen.de/record/721513/files/721513.pdf

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
sound synthesis (frei) ; physically-based modelling (frei) ; virtual reality (frei) ; multi-modality Soundsynthese (frei) ; Modal-Analyse (frei) ; physikalisch-basierte Modellierung (frei) ; virtuelle Realität (frei) ; Multimodalität (frei) ; modal analysis (frei)

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Diese Arbeit behandelt Methoden zur interaktiven Soundsynthese für Echtzeitanwendungen. Zunächst wird in einer Studie die Anwendbarkeit und der Nutzen von synthetisierten Vibrations-Sounds anhand einer Interaktionsaufgabe untersucht. Für das in der Studie verwendete Szenario -- der Benutzung eines virtuellen Bohrers -- liefert das akustische Feedback ähnliche Ergebnisse wie das haptische Vibrationsfeedback, sodass die Haptik durch synthetisierte Sounds ersetzt werden kann. Modale Synthese ist ein vielversprechender Ansatz für die automatische, physikalisch-basierte Synthese von Kontakt-Klängen. Die Modalsynthese analysiert die Geometrie und Materialeigenschaften eines Objektes, um charakteristische Vibrationsmoden zu bestimmen. Allerdings bestehen noch Probleme für die Anwendbarkeit der Modalsynthese für Echtzeit-Anwendungen, die in dieser Arbeit behandelt werden. Um Modale Sound-Synthese nutzen zu können, werden Objekte mit einer Modalanalyse analysiert, um ihre Moden zu bestimmen. Die Modalanalyse ist zeitaufwändig, und wird in der Regel vorab berechnet. Für Objekte, die nicht vorverarbeitet werden können, muss die Modalanalyse zur Laufzeit durchgeführt werden. Diese Arbeit stellt Methoden vor, um in interaktiven Anwendungen die Modalanalyse zur Laufzeit zu ermöglichen. Hierfür werden die Laufzeitanforderungen analysiert und passende Approximationsmethoden vorgestellt. Mit der Modalsynthese werden zur Laufzeit Moden angeregt und ihre Vibration verwendet, um Klänge zu generieren. Die Moden-Anregung und -Auswertung erfordert viele Berechnungsschritte, die die Modenanzahl - und damit die Anzahl und Komplexität von klingenden Objekten -- begrenzt. Um eine hohe Zahl an Moden zu ermöglichen, werden spezielle Methoden, insbesondere zur Nutzung von Grafikkarten, vorgestellt, um die Laufzeit-Synthese zu beschleunigen.

This thesis will present methods for sound synthesis for real-time application. In an initial study, the applicability and usability of synthesized vibration sounds will be examined for a virtual drilling task. The study shows that for the chosen scenario, realistic drilling sound can support interaction in a similar way to haptic vibrations, and can be utilized to compensate for a lack of haptic feedback. Modal Synthesis is a promising approach for an automatic synthesis of physically-based contact sounds from the geometry and material properties of scene objects. However, some limitations still restrict the applicability of modal synthesis, which will be addressed in this thesis. Synthesizing sounds in real-time can be a challenging problem. For this, Modal Synthesis is a promising approach that allows generating the contact of objects based on their physical properties. Modal Synthesis requires a Modal Analysis must be performed. This is a computationally expensive task and usually performed in a pre-processing step. In this thesis, approaches for the computation of a Modal Analysis at run-time will be proposed, which enable the use of Modal Synthesis for objects that cannot be analyzed upfront, e.g.\ because they are created interactively or are modified by the user. For this, the run-time requirements will be evaluated, and appropriate Levels-of-Detail approximations will be presented. When a Modal Analysis has been computed, the resulting modal data can be used to compute the vibration sound produced by an object. These vibrations are excited by forces acting on the object. At run-time, the Modal Synthesis has to evaluate the modal vibrations and apply the force excitation. While these computations can be performed on a CPU, this strongly limits the number and complexity of sounding objects and the forces acting on them. This thesis will present specialized algorithms to compute the Modal Synthesis with active forces on a graphics card, allowing for a high number of sounding objects.

OpenAccess:
PDF
(additional files)