Test case generation from natural language requirements for embedded systems with semantic role labeling

Kugler, Alexander; Rumpe, Bernhard; Kowalewski, Stefan

doi:44264

Test case generation from natural language requirements for embedded systems with semantic role labeling = Generierung von Testfällen aus natürlichsprachlichen Anforderungen für eingebettete Systeme mittels Semantic Role Labeling

Kugler, Alexander^RWTH*

2025

Verantwortlichkeitsangabevorgelegt von M. Sc. RWTH Alexander Kugler

ImpressumAachen : RWTH Aachen University, Department of Computer Science 2025

Umfang1 Online-Ressource : Illustrationen

ReiheAachener Informatik-Berichte ; 2025,04

Dissertation, RWTH Aachen University, 2025

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Kowalewski, Stefan (Thesis advisor)^RWTH* ; Rumpe, Bernhard (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2025-01-07

Online
DOI: 10.18154/RWTH-2025-03901
URL: https://publications.rwth-aachen.de/record/1010169/files/1010169.pdf

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
Natural Language Processing (frei) ; SMT Solving (frei) ; Semantic Role Labeling (frei) ; embedded systems (frei) ; test case generation (frei)

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Die in dieser Dissertation vorgestellte Arbeit untersucht den Einsatz von ”Semantic Role Labeling (SRL)” zur Generierung von Testfällen aus natürlichsprachlichen Anforderungen für eingebettete Systeme. Der Ansatz, der als ”Test Generation with Semantic Role Labeling (TG-SRL)” bezeichnet wird, besteht aus fünf Phasen und kombiniert maschinelles Lernen mit einem regelbasierten Ansatz. Die mittels SRL extrahierten Informationen werden zunächst zu logischen Ausdrücken aggregiert, bevor sie in Formeln der Prädikatenlogik erster Ordnung (FOL) übersetzt werden. Die Generierung von Testfällen erfolgt durch die Lösung von Erfüllbarkeits-Modulo-Theorie (SMT) Instanzen. Durch die Modifikation der SMT-Instanzen gemäß definierten Taktiken wird eine Testsuite erzeugt. Die Dissertation schließt mit einer Evaluierung von TG-SRL mittels einer auf Mutanten basierenden Stärkeanalyse und einem Vergleich mit dem Ansatz Nat2 Test von Carvalhoet al. ab. TG-SRL zeigt eine vorteilhafte Performance und liefert wertvolle Einblicke in den Einsatz von Methoden des Natural Language Processing (NLP), insbesondere von SRL, im Bereich der Testfallgenerierung. Die in dieser Arbeit vorgestellten Methoden und Konzepte wurden in einem öffentlich zugänglichen Forschungsframework implementiert.

The work presented in this thesis explores the application of Semantic Role Labeling(SRL) for the generation of test cases from natural language requirements for embedded systems. The approach, labelled Test Generation with Semantic Role Labeling (TG-SRL), is composed of five stages and combines machine learning with a rule-based approach. Information extracted via Semantic Role Labeling (SRL) is initially aggregated into logical expressions before being translated into First-Order Logic (FOL) formulae. Test case generation is achieved using Satisfiability Modulo Theory (SMT) solving. By modifying the SMT instance according to defined tactics, a test suite is generated.The thesis concludes with an evaluation of TG-SRL using a mutant-based strength analysis, and a comparison with the Nat2Test approach from Carvalho et al. TG-SRL performs favorably and provides valuable insights into employing Natural Language Processing (NLP) methods, and in particular SRL, in the field of test case generation. The methods and concepts presented in this thesis have been implemented in a publicly available research framework.

OpenAccess:
PDF
(additional files)