Automatisierte Generierung von Testcode und Testdaten für modellbasierte Low-Code-Anwendungen

Hinweis: Um die Sensibilität unserer Kunden zu respektieren, haben wir den tatsächlichen Namen des Kundenprojekts verfremdet.

Gender-Hinweis: Aus Gründen der besseren Lesbarkeit wird in diesem Beitrag das generische Maskulinum verwendet. Die in diesem Artikel verwendeten Personenbezeichnungen beziehen sich – sofern nicht anders angegeben – auf alle Geschlechter.

Die Zivilplattform wurde speziell für Sachbearbeiter in der Finanzverwaltung konzipiert. Sie ermöglicht das zentrale und einfache Bearbeiten verschiedener Formulare im steuerlichen Kontext. Die Zivilplattform unterstützt eine intuitive Kommunikation zwischen Sachbearbeiter und Bürger ohne unnötige Umwege. Zudem bietet die Plattform die Möglichkeit, rechtsgültige Bescheide sicher und digital zu versenden, wodurch der aufwändige und zeitintensive Papierweg entfällt.

Kurz & knapp

  • Die Qualitätssicherung bei der Zivilplattform war mit einer Vielzahl von Herausforderungen konfrontiert, wie beispielsweise der großen Anzahl an zu testenden Formularen, der komplexen Fachlichkeit und den kurzen Testphasen.
  • Das mgm Quality Team prüfte Berechtigungen, testete Formulare und überprüfte die Bescheide, um sicherzustellen, dass die Zivilplattform reibungslos funktioniert und den Anforderungen entspricht.
  • Durch den kombinierten Einsatz der modellbasierten Werkzeuge A12-TDG und A12-ATA war das Quality Team in der Lage die Effizienz zu steigern und den wachsenden Anforderungen an Qualität gerecht zu werden.
  • Qualitätssicherung im digitalen Zeitalter braucht kreative generische Lösungen.

Herausforderungen aus Sicht der Qualitätssicherung für die Zivilplattform

Die Qualitätssicherung der Zivilplattform war mit einer Vielzahl von Herausforderungen konfrontiert: Die große Anzahl der Formulare, die getestet werden musste, die Berücksichtigung von 16 Bundesländern sowie die enorme Variationsbreite der Formulare stellten große Hürden dar. Hinzu kam die große Anzahl relevanter Testszenarien aufgrund der vielen Formularvarianten und Felder pro Variante. Die komplexe Fachlichkeit hatte einen starken Einfluss auf die Testszenarien, was die Qualitätssicherung zusätzlich erschwerte.

Als besonders anspruchsvoll erwies sich die Prüfung der Berechtigungen in den Bundesländern und deren Hierarchieebenen. Es musste sichergestellt werden, dass die automatisch an die Bürger versandten Dokumente gesetzeskonform und im Hinblick auf sensible Daten korrekt waren. All diese Aspekte machten die Qualitätssicherung zu einem äußerst kritischen, zeitaufwändigen, komplexen und kostspieligen Prozess.

Kurze Testphasen und ein ständig steigender Testaufwand verschärften die Situation zusätzlich und erforderten vom mgm Quality Team ein Höchstmaß an Kreativität, Effizienz und Präzision.

Zivilplattform: Die Aufgaben des Quality Teams

Das Quality Team des Zivilplattform-Projekts hatte mehrere wichtige Aufgaben: Es war verantwortlich für die Überprüfung der Berechtigungen unterschiedlicher Nutzergruppen, insbesondere in Bezug auf die verschiedenen Bundesländer und deren Hierarchieebenen. Dazu gehörte auch die Überprüfung, ob die Sachbearbeiter die notwendigen Zugriffsrechte hatten, um die entsprechenden Formulare bearbeiten und versenden zu können und umgekehrt.

Die Tester überprüften die Plattform, indem sie die Formulare vorbereiteten, bearbeiteten und abschlossen, um so sicherzustellen, dass der Prozess reibungslos ablief. Nach dem Abschluss der Formulare und somit dem Versand der daraus resultierenden Dokumente, überprüften sie die Richtigkeit der generierten Ergebnisse, um sicherzustellen, dass die erstellten Bescheide und Dokumente den gesetzlichen Anforderungen entsprachen und alle relevanten Informationen korrekt enthielten.

Strategische Herausforderungen und Lösungsansätze im Zivilplattform-Projekt: Automatisierung, Wartung und Effizienzsteigerung

Doch zunächst haben sich im Zivilplattform-Projekt einige potenzielle Probleme abgezeichnet, die es zu berücksichtigen galt. „Ohne Automatisierung wäre der enorme manuelle Testaufwand schlicht nicht zu bewältigen gewesen“, so Lilia Gargouri, Projektmanagerin des mgm Quality Teams. Die Implementierung automatisierter Tests für jedes Formular war jedoch aufgrund der Vielzahl der Felder und Testszenarien mit einem hohen Aufwand verbunden. Zudem drohte schon nach kurzer Zeit die „Wartungsfalle“, da im Zivilplattform-Projekt regelmäßig Änderungen an den Formularen vorgenommen werden.

Besonders problematisch war die hohe Anzahl kritischer Funktionalitäten mit potenziell großen Auswirkungen auf Bundesebene, insbesondere in Bezug auf die gesetzeskonforme Erstellung und den Versand von Dokumenten an Bürger mit korrekten sensiblen Daten. Diese Funktionen forderten den größten Teil der verfügbaren Kapazitäten des Quality Teams ein, wodurch innerhalb der kurzen Testphasen nur eine geringe Testabdeckung erreicht werden konnte. Das Risiko kritischer Fehler blieb also weiterhin bestehen.

Darüber hinaus sind die Änderungen an Formularen von Jahr zu Jahr und von Bundesland zu Bundesland unterschiedlich, was eine Testautomatisierung erschwert. Die Notwendigkeit, viele Ressourcen zur Lösung dieser Probleme einzusetzen, ist kostspielig und nicht nachhaltig. Es war klar, dass eine ausschließliche Konzentration auf manuelle Tests oder eine unüberlegte Testautomatisierung keine nachhaltigen Lösungen darstellen würden. „Daher kam nur ein strategischer Ansatz in Frage“, betont Lilia Gargouri. Dieser konzentrierte sich auf die kritischen Funktionalitäten und sollte eine effiziente Nutzung der verfügbaren Ressourcen sicherstellen.

Kreative und innovative Lösungen für effizientes automatisiertes Testen im Zivilplattform Projekt

Um die Herausforderungen der Qualitätssicherung im Zivilplattform-Projekt entgegenzuwirken, entstand die Idee, die Daten- und UI-Modelle der mgm A12 Enterprise Low Code-Plattform zu nutzen. In der Folge konnten zwei kreative, modellbasierte Lösungsansätze umgesetzt und miteinander kombiniert werden.

1. modellbasierter Lösungsansatz: mgm A12-TDG zur automatischen Testdatengenerierung

Die validen Testdatensätze für das manuelle und automatisierte Testen der A12-Formulare wurden im Zivilplattform-Projekt mit dem modellbasierten mgm A12-Testdatengenerator (TDG) generiert.

A12-TDG verwendet ausschließlich die A12-Datenmodelle mit ihren definierten Feldern, Validierungs- und Berechnungsregeln aus der A12-Low-Code-Plattform. Diese werden zunächst in mathematische Modelle überführt und anschließend von sogenannten SMT-Solvern verarbeitet, die Lösungen für die mathematischen Modelle berechnen. Dabei handelt es sich um ein formales System, das es ermöglicht, Aussagen über Variablen in verschiedenen Theorien wie der Arithmetik, der Mengenlehre und anderen mathematischen Strukturen zu machen und zu überprüfen. Dieser Prozess ermöglichte die automatisierte Generierung von Testdaten für sehr komplexe Modelle im Zivilplattform Projekt.

Zusätzlich zur Testdatengenerierung wird mit A12-TDG ein spezifischer Fehlertyp erkannt, wodurch sich Widersprüche in den Regeln aufdecken lassen. Dies ist vor allem bei komplexen fachlichen Modellen wichtig, bei denen menschliche Fehler schwer zu erkennen sind – wie im Steuerkontext beim Zivilplattform Projekt, aber zum Beispiel auch bei umfangreichen Versicherungsprodukten.

Simon Bergler, Experte für Qualitätssicherung im Zivilplattform-Projekt, erklärt:

„Durch die automatisierte Vorbereitung der zu testenden Formularvarianten war es möglich, Fehler mit einer stabilen Reproduzierbarkeit von 100% zu identifizieren. Das war sowohl für die Identifikation der Auslöser von Fehlern als auch für die Fehlerbehebung entscheidend. Diese Maßnahme erleichterte nicht nur die Testdurchführung erheblich, sondern beschleunigte auch die Reproduzierbarkeit von Fehlersituationen und damit die Fehlerbehebung.“

Mehr erfahren über automatische Testdatengenerierung?

Deep Dive zum TDG lesen

2. modellbasierter Lösungsansatz: mgm A12-ATA zur automatischen Code-Generierung für die UI-Testautomatisierung

Nehmen wir als Beispiel ein komplexes Steuerformular mit vielen Feldern. In der Vergangenheit haben wir die für die Testautomatisierung notwendigen Steuerelemente eines komplexen Steuerformulars erst nach Fertigstellung der Benutzeroberfläche (UI) implementiert. Wenn sich die Benutzeroberfläche änderte, mussten wir unseren Code entsprechend anpassen.

Nun generieren wir aus dem A12-Datenmodell, das die Felddefinitionen enthält, und aus dem UI-Modell, aus dem später die UI des Steuerformulars erstellt wird, mit Hilfe des A12-ATA den Code für die QF-Test-Automatisierung der A12-Formulare. Zusätzlich verfügt A12-ATA über einen Interpreter mit einer Bibliothek, die alle A12-Widgets auf der Benutzeroberfläche mit QF-Test steuern kann.

Mit A12-ATA ist das automatische Ausfüllen oder Prüfen von A12-Formularen mit sehr wenig Implementierung möglich: Ändern sich die A12-Modelle und damit die UI, generiert A12-ATA automatisch neuen Code für die Testautomatisierung, der mittels QF-Test direkt ausgeführt werden kann. Das modellgetriebene Testautomatisierungswerkzeug ermöglicht somit eine sehr frühe („very early“) UI-Testautomatisierung ohne in die Wartungsfalle automatisierter Tests geraten zu müssen.

Lilia Gargouri, die A12-ATA entwickelt hat, erklärt:

„Wie man sich vorstellen kann, ist die A12 Low Code Testautomatisierung mit ATA sehr attraktiv, insbesondere bei Projekten mit vielen zu testenden Formularen. Das Tool erspart uns erheblichen Implementierungs- und Wartungsaufwand und beschleunigt die Automatisierung unserer Testszenarien“.

Natürlich braucht ATA für das Befüllen der A12 Formulare valide Testdatensätze. Diese werden mit Hilfe des modellbasierten Tools A12-TDG automatisch generiert und anschließend von ATA bezogen. Wo ein manueller Test zur Prüfung eines komplexen Steuerformulars der Zivilplattform beispielsweise zwei Stunden in Anspruch genommen hätte, wurden durch den Einsatz von A12-ATA lediglich noch zehn Minuten benötigt. Dies ermöglichte es, neben dem Qualitätsteam auch Entwickler und Business-Analysten einzubeziehen, um technische und fachliche Fragen effizienter und unkomplizierter zu prüfen.

Neugierig auf End-to-End Testautomatisierung?

Mehr lesen im Deep Dive 

Testdurchführung mit A12-ATA und A12-TDG effizienter

Die von uns eingeführten modellbasierten Werkzeuge in der Qualitätssicherung des Zivilplattform-Projektes waren ein voller Erfolg: Die Lösungsumsetzung trug maßgeblich zur Effizienz- und Qualitätssteigerung des Kundenprojekts bei. Die schnelle Implementierung von wartungsarmen Regressionstests ermöglichte eine flexible Fehleridentifizierung und -behebung, wodurch sich die Softwarequalität verbesserte. Das Quality Team wurde entlastet und konnte sich auf anspruchsvollere Aufgaben konzentrieren.

Lilia Gargouri fasst zusammen: “Qualitätssicherung im digitalen Zeitalter braucht kreative generische Lösungen. Durch den Einsatz der modellbasierten Werkzeuge A12-TDG und A12-ATA in Kombination waren wir im Zivilplattform-Projekt in der Lage die Effizienz zu steigern und den wachsenden Anforderungen an Qualität gerecht zu werden.”

Und sie wagt einen Blick in die Zukunft: “Nach dieser bereichernden Erfahrung werden wir sicherlich die Entwicklung weiterer kreativer generischer Werkzeuge vorantreiben, um die Qualitätssicherung von Enterprise Software zu erleichtern und zu beschleunigen.”

Bei Interesse an automatisierter Qualitätssicherung für Ihr Projekt hilft Ihnen unser Quality Team gerne weiter!

 Jetzt Kontakt aufnehmen

Weiterführende Artikel: