8.3 Auswertung von Testmustermengen und Systemrobustheit
417
8.3 Auswertung von Testmustermengen und Systemrobustheit
8.3.1 Fehlerüberdeckung
Die Qualität von Testmustermengen kann mittels Fehlerüberdeckung als Metrik
getestet werden.
Definition 8.1: Die Fehlerüberdeckung ist der Prozentsatz an möglichen Fehlern,
der mit einer gegebenen Menge an Testmustern gefunden werden kann:
Fehlerüberdeckung =
Anzahl erkennbarer Fehler für gegebene Testmuster-Menge
Anzahl von im Fehlermodell möglichen Fehlern
In der Praxis ist eine Fehlerüberdeckung im Bereich von mehr als 98% bis 99%
zur Erzielung einer guten Produktqualität erforderlich. Die Anforderungen können
für bestimmte Systeme noch höher liegen. Für manche Hardware, wie z.B. Batterien,
können zudem spezielle Fehlermodelle erforderlich sein.
Zusätzlich zur Erzielung einer hohen Fehlerüberdeckung muss auch eine hohe sogenannte correctness coverage erzielt werden. Dies bedeutet, dass fehlerfreie
Systeme auch als solche erkannt werden müssen. Ansonsten wäre es möglich, eine
100%-ige Fehlerüberdeckung zu erreichen, indem man alle Systeme als fehlerhaft
klassifiziert.
Um die Anzahl an Möglichkeiten zur Validierung von Systemen zu erhöhen,
wurde vorgeschlagen, Testmethoden bereits in der Entwurfsphase anzuwenden. Beispielsweise können Fehlermustermengen auf Softwaremodelle von Systemen angewendet werden, um zu überprüfen, ob sich zwei Softwaremodelle identisch verhalten.
Zeitaufwendigere formale Methoden müssen nur in den Fällen zum Einsatz kommen,
in denen das System diese testbasierte Gleichheitsprüfung bestanden hat.
8.3.2 Fehlersimulation
Es ist momentan nicht möglich (und dies wird sich voraussichtlich auch nicht ändern),
das Verhalten von Systemen in Gegenwart von Fehlern vollständig vorherzusagen
oder die Fehlerüberdeckung analytisch zu berechnen. Daher wird das Verhalten von
Systemen unter Fehlereinfluss üblicherweise simuliert. Diese Art von Simulation
wird Fehlersimulation genannt. Bei der Fehlersimulation werden Systemmodelle verändert, um das Verhalten des Systems bei Vorhandensein eines bestimmten
Fehlers wiederzugeben. Die Fehlersimulation zielt darauf
• den Effekt eines Fehlers auf Systemebene herauszufinden (d.h. zu wissen, ob ein
Fehler redundant ist),
• zu wissen, ob Mechanismen zur Verbesserung der Fehlertoleranz tatsächlich eine
Verbesserung bringen.
417
8.3 Auswertung von Testmustermengen und Systemrobustheit
8.3.1 Fehlerüberdeckung
Die Qualität von Testmustermengen kann mittels Fehlerüberdeckung als Metrik
getestet werden.
Definition 8.1: Die Fehlerüberdeckung ist der Prozentsatz an möglichen Fehlern,
der mit einer gegebenen Menge an Testmustern gefunden werden kann:
Fehlerüberdeckung =
Anzahl erkennbarer Fehler für gegebene Testmuster-Menge
Anzahl von im Fehlermodell möglichen Fehlern
In der Praxis ist eine Fehlerüberdeckung im Bereich von mehr als 98% bis 99%
zur Erzielung einer guten Produktqualität erforderlich. Die Anforderungen können
für bestimmte Systeme noch höher liegen. Für manche Hardware, wie z.B. Batterien,
können zudem spezielle Fehlermodelle erforderlich sein.
Zusätzlich zur Erzielung einer hohen Fehlerüberdeckung muss auch eine hohe sogenannte correctness coverage erzielt werden. Dies bedeutet, dass fehlerfreie
Systeme auch als solche erkannt werden müssen. Ansonsten wäre es möglich, eine
100%-ige Fehlerüberdeckung zu erreichen, indem man alle Systeme als fehlerhaft
klassifiziert.
Um die Anzahl an Möglichkeiten zur Validierung von Systemen zu erhöhen,
wurde vorgeschlagen, Testmethoden bereits in der Entwurfsphase anzuwenden. Beispielsweise können Fehlermustermengen auf Softwaremodelle von Systemen angewendet werden, um zu überprüfen, ob sich zwei Softwaremodelle identisch verhalten.
Zeitaufwendigere formale Methoden müssen nur in den Fällen zum Einsatz kommen,
in denen das System diese testbasierte Gleichheitsprüfung bestanden hat.
8.3.2 Fehlersimulation
Es ist momentan nicht möglich (und dies wird sich voraussichtlich auch nicht ändern),
das Verhalten von Systemen in Gegenwart von Fehlern vollständig vorherzusagen
oder die Fehlerüberdeckung analytisch zu berechnen. Daher wird das Verhalten von
Systemen unter Fehlereinfluss üblicherweise simuliert. Diese Art von Simulation
wird Fehlersimulation genannt. Bei der Fehlersimulation werden Systemmodelle verändert, um das Verhalten des Systems bei Vorhandensein eines bestimmten
Fehlers wiederzugeben. Die Fehlersimulation zielt darauf
• den Effekt eines Fehlers auf Systemebene herauszufinden (d.h. zu wissen, ob ein
Fehler redundant ist),
• zu wissen, ob Mechanismen zur Verbesserung der Fehlertoleranz tatsächlich eine
Verbesserung bringen.