zBlog

Zufallselement beim Testen

Am vergangenen Freitag konnte man im Stuttgarter Rathaus die Präsentation des Stresstests für das Projekt Stuttgart 21 verfolgen. Wie zu erwarten war, war die Debatte insgesamt sehr von Rhetorik geprägt. Mich hat aber besonders die Testmethodik interessiert. Als Anbieter von Individualsoftware bin ich zwar mit dem Testen an sich bestens vertraut, aber wenn Tests in einem Szenario von mehreren Parteien mit gegensätzlichen Interessen durchgeführt werden, würde man zusätzlich noch spieltheoretische Aspekte erwarten.

Leider hat mich die präsentierte Vorgehensweise in dieser Hinsicht etwas enttäuscht. Wie erläutert wurde, wurden die Auswirkungen von Störungen anhand von zufällig gewählten Verzögerungen untersucht. Diese Beschränkung auf eine Stichprobe leuchtet ein, da die Simulation aller Möglichkeiten algorithmisch zu komplex gewesen wäre. Allerdings wurde an keiner Stelle erwähnt, woher die Simulation die Zufallsdaten nimmt. Man muss daher annehmen, dass sie als Teil der Simulation von der Deutschen Bahn erzeugt wurden. Auch der Schlussbericht zum Stresstest lässt keinen anderen Schluss zu.

Bei einem solchen Vorgehen kann aber von außen nicht mehr sichergestellt werden, dass die simulierten Kombinationen von Verzögerungen repräsentativ sind für die Gesamtheit der Möglichkeiten. Ohne hier viele Leser durch eine formal mathematische Begründung auszuschließen, ziehe ich an dieser Stelle eine Parallele, die für jeden, der schon einmal eine Prüfung an einer (Hoch-)schule abgelegt hat, nachvollziehbar sein sollte: Auch bei einer Prüfung ist es normalerweise nicht möglich, den gesamten zu prüfenden Stoff abzufragen. Trotzdem möchte man möglichst sicherstellen, dass man die Prüfung nur schafft, wenn man den gesamten Stoff gelernt hat, und macht daher auch Stichproben. Wenn man nun den Prüfling diese Stichprobe selbst bestimmen lässt, kann dieser aber auch die Prüfung bestehen, wenn er nur den Teil des Stoffs beherrscht, den er als Stichprobe wählt. Daher ist es üblich, dass der Prüfer wählt, was geprüft wird. Auf den Stresstest übertragen, müsste man daher erwarten, dass der Gutachter die Zufallsdaten liefert, nachdem alle anderen Simulationsparameter feststehen. Ich würde zwar nicht so weit gehen, zu unterstellen, dass dieser Umstand mutwillig genutzt wurde, um die Testergebnisse zu beschönigen. Allerdings können bei einer derart konstruierten Testmethodik auch leicht ohne zusätzliche Eingriffe Ungleichgewichte gegenüber einem repräsentativen Test entstehen.