Conformiq Test Generator ™ - Frequently Asked Questions

Was ist "Conformiq Test Generator ™"?
Der Conformiq Test Generator ™ ist ein modellbasiertes Testautomatisierungs- und Testgenerierungstool. Das Werkzeug ersetzt den manuellen Prozeß des Schreibens von Testfällen durch automatisch generierte Tests auf der Basis eines UML-State-Diagramms. Der Conformiq Test Generator ™ besteht aus einem Testtool und bereits fertigen bzw. an Kundenbedürfnisse angepaßbarer Adapter-Toolkits, über die das Testen von allen Applikationsarten möglich ist.

Was versteht man unter Testgenerierung?
Conformiq Test Generator ™ generiert basierend auf dem Testmodell "Stimuli". Die vom zu testenden System (System Under Test) empfangenen Ergebnisse werden dann mit denen des Testmodells verglichen. Bei Abweichungen zwischen dem zu testenden System und dem Testmodell werden diese als Fehler gemeldet.

Was ist der Hauptnutzen des Conformiq Test Generators?
Mit dem Conformiq Test Generator ™ werden auf der Basis eines mathematischen Algorithmus über das Modell große Mengen von relevanten Testfällen generiert.

Man kann sich das Testmodell mit Zuständen (states) und Transitionen als eine Karte mit Städten und Straßen vorstellen, die die Städte verbinden. Je mehr Städte und Wege es gibt, desdo mehr verschiedene Straßen sind auswählbar. Conformiq Test Generator ™ bearbeitet das Testmodell ("die Straßenkarte") unter Nutzung von intelligenten Algorithmen und Test-Coverage-Techniken, um somit schnell eine Vielzahl verschiedener Tests (bzw. im übertragenen Sinne "Straßen") zu generieren. Hierdurch wird eine bessere Testüberdeckung erreicht. Die Tests werden effizienter als bei herkömmlichen Testmethoden.

Seitenanfang

Welche zusätzlichen Nutzen bringt der Conformiq Test Generator ™?

Mit UML-State-Diagrammen können auf sehr einfache Weise Parallelität (parallelism) und Nebenläufigkeit (concurrency) modelliert werden, die in heutigen Softwaresystemen weit verbreitet sind. Der Conformiq Test Generator ™ erlaubt den Testern diese zu kontrollieren und ermöglicht somit ein effizientes Testen derartiger komplexer Systeme.
Über den Modellingformalismus kann das Testpersonal intuitiv Datenabstraktionen definieren. Hierdurch können komplexe Datenkombinationen und Grenzwerte auf einfache Weise im Testmodell ausgedrückt werden.
Dank seiner flexiblen Architektur kann der Conformiq Test Generator ™ über eine Vielzahl von Kontroll- und Beobachtungspunkten ("Points of Control and Observation" - PCO) mit dem Testling kommunizieren. So ist es zum Beispiel möglich eine Web-Applikation über eine HTML/HTTP-basierte Benutzeroberfläche zu prüfen und gleichzeitig den internen Zustand des in einer Datenbank gespeicherten Systems über die Datenbankoberfläche zu beobachten.
ein Testmodell ist einfacher zu warten als Testskripten
das Testmodell ist ein formeller und eindeutiger Testplan.

Welche Unterstützung bietet der Conformiq Test Generator ™ beim Aufbau der Testbestände?
Conformiq Test Generator generiert auf der Basis eines grafischen Modells automatisch Testfälle. Der Tester muß lediglich die Applikation als Modell darstellen. Hierzu steht ein komfortabler grafischer Editor zur Verfügung. Die eigentlichen Testfälle werden durch den Testgenerator dann automatisch generiert.

Wie bindet sich der Conformiq Test Generator ™ in den Softwareentwicklungsprozeß ein?
Der Conformiq Test Generator ™ kann in einer Vielzahl von Prozessen eingesetzt werden. Diese reichen vom tradionellen Wasserfallmodell bis zu modernen Prozessen wie Extemprogramming (XP / eXtreme Programming).
Im Idealfall wird der Conformiq Test Generator ™ so früh wie möglich im Entwicklungsprozeß genutzt. Hierdurch sind effizente Tests schon zu Beginn der Entwicklung möglich. Die Entwicklung des Testmodells geschieht hier parallel zur Systementwicklung.

Seitenanfang

Was kann mit dem Conformiq Test Generator ™ gestestet werden?
Der Modelling-Formalismus des Conformiq Test Generators ist vom Einsatzgebiet unabhängig. Die Systemadaptionstechnologie (System adaptation technology) macht den Conformiq Test Generator ™ unabhängig von bestimmten Technologien und ermöglicht somit das Testen von quasi allen Systemen (von einfachen Embedded Systemen bis zu großen Webapplikationen).

Welche Arten von Fehlern, die manuell oder mit anderen Testtools nicht aufdeckbar sind, können mit dem Conformiq Test Generator ™ gefunden werden?
Das Testen von "concurrent functionalites" ist manuell meist nicht möglich. Hier zeigt der Conformiq Test Generator ™ seine Vorteile gegenüber traditionellen Testmethoden. Fehler im Zusammenhang mit "synchronization" und "concurrent use of resources" können mit dem Conformiq Test Generator ™ auf einfache Weise gefunden werden.

Applikationen mit großen Eingabedatenmengen sind ein weiteres Feld, in dem der Conformiq Test Generator ™ seine Stärken zeigt. Der Nutzer kann intuitiv Daten definieren. Der Testgenerator geniert dann Kombinations- und Grenzwerte, die auf dieser Definition basieren.

Der Conformiq Test Generator ™ findet nicht nur schwierig aufzudeckende Fehler, sondern bringt dem Nutzer durch die Testautomatisierungs- und Reportingfeatures vor allem einen bedeutenden Produktivitätaszuwachs bei der Suche nach Bugs.

Welche Betriebssysteme werden unterstützt?
Conformiq Test Generator ™ läuft auf Windows NT, Windows 2000, Windows XP und Linux. Das zu testenden System kann sich auf einer beliebigen Plattform befinden.

Seitenanfang

Ist es möglich, den Conformiq Test Generator ™ über Testmanagement-Tools zu steuern?
Ja. Der Conformiq Test Generator ™ ist in Mercurys Testprozeßmanagementtool TestDirector® integriert. Diese Integration verbessert die Testplanung, das Testmanagement sowie die Testausführung und hilft bei der Ausgabeauswertung sowie dem Fehlermanagement.

In welcher Art und Weise kann der Conformiq Test Generator ™ Lasttests unterstützen?
Conformiq Test Generator kann täglich tausende konkurrierende User automatisch simulieren. Durch parallelen Einsatz mehrerer Testgeneratoren kann die Anzahl der Testfälle weiter erhöht werden.
Hierdurch eignet sich das Tool hervorragend für Last- und Stresstests.
Siehe hierzu auch den Bericht "The World's Most Tested Transaction Switch" (pdf-Format)

Welche Messdaten liefert der Conformiq Test Generator ™ ?
Conformiq Test Generator liefert Pass/Failed-Daten im xml-Format.
Desweiteren gibt das Tool die Testabdeckung des Modells (state/transition/io/partition-Coverage) aus.

Seitenanfang

Kann der Conformiq Test Generator ™ den Zugriff mehrerer User gleichzeitig simulieren?
Mehrere vor allem konkurrierende User zu simulieren, ist die besondere Stärke des Conformiq Test Generators. Es können einige hundert bzw. sogar Tausende User gleichzeitig simuliert werden.
Die technische Beschränkung pro Teststeuermaschine ist die maximale Anzahl der gleichzeitigen TCP/IP-Verbindungen (meistens 32k).
Dank der dem Conformiq Test Generator zugrundeliegenden Methodik des Modells werden durch den Testgenerator jedoch bereits Fehler bei der Simulation mit weniger Test-Usern aufgedeckt.

Kann der Conformiq Test Generator Tests aus meinen "State Chart Design Modellen " generieren?
Ein Designmodell ist ein Modell, welches die gewünschte Funktionalität der Software aus der Systemperspektive beschreibt. Der Conformiq Test Generator generiert Tests aus einem "Tester-Modell" heraus, dessen State-Charts Testaktivitäten beschreiben. Ein Designmodell kann nicht direkt als Input für den Testgenerator benutzt werden.

Wie ist der Conformiq Test Generator mit dem zu testenden System verbunden?
Der Conformiq Test Generator ist mit dem zu testenden System über einen sogenannten Systemadapter verbunden. Der Systemadapter ist eine Software die aus zwei Teilen besteht: einer Standard-Bibliothek von uns und einem an das jeweilige zu testende System angepaß,ten Code. Die Standardbibliothek ("Test Bed Adapter Library") sorgt für die Verbindung mit dem Testgenerator. Sie "übersetzt die Daten aus dem Conformiq Test Generator in ein für den Testling verständliches Format und "übersetzt umgekerht die Rückmeldungen aus dem zu testenden System ein Format, welches vom Testgenerator ausgewertet werden kann.
Testbed-Bibliotheken sind für C, C++, Java, C# und Python verügbar.

Was ist ein Systemadapter?
Der Systemadapter ist eine kleine Softwarekomponente, die die Kommunikation zwischen der Test-API (Application Programming Interface) und dem Conformiq Test Generator ™ ermöglicht. Der Adapter wandelt die abstrakten Meldungen des Conformiq Test Generators zu konkreten Meldungen für das zu testende System (SUT, system under test) bzw. umgekehrt um. Ein gutes Design der Test-API ermöglicht ein einfaches Implementieren des Systemadapters.

Mit welchen "Interface(s)" sollte der Conformiq Test Generator ™ verbunden werden?
Hier sollte ein Interface ausgewählt werden, welches ein wichtiger Teil des Systems ist und somit ein effizientes Testen dieses Systems erlaubt. Das ausgewählte Interface soll klar definiert werden und so stabil sein, daß spätere Modifikationen des Systemadapters und des Testmodells so gering wie möglich gehalten werden.

Seitenanfang

Wie arbeitet der Conformiq Test Generator ™ mit dem Modell? Der Conformiq Test Generator ™ nutzt umfassende und globale Such- und Planungstechniken. Hierdurch wird eine größtmögliche Testüberdeckung des Testmodells erreicht (unter Berücksichtigung des ausgewählten Coveragekriteriums). Dies beschleunigt die Testphase und erlaubt das Generieren von mehr relevanten Testfällen.

Muß das gesamte System entwickelt sein, bevor die Tests geplant werden und der Conformiq Test Generator ™ genutzt werden kann?
Dies ist nicht erforderlich. Es wird empfohlen, das Testmodell parallel zur Systementwicklung zu erstellen. Auf diese Weise kann das zu testende System kontinuierlich während des Entwicklungsprojektes getestet werden.

Welche Kenntnisse muß das Testpersonal haben, um den Modelleditor nutzen zu können?
Der Modelleditor des Conformiq Test Generators ist ein benutzerfreundliches Werkzeug zum Erstellen von Testspezifikationen über UML-Statediagramme. Um das Modelling schnell zu lernen sind Programmierkenntnissse und Kenntnisse der UML von Vorteil, aber nicht zwingend notwendig.

Unsere Kunden können am Conformiq Test Generator ™-Basistraining teilnehmen und während der Startphase den Service unserer Berater nutzen.

Seitenanfang

Wie funktioniert die Ergebnisausgabe des Conformiq Test Generators?
Der Conformiq Test Generator ™ erstellt ein Test-run-log in Textform, der alle Ereignisse des Testlaufs abspeichert. Diese Aufzeichnung kann auf vielfältige Weise gefiltert werden. Eine separate Ausgabeoberfläche erlaubt das Erstellen von kundenspezifischen Reports der Testlaufergebnisse. Hierdurch wird die Analyse der Testergebnisse vereinfacht.

Welcher Pflegeaufwand muß für die Testfälle und ihre Instanzen veranschlagt werden?
Das Testmodell ist im Prinzip ein UML-Zustandsdiagramm. Aus diesem werden automatisch die Testfälle generiert und ausgeführt.
Da nur das Modell zu warten ist und nicht die Testfälle und Instanzen, ist der Wartungsaufwand sehr gering.

Seitenanfang

Conformiq Test Generator Hauptseite

last updated: 22.01.2006

© 2004-2006 Conformiq Software Ltd. / Verifysoft Technology GmbH © 2004-2006 Verifysoft Technology GmbH for the German translation
Conformiq Test Generator is a product and trademark of Conformiq, Espoo (Finland)
all other trademarks of this site are the property of their respective owners.