Application of test hypotheses to a definition of test coverage
Application des hypothèses de test à une définition de la couverture
Résumé
Conformance testing aims at checking that a product complies to the requirements for which it has been developed. Because of their complexity, communicating systems cannot be tested exhaustively. In practice, real tests are incomplete and never perfect. The goal of test coverage is to express this imperfection. So, it is an important measure for test selection and automatic test generation. When selecting test suites, test experts make choices based on test hypotheses. In other words, their experience of testing allows them to infer some good properties on the imlementation which decrease test effort. In this thesis, we propose to define H-coverage as the set of hypotheses which must be made such that the implementation is equivalent to the exhaustive test. In a first part, we precisely define H-coverage and we show that it is necessary to have a formalism available to write hypotheses in order to compute this measure. In a second part we solve the problem for a particular set of systems : the input outputautomata. First we propose to write hypotheses through trace sets, and then as automata transformers.
Le test de conformité est l'activité qui consiste à s'assurer qu'un produit fini remplit bien les fonctions pour lesquelles il a été conçu. Du fait de leur complexité, les systèmes de communication ne peuvent être testés exhaustivement. Dans la pratique, les tests réels sont donc souvent incomplets et imparfaits. La couverture de test, sous ses différentes formes, est une notion qui vise à rendre compte de cette imperfection. C'est donc une mesure de qualité importante pour la sélection ou la génération automatique de test. Lorsqu?ils sélectionnent les tests, les experts du test fondent leurs choix sur des hypothèses de test. Autrement dit, leur expérience leur permet d'inférer quelles sont les bonnes propriétés de l'implantation qui leur permettront de soulager l'effort de test. Dans cette thèse nous proposons de définir la H-couverture de test comme l'ensemble des hypothèses qu'il est pertinent de faire pour que le test réel soit équivalent au test exhaustif. Dans une première partie, nous définissons précisément ce qu'est la H-couverture et nous montrons que pour rendre cette mesure effective ; il est nécessaire de disposer d'un système d'écriture des hypothèses. Dans une deuxième partie, nous apportons une solution au problème sur un modèle particulier de systèmes : les automates à entrées et sorties. Nous proposons dans un premier temps de représenter les hypothèses par le biais d'ensembles de traces puis, dans un deuxième temps comme des transformateurs d'automates.