Agilitest est capable de générer un fichier XML contenant toutes les informations importantes sur le déroulement du test, ainsi que les images successives des différentes actions effectuées. Nous avons choisi de nous appuyer sur un format ouvert (.xml) et un moteur de génération de documents sous licence libre (FOP).

Ces fichiers .xml peuvent être utilisés pour produire tous types de rapports :

1. Rapports d'exécution :

- Rapport d'exécution: pour une lecture globale de l'exécution des tests

- Rapport d'exécution détaillé (avec ou sans capture d'écran): pour analyser les raisons des échecs des tests.

◦ Rapport de synthèse (pdf): pour une lecture globale de la réussite aux tests dans un format spécialisé

◦ Rapport ATSV: Images d'exécution compilées dans un format vidéo (lecture via le lecteur ATSV).

‍

2. Rapport de validation: pour documenter et archiver les exécutions réalisées.

‍

Vous trouverez ci-dessous un schéma d'utilisation des rapports en fonction des besoins des équipes et de la manière dont l'organisation des informations peut être utilisée (ainsi qu'une vidéo d'animation du schéma https://youtu.be/2UdsYINPk_s).

Configurations

Génération de rapports

Il est possible de configurer les informations que vous souhaitez voir apparaître dans vos rapports (d'exécution ou de validation) depuis le constructeur du projet en cochant le cas "Generate report" ou depuis votre intégration Jenkins. Vous pourrez choisir de générer des rapports d'exécution ou un rapport de validation.

Depuis l'interface d'exécution

Il existe deux façons de générer des rapports :

1. Dans le menu déroulant de votre projet, en cliquant sur "Gestion des exécutions"

‍

Ensuite, en cliquant sur le cas "Générer un rapport"dans le constructeur du projet. Vous accéderez ainsi au niveau "Niveau de détail du rapport"ainsi qu'à la possibilité de cocher l'option "Générer un rapport de validation".

‍

2. De la "gestion descanal "en sélectionnant le menu "Paramètres" > "Générer un rapport XML"

‍

Depuis votre intégration Jenkins

La configuration des rapports peut également être effectuée à partir de l'intégration Jenkins lors de la création d'un Job Jenkins.

Vous pouvez définir le niveau du rapport d'exécution ou générer un rapport de validation à partir d'une case dédiée dans la fenêtre de création du job Jenkins.

‍

Stockage des rapports

À la fin de l'exécution, les rapports seront stockés dans l'un de ces fichiers par défaut :

Rapport généré par Agilitest ;

• Java : <Agilitest_project_file>\<project_name>\target\ats-output
• Maven : <Agilitest_project_file>\<project_name>\target\surefire-reports
• Ou placé selon le choix de l'utilisateur

Rapport généré par l'intégration de Jenkins :

• Jenkins : <jenkins_job_folder>\builds\<numero_de_build>\htmlreports\<nom_du_publisher>\

Rapports d'exécution

Le niveau d'information des rapports d'exécution peut être choisi dans Agilitest en utilisant le menu déroulant"Niveau de détail du rapport".

Les rapports d'exécution fournissent trois niveaux d'information à partir du constructeur du projet dans l'éditeur Agilitest.

Chaque niveau de rapport comporte les en-têtes suivants :

• Un résumé global de la suite exécutée avec une description, les paramètres ajoutés et le résultat de l'exécution.
• Unrésumé de la Suite qui a le nombre de tests exécutés
• Un résumé par script avec le nombre d'actions, l'heure et la date d'exécution du script, l'auteur, un lien vers le rapport vidéo et le résultat de l'exécution.

‍

Rapport d'exécution

Le rapport d'exécution fournit une lecture globale de l'exécution des tests. Il indique :

• Actions
• Liens externes
• Temps d'exécution
• Le statut de l'exécution de l'action

‍

Rapport d'exécution détaillé (avec ou sans captures d'écran)

Le rapport d'exécution détaillé permet de mieux comprendre la conception des tests et les bugs potentiels. Il indique

• Actions
• Liens externes
• Temps d'exécution
• Le statut de l'exécution de l'action
• Informations sur l'action
• Une capture d'écran cliquable qui peut être agrandie (pour le rapport avec capture d'écran)

Toutes les informations sur les actions précisent le type d'action et les éléments de l'action. Exemple : ActionMouseKey, Type : Cliquer.

Un encart violet correspondant à l'action apparaît dans l'image lorsqu'une action exécutée correspond à une interaction avec l'utilisateur (exemple : actions de la souris, saisie de texte, etc...).

Lorsqu'une action échoue ou n'est pas validée mais n'empêche pas la réussite du test, une explication de l'erreur apparaît dans la partie information de l'action.

‍

‍

Le reportage vidéo : ATSV

Le fichier ATSV est accessible directement à partir des rapports d'exécution et correspond à un format vidéo du rapport présenté sous la forme d'un ensemble d'images compilées accompagnées d'animations des actions exécutées. Pour l'instant, le format de fichier n'est utilisable que via Agilitest et son lecteur interne (bientôt : le lecteur s'ouvrira sur une page web).

‍

Le fichier ATSV est également accessible à partir des paramètres d'exécution en cliquant sur "Rapport visuel".

‍

Rapport de synthèse

Le rapport de synthèse est généré directement à partir durapport d'exécution au format PDF. Il nécessite l'utilisation de l'outil Jasper pour être généré. Il est consulté par les managers et les équipes projet pour disposer d'un rapport de réussite des tests exécutés dans un format spécialisé. Il correspond à un résumé par suite d'exécution et par test afin d'avoir un état global de l'assurance qualité du logiciel.

Directement à partir du rapport d'exécution, cliquez sur le lien Résumé pour générer le fichier PDF (en haut à droite du rapport d'exécution).

‍

L'affichage de vos rapports de synthèse peut être personnalisé à l'aide de modèles de rapports de projet.

Pour y accéder, ouvrez les propriétés de votre projet en cliquant sur le menu situé dans l'explorateur de projet

Choisissez ensuite le modèle que vous souhaitez utiliser dans la boîte dédiée.

‍

Le rapport de validation

Le rapport de validation est généré en cochant la case"Générer un rapport de validation" dans le constructeur du projet :

‍

Le rapport de validation est conçu comme une preuve d'exécution à sauvegarder ou à archiver.

Il contient les mêmes informations que le rapport d'exécution détaillé avec capture d'écran cliquable, à l'exception de ce qui suit :

• Il n'y a pas de lien,
• Il y a toutes les actions (temps d'exécution, statut d'exécution de l'action) sauf celles-ci : pas d'ActionChannel ni d'ActionProperty et d'ActionComment,
• Dans la partie information, il n'y a pas de partie "erreur" et dans la partie "élément", nous trouvons le Tag et les Critères mais nous ne trouvons pas le nombre d'éléments trouvés, le temps de recherche, l'emplacement, la position du clic.

Le statut d'exécution de l'action

Pour tous les rapports d'exécution et pour le rapport de validation, il existe trois statuts d'exécution :

‍

Échec de l'action : Lorsqu'une action est en erreur pour diverses raisonsbugs, mauvaise saisie, etc...), l'icône d'erreur apparaît sur la ligne de l'action.

‍

Action réussie : Lorsqu'une action est réussie, l'icône de validité apparaît sur la ligne de l'action.

‍

‍

Action échouée mais réussie : Lorsqu'une action est en erreur mais n 'empêche pas la poursuite de l'exécution du test, l'icône d'erreur de réussite apparaît sur la ligne de l'action.

‍

‍

Le statut de vérification de l'action

Pour les rapports d'exécution détaillés et le rapport de validation, dans la case "information", les éléments d'une action validée sont indiqués en vert.

Pour les rapports d'exécution détaillés et le rapport de validation, dans la case "information", les éléments qui mettent une action en erreur sont indiqués en rouge.

‍

‍