Agilitest est capable de générer un fichier XML contenant toutes les informations importantes sur le déroulement du test, ainsi que les images successives des différentes actions réalisées. Nous avons choisi de nous appuyer sur un format ouvert (.xml) et un moteur de génération de documents sous licence libre (FOP).

Ces fichiers .xml peuvent être utilisés pour produire tous types de rapports :

1. Rapports d'exécution :

- Rapport d'exécution: pour une lecture globale de l'exécution des tests

- Rapport d'exécution détaillé (avec ou sans capture d'écran): pour analyser les raisons de l'échec des tests.

◦ Rapport de synthèse (pdf) : pour une lecture globale de la réussite des tests dans un format spécialisé.

◦ Rapport ATSV: Images d'exécution compilées dans un format vidéo (lues via le lecteur ATSV).

‍

     2. Rapport de validation: pour documenter et archiver les exécutions mises en œuvre.

‍

Vous trouverez ci-dessous un schéma d'utilisation des rapports en fonction des besoins des équipes et de la manière dont l'organisation de l'information peut être utilisée (ainsi qu'une vidéo d'animation du schéma https://youtu.be/2UdsYINPk_s).

Configurations

Génération de rapports

Il est possible de configurer les informations que vous souhaitez voir apparaître dans vos rapports (d'exécution ou de validation) depuis le constructeur du projet en cochant la case "Générer un rapport" ou depuis votre intégration Jenkins. Vous pourrez choisir de générer des rapports d'exécution ou un rapport de validation.

Depuis l'interface d'exécution

Il y a deux façons possibles de générer des rapports :

1. Dans le menu déroulant de votre projet, en cliquant sur "Gestion des exécutions"

‍

Puis en cliquant sur la case "Générer un rapport"dans le constructeur du projet. Cela vous donnera accès au "Niveau de détail du rapport"ainsi qu'à la possibilité de cocher la case "Générer un rapport de validation".

‍

2. A partir de la rubrique "canal gestion"en sélectionnant le menu "Paramètres" > "Générer un rapport XML"

‍

Depuis votre intégration Jenkins

La configuration des rapports peut également être effectuée à partir de l'intégration Jenkins lors de la création d'une tâche Jenkins.

Vous pouvez définir le niveau du rapport d'exécution ou générer un rapport de validation à partir d'une case dédiée dans la fenêtre de création de Job Jenkins.

‍

Archivage des rapports

À la fin de l'exécution, les rapports seront archivés dans l'un de ces fichiers par défaut :

Rapport généré par Agilitest ;

• Java : <Agilitest_project_file>\<project_name>\target\ats-output
• Maven : <Agilitest_project_file>\<project_name>\target\surefire-reports
• Ou placé selon le choix de l'utilisateur

Rapport généré par l'intégration Jenkins :

• Jenkins : <jenkins_job_folder>\builds\<numero_de_build>\htmlreports\<nom_du_publisher>\

Rapports d'exécution

Le niveau d'information dans les rapports d'exécution peut être choisi dans Agilitest en utilisant le menu déroulant "Niveau de détail du rapport".

Les rapports d'exécution fournissent trois niveaux d'information à partir du constructeur du projet dans l'éditeur Agilitest.

Chaque niveau de rapport comporte les en-têtes suivants :

• Un résumé global de la suite exécutée avec une description, les paramètres ajoutés et le résultat de l'exécution.
• Un résumé par Suite qui comprend le nombre de tests exécutés
• Un résumé par script avec le nombre d'actions, l'heure et la date de l'exécution du script, l'auteur, un lien vers le rapport vidéo et le résultat de l'exécution.

‍

Rapport d'exécution

Le rapport d'exécution fournit une lecture globale de l'exécution des tests. Il indique :

• Actions
• Liens externes
• Temps d'exécution
• Le statut de l'exécution de l'action

‍

Rapport d'exécution détaillé (avec ou sans captures d'écran)

Le rapport d'exécution détaillé permet de mieux comprendre la conception des tests et des éventuels bugs. Il indique :

• Actions
• Liens externes
• Temps d'exécution
• Le statut de l'exécution de l'action
• Informations sur l'action
• Une capture d'écran cliquable et zoomable (pour le rapport avec capture d'écran)

Toutes les informations sur les actions spécifient le type d'action et les éléments de l'action. Exemple : ActionMouseKey, Type : Clic.

Un insert violet correspondant à l'action apparaîtra dans l'image lorsqu'une action exécutée correspond à une interaction de l'utilisateur (exemple : actions de la souris, saisie de texte, etc...).

Lorsqu'une action échoue ou n'est pas validée mais n'empêche pas le succès du test, une explication de l'erreur apparaîtra dans la partie information de l'action.

‍

‍

Le rapport vidéo : ATSV

Le fichier ATSV est accessible directement depuis les rapports d'exécution et correspond à un format vidéo du rapport présenté comme un ensemble d'images compilées accompagnées d'animations des actions exécutées. Pour l'instant, le format de fichier n'est utilisable que via Agilitest et son lecteur interne (Prochainement : le lecteur s'ouvrira sur une page web)

‍

Le fichier ATSV est également accessible à partir des paramètres d'exécution en cliquant sur "Rapport visuel".

‍

Rapport de synthèse

Le rapport de synthèse est généré directement à partir du rapport d'exécution au format PDF. Il nécessite l'utilisation de l'outil Jasper pour être généré. Il est consulté par les managers et les équipes de projet pour disposer d'un compte rendu des tests exécutés dans un format spécialisé. Il correspond à un résumé par Suite d'exécution et par test afin d'avoir un état global de l'assurance qualité du logiciel.

Directement à partir du rapport d'exécution, cliquez sur le lien Résumé pour générer le fichier PDF (en haut à droite du rapport d'exécution).

‍

L'affichage de vos rapports de synthèse peut être personnalisé grâce à des modèles de rapports de projet.

Pour y accéder, ouvrez les propriétés de votre projet en cliquant sur le menu situé dans l'explorateur de projet

Choisissez ensuite le modèle que vous voulez utiliser dans la boîte dédiée.

‍

Le rapport de validation

Le rapport de validation est généré en cochant la case "Générer un rapport de validation" dans le constructeur du projet :

‍

Le rapport de validation est conçu comme une preuve d'exécution à sauvegarder ou à archiver.

Il comprend les mêmes informations que le rapport d'exécution détaillé avec capture d'écran cliquable, à l'exception de ce qui suit :

• Il n'a pas de lien,
• Il y a toutes les actions (temps d'exécution, état d'exécution de l'action) sauf celles-ci : pas d'ActionChannel ni d'ActionProperty et d'ActionComment,
• Dans la partie information, il n'y a pas de partie "erreur" et dans la partie "élément", on retrouve le Tag et les Critères mais on ne retrouve pas le nombre d'éléments trouvés, le temps de recherche, la localisation, la position du clic.

L'état d'exécution de l'action

Pour tous les rapports d'exécution et pour le rapport de validation, il existe trois états d'exécution :

‍

Action en erreur : Lorsqu'une action est en erreur pour diverses raisons (bugs, mauvaise saisie, etc...) l'icône d'erreur apparaîtra sur la ligne de l'action.

‍

Action réussie : Lorsqu'une action est réussie, l'icône de validité apparaît sur la ligne de l'action.

‍

‍

Action qui a échoué mais qui passe : Lorsqu'une action est en erreur mais n'empêche pas la poursuite de l'exécution du test, l'icône d'erreur de passage apparaît sur la ligne de l'action.

‍

‍

Le statut de vérification de l'action

Pour les rapports d'exécution détaillés et le rapport de validation, dans la case "information", les éléments d'une action validée sont indiqués en vert.

Pour les rapports d'exécution détaillés et le rapport de validation, dans la case "information", les éléments qui mettent une action en erreur sont indiqués en rouge.

‍

‍