Agilitest est capable de générer un fichier XML contenant toutes les informations importantes sur le déroulement du test, ainsi que les images successives des différentes actions effectuées. Nous avons choisi de nous appuyer sur un format ouvert (.xml) et un moteur de génération de documents sous licence libre (FOP).

Ces fichiers .xml peuvent être utilisés pour produire tous types de rapports :

1. Rapports d'exécution :

- Rapport d'exécution: pour une lecture globale de l'exécution des tests

- Rapport d'exécution détaillé (avec ou sans capture d'écran): pour analyser les raisons des échecs des tests.

                 ◦ Rapport sommaire (HTML): pour une lecture globale des résultats des tests dans un format spécialisé

◦ Rapport ATSV: Images d'exécution compilées dans un format vidéo (lecture via le lecteur ATSV).

‍

2. Rapport de validation: pour documenter et archiver les exécutions réalisées.

‍

Vous trouverez ci-dessous un schéma d'utilisation des rapports en fonction des besoins des équipes et de la manière dont l'organisation des informations peut être utilisée (ainsi qu'une vidéo d'animation du schéma https://youtu.be/2UdsYINPk_s).

‍

Agilitest utilise le moteur open source ATS ActionTestScript) pour exécuter des tests automatisés. Une fois la série de tests terminée, le système génère un ensemble complet de rapports visuels et techniques. Ceux-ci sont conçus pour aider les équipes à analyser les résultats, à résoudre les problèmes et à fournir des indicateurs de qualité aux parties prenantes.

Le rapport HTML principal (ats.html)

Le ats.html Ce fichier sert de plateforme centrale pour consulter les résultats des campagnes de test.

Principaux composants de l'interface :

• Tableau de bord : offre une vue d'ensemble grâce à des graphiques circulaires qui indiquent le nombre de tests réussis, échoués ou bloqués.
• Détails du script : répertorie tous ATS exécutés avec leur état final. En cliquant sur un script, l'affichage s'agrandit pour montrer les différentes étapes.
• Journal des actions : Une liste chronologique de toutes les actions (clics, saisie de texte, vérifications). Chaque entrée comprend :
  • Durée d'exécution.
  • Statut (Réussite/Échec).
  • Captures d'écran associées (si cette option est activée).
• Médias visuels : Captures d'écran et vidéos intégrées pour le débogage. Depuis 2023, le rapport comprend un lecteur HTML automatique pour .atsv (fichiersATS ).

‍

Structure du fichier de sortie

Les rapports sont généralement générés dans le cadre du projet /cible/ dossier après une compilation ou une exécution.

‍

‍

Fonctionnalité avancée (ats)

Tirer parti de la ats Ce moteur offre des fonctionnalités avancées en matière de rapports techniques :

• Analyse de stabilité : suit les tests « instables » en comparant les résultats actuels aux données historiques.
• Diagnostic assisté : analyse le contexte d'une défaillance afin de déterminer s'il s'agit d'un problème de performances (délai d'attente), d'une erreur réseau ou d'un véritable bug de l'application.
• Personnalisation des rapports : Les utilisateurs peuvent personnaliser leurs rapports en ajoutant un watermark.png dans le src/assets/resources/reports/images répertoire, qui apparaîtra sur toutes les captures d'écran générées.

‍

Intégration CI/CD et DevOps

Les rapports Agilitest sont conçus pour s'intégrer dans les pipelines d'automatisation modernes :

• Exportation XML : les fichiers XML au format Surefire constituent la norme du secteur pour l'intégration avec Jenkins, Azure DevOps et GitLab CI.
• Gestion des tests : les résultats peuvent être automatiquement transférés vers des outils de gestion des tests tels que Squash TM ou Xray afin de maintenir « source de vérité » centralisée pour l'assurance qualité.

‍

Configurations

Génération de rapports

Il est possible de configurer les informations que vous souhaitez voir apparaître dans vos rapports (d'exécution ou de validation) depuis le constructeur du projet en cochant le cas "Generate report" ou depuis votre intégration Jenkins. Vous pourrez choisir de générer des rapports d'exécution ou un rapport de validation.

‍

Dans la barre latérale de l'éditeur, cliquez sur «Gestion des exécutions»

‍

Cliquez ensuite sur l'onglet «Générer un rapport» dans le générateur du projet. Cela vous donnera accès à la page «Niveau de détail du rapport» ainsi qu'à la possibilité de cocher la case «Générer un rapport de validation».

‍

Stockage des rapports

À la fin de l'exécution, les rapports seront stockés dans l'un de ces fichiers par défaut :

Rapport généré par Agilitest ;

• Java : <Agilitest_project_file>\<project_name>\target\ats-output
• Maven : <Agilitest_project_file>\<project_name>\target\surefire-reports
• Ou placé selon le choix de l'utilisateur

Rapport généré par l'intégration de Jenkins :

• Jenkins : <jenkins_job_folder>\builds\<numero_de_build>\htmlreports\<nom_du_publisher>\

‍

Rapports d'exécution

Le niveau d'information des rapports d'exécution peut être choisi dans Agilitest en utilisant le menu déroulant"Niveau de détail du rapport".

Les rapports d'exécution fournissent trois niveaux d'information à partir du constructeur du projet dans l'éditeur Agilitest.

‍

Chaque niveau de rapport comporte les en-têtes suivants :

En haut à droite, vous avez accès à :

• Tableau de bord: il s'agit de la page d'accueil et du résumé général de l'exécution de vos tests
• Rapport de synthèse (summary.html) : il s'agit d'une vue d'ensemble haute performance conçue pour les campagnes de tests à grande échelle
• Aperçu: c'est-à-dire le résumé, la page d'accueil principale ou la vue par défaut du ats.html fichier.

‍

Rapport d'exécution

Le rapport d'exécution offre une vue d'ensemble de l'exécution des tests.

‍

Rapport d'exécution détaillé (avec ou sans captures d'écran)

Le rapport d'exécution détaillé permet de mieux comprendre la conception des tests et bugs potentiels.

‍

Pour chaque liste de lecture, les informations suivantes sont indiquées :

• Le modificateur
• La dernière fois qu'il a été modifié
• Au moment où la playlist à être lue et au moment où elle s'est terminée
• Test et identifiant externe
• Liens vers le fichier ATSV et le fichier HTML
• Description d'un test
• Divers graphiques (historique des exécutions, durée des actions, type d'actions)

‍

Pour chaque étape (accompagnée de captures d'écran), il indique :

‍

• Type d'action
• Liens externes
• Détails de l'action
• Temps d'exécution
• Le statut d'exécution de l'action (réussie ou échouée)
• Capture d'écran de l'action (si l'option a été sélectionnée)

‍

‍

Un encart violet correspondant à l'action apparaît dans l'image lorsqu'une action exécutée correspond à une interaction avec l'utilisateur (exemple : actions de la souris, saisie de texte, etc...).

‍

Lorsqu'une action échoue ou n'est pas validée mais n'empêche pas la réussite du test, une explication de l'erreur apparaît dans la partie information de l'action.

‍

Le reportage vidéo : ATSV

Le fichier ATSV_HTML est accessible directement à partir des rapports d'exécution et correspond à une version vidéo du rapport, présentée sous la forme d'une série d'images compilées accompagnées d'animations illustrant les actions exécutées.

‍

Rapport de synthèse

Le rapport de synthèse est généré directement à partir durapport d'exécution au format HTML. Il est consulté par les responsables et les équipes de projet afin de disposer d'un compte rendu des résultats des tests effectués dans un format adapté. Il présente un récapitulatif par suite d'exécution et par test, permettant ainsi d'avoir une vue d'ensemble de l'état d'avancement de l'assurance qualité du logiciel.

Directement depuis le rapport d'exécution, cliquez sur le lien Résumé pour générer le fichier HTML (en haut à droite du rapport d'exécution).

‍

L'affichage de vos rapports récapitulatifs peut être personnalisé à l'aide des images du rapport de projet.

Pour y accéder, ouvrez les propriétés de votre projet en cliquant sur le menu situé dans la barre latérale de l'éditeur.

Sélectionnez ensuite les images que vous souhaitez afficher dans vos rapports.

‍

‍

Le rapport de validation

Le rapport de validation est généré en cochant la case"Générer un rapport de validation" dans le constructeur du projet :

‍

Le rapport de validation est conçu comme une preuve d'exécution à sauvegarder ou à archiver.

Il contient les mêmes informations que le rapport d'exécution détaillé avec capture d'écran cliquable, à l'exception de ce qui suit :

• Il n'y a pas de lien,
• Il y a toutes les actions (temps d'exécution, statut d'exécution de l'action) sauf celles-ci : pas d'ActionChannel ni d'ActionProperty et d'ActionComment,
• Dans la partie information, il n'y a pas de partie "erreur" et dans la partie "élément", nous trouvons le Tag et les Critères mais nous ne trouvons pas le nombre d'éléments trouvés, le temps de recherche, l'emplacement, la position du clic.