le-blog-b-acceptance.1.jpg

Blog B/Acceptance

Choix d'un automate de test IHM. 4 outils sur le banc d'essai

Posté par Le Lab B/Acceptance le 03 sept. 2019.

Si vous avez suivi les épisodes précédents, vous avez en tête les éléments de comparaison des solutions d'automatisation tant du point de vue du mode de conception qu'elles proposent, que de leurs fonctionnalités. Je vous propose aujourd'hui de comparer les outils avec lesquels le Lab B/Acceptance travaille le plus fréquemment.

Soyons clairs, il ne s’agit pas ici de fournir une liste exhaustive des centaines d’outils/initiatives actuels mais plutôt de vous donner un avis personnel sur les outils que nous utilisons au quotidien.

Selenium WebDriver / Appium

Selenium et Appium constituent les moteurs de bases d’une grande majorité des solutions d’automatisation. Dans ce sens, ils ne s’utilisent que très rarement seuls. On les verra d’habitude intégrés au sein d’un framework (notamment SerenityBDD).

L’alliance des deux vous ouvre les portes de l’automatisation web, mobile et desktop.

  • Record and Replay - NON
  • CodeLess – NON
  • Scripting - OUI
On aime On aime moins
  • Sa portabilité OS/Navigateur/Terminaux
  • Le catalogue d’outils et frameworks avec lesquels ils peuvent s’intégrer (Cucumber, TestNG, …)
  • Le dynamisme de sa communauté
  • Il est sans effet de bord avec le système sous test (pas besoin de recompiler)
  • La documentation
  • Le debug des scripts est coûteux
  • La gestion des données (il y a très peu de bons framework adressant cette problématique)
  • Un démarrage plus coûteux qu’un automate sur étagère (il est nécessaire de construire, d’intégrer et de gérer les dépendances de nombreux outils et frameworks)
  • Si vous souhaitez disposer de la reconnaissance par image, il faudra la développer.

 

Ranorex

Ranorex est une solution complète vous permettant d’automatiser tout aussi bien du web, du mobile que du desktop.

  • Record and Replay - OUI
  • CodeLess – OUI
  • Scripting - OUI
On aime On aime moins
  • Un outil tout en un
  • Son ergonomie
  • Un accès au code juste lorsque c’est nécessaire
  • Son Object Repository et l’accès à l’ensemble des modes d’identification des éléments IHM.
  • Il s’interface avec Selenium WebDriver
  • Des tarifs clairs et accessibles
  • Pas de support natif du BDD
  • Un environnement Microsoft est nécessaire
  • Pour le test mobile, les applications doivent-être recompilées (intégration d’une bibliothèque Ranorex)

 

Katalon

 Katalon est une solution propriétaire gratuite basée sur les moteurs moteurs open-source Selenium et Appium.

  • Record and Replay - OUI
  • CodeLess – OUI
  • Scripting - OUI
On aime On aime moins
  • Ouvre Selenium et Appium aux non-développeurs.
  • Le tableau de bord Katalon Analytics.
  • Extensible grâce à des plugins proposés par Katalon ou des tiers.
  • Supporte nativement le BDD
  • Supporte nativement les tests de service
  • L’incertitude du freeware (Katalon reste un outil propriétaire)
  • Pas de support de la reconnaissance par image
  • L’interface est confuse
  • Un Object Repository sommaire
  • Le debug des scripts est coûteux

 

TestComplete

TestComplete est une solution complète développée par SmartBear vous permettant d’automatiser tout aussi bien du web, du mobile que du desktop.

  • Record and Replay - OUI
  • CodeLess – OUI
  • Scripting - OUI
On aime On aime moins
  • Une solution intégrée
  • Supporte de manière étendue les tests de service (n’oublions pas que SmartBear c’est aussi SoapUI, HipTest et Zephyr)
  • Supporte bien les technologies un peu anciennes (Il nous a souvent sauvé sur Delphi 😉)
  • Le catalogue de gestes est assez important (Clic, saisies, drag-and-drop, attentes, mais également contrôle en base de données)
  • Le scripting CodeLess offre des possibilités intéressantes (conditions, boucles, …)
  • Un plugin payant par plateforme
  • L’ergonomie
  • L’Object Repository qui nous semble très rigide en comparaison de Ranorex

 

Il existe bien sûr d'autres solutions qui mériteraient un coup de projecteur (pour n'en citer que quelques uns : Tricentis, Cerberus, Calabash). Je ne manquerai donc pas de vous tenir au courant de nos prochains bancs d'essai.

Catégories : automatisation, outils de test

Bienvenue sur le blog de B/Acceptance, spécialiste du test/qualité logicielle en France.

Son objectif :

  • Diffuser et faire découvrir des bonnes pratiques et des outils du test fonctionnel, test automatisé et test de performance
  • Identifier les tendances : automatisation des tests, Intégration continue, Agile Testing, etc
  • Echanger autour du test digital : Web desktop, Web mobile, App

Lire nos articles

Inscrivez-vous au blog