En tant que quality manager dans des secteurs digitaux (e-commerce, média, ...), mon équipe est régulièrement mise en concurrence avec le crowd testing.
Les services de crowd testing proposent de faire valider vos applications par une communauté d'utilisateurs d'horizons variées. Les utilisateurs testent votre application contre une rémunération au test exécuté pour certaines, au bug accepté pour d'autres.
Pour en apprendre plus sur le mode, je vous propose de lire l'article de Stéphane Colson qui, après avoir expérimenté les principales plateformes de crowd testing, nous donne le point de vue du testeur.
De mon côté, j'ai eu l'occasion de tenter une approche mixant validation par une équipe de testeurs professionnels et campagne de test en crowd testing. Ceci a été fait sur un projet de plateforme e-commerce déployée en France et à l'étranger.
Quelles étaient nos contraintes ?
- Notre Front Office est simple et intuitif à première vue. Il s'agit après tout d'un site e-commerce.
- Il repose sur un système d'information e-commerce hétérogène.
- Il s'inscrit dans contexte omni-canal mêlant commerces physiques, site e-commerce, applications mobiles.
- Il supporte des processus critiques spécifiques au retail (offre promotionnelle, gestion des stocks, workflow de vente et d'après-vente).
- Il est déployé dans plusieurs pays dont certains avec des alphabets non latin.
Voici ce que nous retenons après 3 campagnes de crowd testing.
- 30 testeurs
- 150 anomalies fonctionnelles remontées / 85 anomalies fonctionnelles acceptées
- dont 15 anomalies priorisées
- 40 anomalies de traduction
Les PLUS :
- Réactivité. La plateforme de crowd testing a rapidement lancé les campagnes de test.
- Périmètre de configuration couverte. La diversité des testeurs nous a permis de couvrir un large parc de mobile.
- Avis sans filtre sur l'expérience utilisateur. Les retours fournis ont permis d'identifier des pistes d'amélioration quant au parcours.
- Les testeurs étant locaux, ils identifient plus facilement les erreurs de traduction du contenu en ligne.
Les MOINS :
- Les tests sont cantonnés au Front Office. Ils ne peuvent naturellement pas s'appliquer à nos processus bout-en-bout critiques.
- Les nombreux retours ont requis une forte charge de travail de ma part pour les relire et les trier.
- Une grande majorité des anomalies remontées étaient mineures. Des anomalies majeures connues n'ont quant à elles pas été détectées.
Aujourd'hui, nous avons décidé de poursuivre cette approche mixte. Notamment sur la validation des déploiements internationaux afin de bénéficier de retours proches des clients finaux. Ces tests constituent un complément à notre activité qui elle capitalise sur notre connaissance des processus retail.
Au final, nous avons choisi de répartir les tests de la manière suivante :
- Notre QA valide tout le système d'information e-commerce.
- Le crowd testing apporte le complément d'information sur les spécificités du front Office pays.
