Tester en production. La fin d'un tabou.

Nous, Testeurs, mesurons notre (in)efficacité au nombres de bugs que nous avons laissé passer en production.
Voilà un bon KPI que je mesure depuis des années.

Oui, mais… Il nous faut bien assumer en parallèle le fait que le monde n’est pas si simple :

• Malgré tous nos efforts (et de l’argent et du temps) nous ne pouvons tout imaginer et reproduire.
  A quoi bon imaginer une situation de test qui n’arrivera pas en 2 ans de production ?
• Nous devons délivrer de la Qualité et pas de la SurQualité.
  A quoi bon dépenser 1000€ pour couvrir le risque de perdre 10€ ?
• Le vrai parcours utilisateur est celui choisi par le client, pas celui imaginé par le Product Owner.
  A quoi bon passer du temps à tester ce qui ne sera pas utilisé ?

Voilà l’occasion de lire « Testing in production: Yes, you can (and should) », écrit par Charity. Elle y démonte méthodiquement le mythe du zéro défaut et place bien le test en production comme UN des éléments d’une démarche globale de test.

Oui, nous devons tester en Production  (ou plutôt écouter en permanence ce qui s’y passe).
Mais surtout nous devons nous préparer à corriger et déployer rapidement.

Au-delà, c’est bien une approche « Test & Learn » que cela promeut. Et cette approche doit être d’abord celle du business.
Regardez Amazon Go, Amazon Fresh … ça ne marche pas bien au lancement ?
Pas grave, on a tellement appris en quelques mois, on va corriger et on aura une gagné une large avance sur les compétiteurs.