Quelle décision votre test doit-il éclairer ?

Formulez le problème et la modification testée. « Cette explication réduit-elle l’incertitude avant la demande ? » conduit à une expérience plus claire que « Quelle page marche le mieux ? ». La question détermine les personnes concernées et les résultats à observer.

Choisissez un indicateur principal lié à l’action utile. Ajoutez quelques indicateurs de contrôle pour détecter une dégradation : qualité des demandes, erreurs ou temps de traitement. Ne changez pas l’indicateur principal après avoir vu lequel donne le résultat le plus favorable.

Précisez la différence minimale qui aurait une valeur pratique. Un écart statistiquement détectable peut être trop faible pour justifier une mise en œuvre coûteuse. À l’inverse, un effet potentiellement utile peut rester trop incertain pour conclure avec le volume disponible.

Comparez des visiteurs et des situations comparables

Les variantes doivent être attribuées selon un dispositif adapté, généralement aléatoire, sur une population éligible définie. Comparer une ancienne page en septembre à une nouvelle en novembre n’est pas un test A/B contrôlé : le trafic et le contexte peuvent avoir changé.

Décidez de l’unité d’affectation. Si un même visiteur change constamment de version, l’expérience peut devenir incohérente et les observations moins faciles à interpréter. Les contraintes techniques et de protection des données doivent être prises en compte dans cette conception.

Vérifiez que les versions fonctionnent dans les mêmes conditions pertinentes. Un problème de chargement, de formulaire ou de suivi dans une seule version peut expliquer l’écart. Il faut comprendre ce qui a réellement été comparé avant d’interpréter le résultat.

Fixez vos règles avant de découvrir les résultats

Estimez le volume nécessaire à partir du taux de départ, de l’effet recherché et de la méthode statistique retenue. Définissez une durée compatible avec les variations habituelles du trafic. Une expérience trop courte peut refléter une journée particulière plutôt qu’un effet stable.

Ne stoppez pas simplement au premier résultat favorable d’un test à horizon fixe. Des méthodes séquentielles existent, mais elles doivent être choisies et appliquées correctement dès la conception. Regarder régulièrement un résultat ne rend pas automatiquement la méthode adaptée aux arrêts répétés.

Avec peu de trafic, examinez d’autres formes de validation. Le guide sur les tests CRO à faible volume aide à distinguer ce qui peut être appris qualitativement et ce qui exige davantage de données.

Comprenez ce que signifie l’incertitude

Un résultat statistique dépend d’hypothèses et d’une méthode. Une valeur de p n’est pas la probabilité que la variante soit meilleure, ni la probabilité que le hasard explique à lui seul tout le résultat. Elle doit être interprétée dans le cadre du test choisi.

Le NIST définit le niveau de signification comme le risque de rejeter à tort l’hypothèse nulle lorsqu’elle est vraie. Cette notion ne constitue donc pas une garantie individuelle de réussite commerciale pour une variante.

Présentez l’effet estimé avec son incertitude lorsque la méthode le permet. Un intervalle large peut contenir des effets très différents pour l’entreprise. Une absence de résultat concluant ne prouve pas que les versions ont exactement le même effet.

Évitez la multiplication opportuniste des comparaisons

Tester de nombreux indicateurs, segments et variantes augmente les occasions de trouver un résultat apparemment favorable. Le NIST explique le problème des comparaisons multiples : le risque global n’est plus celui d’une seule comparaison lorsqu’on multiplie les tests sans traitement adapté.

Définissez les analyses principales avant de regarder les résultats. Les explorations restent possibles, mais présentez-les comme des pistes à confirmer. Un segment découvert après coup ne doit pas être annoncé comme une preuve aussi solide qu’une hypothèse prévue.

Si plusieurs comparaisons sont nécessaires, utilisez une méthode appropriée avec une personne compétente. L’objectif n’est pas de choisir une correction au hasard, mais de faire correspondre l’analyse aux décisions et à la structure réelle de l’expérience.

Vérifiez les données avant de lire le gagnant

Documentez les incidents au lieu de supprimer discrètement les données gênantes. Une exclusion peut être justifiée, mais sa règle et son effet doivent être explicites. Certaines expériences doivent être relancées plutôt que réparées par une analyse improvisée.

Exemple fictif : un gain relatif spectaculaire mais limité

Une version obtient 100 conversions sur 5 000 observations et une autre 110 sur 5 000. Les taux sont de 2 % et 2,2 %. L’écart est de 0,2 point, soit une hausse relative observée de 10 %.

Ces chiffres fictifs ne suffisent pas à déclarer la seconde version gagnante. Il faut examiner l’incertitude, le dispositif et la qualité des conversions. Présenter uniquement « plus 10 % » masque l’écart absolu et peut donner une impression excessive de certitude.

Si les dix demandes supplémentaires sont toutes inadaptées, le résultat commercial peut même être défavorable. L’indicateur principal et les critères de qualité doivent donc être choisis avant le lancement, puis interprétés ensemble.

Distinguez effet du parcours et effet de chaque élément

Une variante peut modifier le titre, la preuve et le formulaire. Le test compare alors deux ensembles. Même si le résultat est convaincant, il ne permet pas de dire quel élément a produit l’effet sans une conception permettant cette distinction.

Cette comparaison globale peut être pertinente pour une refonte de parcours. Il faut simplement éviter de tirer une règle universelle sur un détail. Documentez la version complète, le public et la période afin de conserver le contexte de l’apprentissage.

Le guide pour mesurer le taux de conversion rappelle également l’importance du dénominateur. Des métriques différentes ne doivent pas être présentées comme une même mesure avant et après le test.

Décidez et surveiller après le déploiement

Une décision tient compte de l’effet estimé, du risque, du coût et de la réversibilité. Vous pouvez conserver la version actuelle, déployer progressivement ou poursuivre l’enquête. Le résultat ne se limite pas à deux étiquettes, gagnant et perdant.

Après déploiement, surveillez le fonctionnement et la qualité des demandes. Le contexte peut évoluer, et un effet observé sur une population ne se transpose pas automatiquement à tous les publics. Conservez la possibilité de revenir en arrière si un problème important apparaît.