AB test : la méthode simple pour booster vos conversions

La semaine dernière, une lectrice m'écrit : « On a fait un A/B test sur notre page d'accueil pendant trois semaines, on a gagné 18 % de clics sur le bouton, et deux mois plus tard le chiffre était retombé comme avant. On a fait quoi de mal ? »

Réponse courte : rien. Réponse longue : le test a très bien fonctionné, c'est l'interprétation qui a dérapé. Et c'est le piège numéro un du ab test — croire qu'un chiffre qui monte est une vérité qui s'installe.

Je vais vous raconter comment je pratique, avec les plantages. Parce que les tutos qui expliquent « prenez deux variantes, mesurez, gagnez » oublient systématiquement la partie qui fâche : les maths, la durée, et le fait qu'un résultat significatif peut très bien être du bruit déguisé en victoire.

C'est quoi les tests AB, vraiment ?

Deux versions. Un seul écart entre elles. Un échantillon de visiteurs envoyé au hasard sur l'une ou l'autre. Une métrique décidée avant de lancer. Voilà la définition, et elle tient en une phrase.

Ce qui la complique, c'est le mot « hasard ». Beaucoup de gens croient que l'A/B testing est une technique marketing. C'est d'abord une technique statistique qui a atterri dans le marketing. La nuance change tout : en statistique, on ne « regarde ce qui marche », on teste une hypothèse contre une hypothèse nulle.

La version A et la version B, et ce qui se passe entre les deux

Concrètement, vous avez une page, un e-mail, un bouton, une fiche produit. Vous créez une variante qui change un élément : la couleur du bouton, la formulation du titre, la position du formulaire. Pas trois éléments. Un.

Pourquoi ? Parce que si vous changez le titre, la photo et le bouton en même temps et que le taux grimpe, vous ne saurez jamais lequel a fait le travail. J'ai fait cette erreur sur ma première newsletter : refonte complète de l'objet, du préheader et de l'image, +12 % d'ouvertures. Impeccable. Sauf que le test suivant, où je n'ai touché qu'à l'objet, a donné… rien. Les 12 % venaient de l'image, probablement.

Un test, une variable. C'est frustrant, c'est lent, c'est la seule façon d'apprendre quelque chose de réutilisable.

Les trois familles que l'on confond tout le temps

Le mot « A/B test » sert à désigner des choses assez différentes, et c'est là que les conversations partent en vrille :

• Le test d'interface — deux versions d'une page web, mesurées sur le taux de conversion.
• Le test de contenu — deux objets d'e-mail, deux titres d'article, deux accroches publicitaires. Plus rapide, plus volatil.
• Le test séquentiel — A pendant deux semaines, puis B pendant deux semaines. Ce n'est pas un A/B test. C'est une comparaison temporelle, et elle est polluée par tout ce qui a changé entre-temps : saisonnalité, actualité, votre propre lassitude.

Le troisième cas est de loin le plus fréquent chez les petites structures, faute d'outil. Et c'est celui qui produit le plus de fausses conclusions.

Comment faire un ab test ?

La méthode que j'applique aujourd'hui, après avoir tâtonné, tient en six étapes. Elle n'est pas glamour. Elle fonctionne.

Étape 1 : formuler une hypothèse falsifiable

Pas « on va tester le bouton ». Plutôt : « Si je remplace le libellé "En savoir plus" par "Voir les tarifs", alors le taux de clic augmentera, parce que le premier est vague et le second annonce la destination. »

Vous remarquez la structure : une action, un effet attendu, une raison. Sans la raison, vous ne saurez pas quoi faire du résultat.

Étape 2 : choisir une métrique unique, et s'y tenir

C'est l'étape où tout le monde triche, moi compris. On décide de mesurer le taux de clic, puis le taux de clic baisse mais le temps passé augmente, et là, surprise : on se dit « finalement, le temps passé est plus pertinent ».

Ça a un nom : le p-hacking. En changeant de métrique après coup, on finit toujours par trouver un chiffre qui bouge. Un test honnête a une métrique, décidée avant, et un résultat qui peut être « perdu ».

Étape 3 : calculer la taille d'échantillon avant de lancer

Voilà le point que presque aucun article grand public n'aborde, et c'est pourtant le cœur du sujet. Trois paramètres déterminent combien de visites il vous faut :

• votre taux de conversion de départ (disons 3 %)
• l'effet minimal que vous voulez détecter (un passage à 3,5 % ? à 4 % ?)
• le niveau de confiance accepté (95 % est la convention)

Règle d'ordre de grandeur : plus l'effet visé est petit, plus l'échantillon explose. Détecter un gain de 10 % sur une base de 3 % demande plusieurs milliers de visites par variante. Détecter un gain de 50 % en demande quelques centaines. Si vous avez 200 visites par mois, vous ne pouvez PAS tester des micro-variations. Vous pouvez tester des changements radicaux, ou rien.

Je le dis franchement : la plupart des sites de PME que j'ai audités n'ont pas le trafic pour un A/B test classique. Ils feraient mieux de travailler sur des évidences ergonomiques que de courir après une significativité qu'ils n'atteindront jamais.

Étape 4 : fixer la durée à l'avance

Une semaine minimum, deux préférable, et toujours un nombre entier de semaines — parce que le comportement du mardi n'est pas celui du samedi. Le « peeking » (regarder les résultats tous les matins en espérant voir la barre passer au vert) est le meilleur moyen de s'arrêter pile au moment d'un pic aléatoire.

Étape 5 : analyser sans se mentir

À la fin, vous avez deux taux. Vous les comparez, vous regardez l'intervalle de confiance, et vous acceptez la réponse. Y compris quand elle est « aucune différence détectable ».

Ce dernier résultat est le plus courant. Il n'est pas nul : il vous dit que l'élément testé n'est pas un levier, et que vous pouvez arrêter d'y penser. C'est déjà beaucoup.

Étape 6 : documenter, puis rejouer

Un test sans trace écrite est un test perdu. J'ai un simple tableur : hypothèse, date, durée, variantes, résultat, décision. Rien de sophistiqué. Mais au bout de deux ans, il m'a évité de refaire trois fois le même test sur le même bouton.

Un exemple concret, de bout en bout

Une page d'inscription à une newsletter, 3 200 visites sur trois semaines. Hypothèse : le formulaire à trois champs (nom, e-mail, secteur) décourage, un formulaire à un seul champ (e-mail) convertira mieux. Métrique : taux d'inscription complète. Résultat : 4,1 % contre 2,6 %, soit un gain net. Décision : on garde. Mais — et c'est important — le taux de désabonnement sur les trois mois suivants a légèrement grimpé, parce qu'on qualifiait moins bien les inscrits. Le test était bon, sa conséquence ne l'était pas. On a réintroduit le champ « secteur » en optionnel.

Les erreurs qui tuent vos résultats (et que j'ai toutes commises)

Un chiffre qui m'a marqué : sur les tests que j'ai documentés sur mon propre site, environ un tiers des « gagnants » ne se sont pas reproduits au test suivant. Un tiers. Ce n'est pas une fatalité, c'est le signe qu'on teste trop petit, trop vite, ou trop de choses à la fois.

L'effet de nouveauté

Un bouton inédit attire l'œil pendant quelques jours. Si votre test dure cinq jours, vous mesurez la curiosité, pas la préférence. C'est exactement ce qui est arrivé à la lectrice dont je parlais au début : trois semaines de test, un gain, puis un retour à la normale. Trois semaines, c'était encore trop court pour que l'effet de nouveauté se dissipe.

Les faux positifs, mécanique implacable

Avec un seuil de confiance à 95 %, vous acceptez 5 % de risque de crier victoire à tort. Faites vingt tests par an et vous aurez statistiquement un faux positif. Ce n'est pas de la malchance, c'est de l'arithmétique.

Les tests lancés en période atypique

Black Friday, vacances scolaires, lancement d'un concurrent : un test qui chevauche un événement exceptionnel mesure l'événement. Un de mes pires tests portait sur une bannière, lancé pile pendant une semaine de soldes. Résultat spectaculaire, totalement inutile.

Le sujet dont personne ne parle : le cadre juridique

Un A/B test suppose de servir deux versions différentes à des visiteurs, donc de les répartir — donc de les identifier, au moins temporairement. En Europe, cela passe par un cookie ou un traceur, et la règle est simple : consentement préalable, sauf si le traceur est strictement nécessaire au service demandé.

La question à se poser avant de lancer : le test est-il nécessaire au fonctionnement du site (non), ou sert-il à mesurer et optimiser (oui) ? Dans le second cas, la bannière de consentement s'applique, et les visiteurs qui refusent doivent être exclus du test, pas répartis quand même.

Conséquence pratique que j'ai dû intégrer à contrecœur : sur un site où 40 % des visiteurs refusent les traceurs, votre échantillon réel n'est pas votre trafic. Il faut en tenir compte dans le calcul de l'étape 3, sinon le test n'atteindra jamais sa taille cible.

Type de test	Outils typiques	Trafic minimum réaliste	Durée conseillée
Bannière / bouton	Solutions de test intégrées au site	Élevé	2 semaines
Objet d'e-mail	Fonction A/B de l'outil d'envoi	Faible (liste de 1 000+)	1 envoi
Page d'atterrissage	Outils dédiés, tests serveur	Moyen à élevé	3 à 4 semaines
Fiche produit	Solution e-commerce	Élevé	2 semaines

Questions qu'on me pose souvent

Quel serait un exemple pour réaliser l'A/B testing ?

Le plus simple à mettre en place sans outil : deux objets d'e-mail. Vous prenez votre liste, vous coupez en deux moitiés aléatoires, vous envoyez l'objet A à la première et l'objet B à la seconde, à la même heure, et vous comparez le taux d'ouverture à 48 heures. Une seule variable change : la formulation de l'objet.

Pourquoi celui-là plutôt qu'un test de page ? Parce que la taille d'échantillon est atteinte immédiatement et que le résultat arrive vite. C'est le test idéal pour se faire la main sur la rigueur méthodologique avant de s'attaquer au site.

Qu'est-ce que le test ABTest Card ?

Attention, il y a une ambiguïté ici, et elle mérite d'être levée. « ABTest Card » n'est pas une méthode universelle d'A/B testing — c'est le nom de modules logiciels que l'on trouve dans certains environnements de développement, où une « carte » sert à déclencher et paramétrer un test depuis un outil de gestion de projet. On croise aussi ce terme dans des contextes très différents, notamment bancaires et hospitaliers, où il ne désigne pas du tout un test de page web.

Si vous avez vu ce terme quelque part, vérifiez le contexte avant de chercher une signification unique : il n'y en a pas. Et méfiez-vous des sigles à la mode, ils recouvrent souvent trois choses sans rapport.

Quel outil choisir ?

Trois critères comptent plus que la liste de fonctionnalités : la capacité à faire des tests côté serveur (moins sensibles aux bloqueurs), la gestion propre du consentement, et le calcul de significativité intégré. Le reste est du confort.

Un détail qui m'a coûté cher : les outils qui injectent la variante côté navigateur sont de plus en plus bloqués par les extensions de confidentialité. Sur un site où j'avais une audience technique, j'ai perdu une part significative de l'échantillon sans que rien ne le signale dans le tableau de bord. Le test était faussé dès le départ.

Ce que j'ai fini par comprendre

Un A/B test ne dit pas « la version B est meilleure ». Il dit « sur cet échantillon, dans ces conditions, sur cette période, la différence observée est peu probable si les deux versions sont équivalentes ». C'est une phrase longue, moins vendeuse, et infiniment plus utile.

La vraie compétence n'est pas de lancer des tests. C'est de savoir lesquels ne pas lancer. Ceux où le trafic manque, ceux qui changent trois choses à la fois, ceux qu'on lancera pendant les soldes, ceux dont on sait déjà qu'on n'acceptera pas le résultat s'il est négatif.

Cette dernière catégorie est la plus embarrassante. Posez-vous la question avant chaque test : si B perd, est-ce que je changerai vraiment quelque chose ? Si la réponse est non, vous ne faites pas un test. Vous cherchez une confirmation.