Conclure trop tôt est l'erreur numéro un de l'A/B test. La méthode complète, ce qu'est vraiment la significativité statistique, et pourquoi on ne teste qu'une variable à la fois.
L'essentiel en 30 secondes - Un A/B test compare deux versions d'une page ou d'une créa pour savoir laquelle convertit le mieux, sur des données réelles - Le piège numéro un : conclure trop tôt. Sans assez de données, un écart apparent n'est que du hasard - La significativité statistique dit si une différence est réelle ou due à la chance — l'ignorer mène à de fausses conclusions - On teste une seule variable à la fois : changer dix choses empêche de savoir ce qui a agi - Un bon test se prépare : une hypothèse claire, une seule variable, un volume suffisant, une durée définie à l'avance
"La version B fait +15 %, on la garde !" Sauf que le test tournait depuis deux jours sur cent visiteurs. Cette conclusion précipitée est l'erreur la plus commune de l'A/B test — et elle mène à prendre des décisions sur du hasard. Bien mené, l'A/B test est le cœur du CRO ; mal mené, il induit en erreur avec l'apparence de la rigueur.
Ce qu'est un A/B test
Un A/B test compare deux versions — une page, un bouton, une accroche — en montrant la version A à une moitié des visiteurs, la version B à l'autre, puis en mesurant laquelle convertit le mieux. L'idée est simple : décider sur des données réelles plutôt que sur une opinion. Le juge est le taux de conversion, pas le goût.
Le piège : conclure trop tôt
Sur peu de données, les chiffres sont instables. Un écart de +15 % sur cent visiteurs peut n'être que du bruit : refaites le test, il s'inverse. Conclure avant d'avoir assez de volume, c'est prendre une décision sur du hasard déguisé en résultat. La patience fait partie de la méthode.
La significativité statistique, en clair
La significativité statistique répond à une question : cette différence est-elle réelle, ou pourrait-elle venir de la chance ? Un résultat "significatif" signifie qu'il est très peu probable qu'il soit dû au hasard. Tant que ce seuil n'est pas atteint, l'écart observé ne prouve rien, même s'il paraît gros. Ignorer ce principe, c'est confondre bruit et signal.