Réseaux sociaux: Qu’est-ce que le test A/B ? Un guide pratique avec des exemples

Qu’est-ce que le test A/B ?

Les tests A/B, également appelés tests fractionnés, font référence à un processus d’expérimentation aléatoire dans lequel deux ou plusieurs versions d’une variable (page Web, élément de page, etc.) sont présentées à différents segments de visiteurs du site Web en même temps pour déterminer laquelle la version laisse le maximum d’impact et génère des métriques commerciales.

expliquer les tests A/B

Essentiellement, les tests A/B éliminent toutes les conjectures de l’optimisation du site Web et permettent aux optimiseurs d’expérience de prendre des décisions fondées sur des données. Dans les tests A/B, A fait référence au « contrôle » ou à la variable de test d’origine. Tandis que B fait référence à une « variation » ou à une nouvelle version de la variable de test d’origine.

La version qui déplace vos mesures commerciales dans le sens positif est connue sous le nom de « gagnant ». La mise en œuvre des modifications de cette variante gagnante sur vos pages / éléments testés peut vous aider à optimiser votre site Web et à augmenter le retour sur investissement de votre entreprise. .

Les mesures de conversion sont propres à chaque site Web. Par exemple, dans le cas du commerce électronique, il peut s’agir de la vente des produits. En attendant, pour le B2B, cela peut être la génération de leads qualifiés.

Les tests A/B sont l’un des composants du processus global d’optimisation du taux de conversion (CRO), à l’aide duquel vous pouvez collecter des informations utilisateur qualitatives et quantitatives. Vous pouvez également utiliser ces données collectées pour comprendre le comportement des utilisateurs, le taux d’engagement, les points faibles et même la satisfaction concernant les fonctionnalités du site Web, y compris les nouvelles fonctionnalités, les sections de page remaniées, etc. Si vous ne testez pas votre site Web A/B, vous sûrement perdre beaucoup de revenus commerciaux potentiels.

Créez votre premier test A/B et optimisez votre site Web dès aujourd'hui

Pourquoi devriez-vous envisager des tests A/B ?

Si les entreprises B2B sont aujourd’hui mécontentes de tous les prospects non qualifiés qu’elles obtiennent par mois, les magasins de commerce électronique, en revanche, sont aux prises avec un taux d’abandon de panier élevé. Pendant ce temps, les médias et les maisons d’édition sont également confrontés à un faible engagement des téléspectateurs. Ces métriques de conversion de base sont affectées par certains problèmes courants tels que des fuites dans l’entonnoir de conversion, des baisses sur la page de paiement, etc.

Voyons pourquoi vous devriez faire des tests A/B :

pourquoi devriez-vous envisager les tests A/B

1. Résoudre les problèmes rencontrés par les visiteurs

Les visiteurs viennent sur votre site Web pour atteindre un objectif spécifique qu’ils ont en tête. Cela peut être pour mieux comprendre votre produit ou service, acheter un produit particulier, lire/en savoir plus sur un sujet spécifique, ou simplement parcourir. Quel que soit l’objectif du visiteur, il peut être confronté à des problèmes courants tout en atteignant son objectif. Cela peut être une copie déroutante ou difficile de trouver le bouton CTA comme acheter maintenant, demander une démo, etc.

Ne pas pouvoir atteindre leurs objectifs conduit à une mauvaise expérience utilisateur. Cela augmente les frictions et finit par avoir un impact sur vos taux de conversion. Utilisez les données recueillies via des outils d’analyse du comportement des visiteurs tels que les cartes thermiques, Google Analytics et les enquêtes sur les sites Web pour résoudre les problèmes de vos visiteurs. Cela est vrai pour toutes les entreprises : commerce électronique, voyages, SaaS, éducation, médias et édition.

2. Obtenez un meilleur retour sur investissement du trafic existant

Comme la plupart des optimiseurs d’expérience l’ont compris, le coût d’acquisition d’un trafic de qualité sur votre site Web est énorme. Les tests A/B vous permettent de tirer le meilleur parti de votre trafic existant et vous aident à augmenter les conversions sans avoir à dépenser de l’argent supplémentaire pour acquérir un nouveau trafic. Les tests A/B peuvent vous offrir un retour sur investissement élevé, car parfois, même les moindres changements sur votre site Web peuvent entraîner une augmentation significative des conversions commerciales globales.

tirer parti des tests A/B pour obtenir un retour sur investissement commercial élevé à partir du trafic existant. Commencez votre essai gratuit aujourd'hui!

3. Réduire le taux de rebond

L’une des mesures les plus importantes à suivre pour évaluer les performances de votre site Web est son taux de rebond. Le taux de rebond élevé de votre site Web peut être dû à de nombreuses raisons, telles qu’un trop grand nombre d’options parmi lesquelles choisir, une inadéquation des attentes, une navigation confuse, l’utilisation de trop de jargon technique, etc.

Étant donné que différents sites Web servent des objectifs différents et s’adressent à différents segments de public, il n’existe pas de solution unique pour réduire le taux de rebond. Cependant, l’exécution d’un test A/B peut s’avérer bénéfique. Avec les tests A/B, vous pouvez tester plusieurs variantes d’un élément de votre site Web jusqu’à ce que vous trouviez la meilleure version possible. Cela vous aide non seulement à trouver les points de friction et les points faibles des visiteurs, mais aussi à améliorer l’expérience globale des visiteurs de votre site Web, en les faisant passer plus de temps sur votre site et même en se convertissant en client payant.

4. Apportez des modifications à faible risque

Apportez des modifications mineures et incrémentielles à votre page Web avec des tests A/B au lieu de repenser toute la page. Cela peut réduire le risque de compromettre votre taux de conversion actuel.

Les tests A/B vous permettent de cibler vos ressources pour un rendement maximal avec un minimum de modifications, ce qui entraîne un retour sur investissement accru. Un exemple de cela pourrait être les changements de description de produit. Vous pouvez effectuer un test A/B lorsque vous envisagez de supprimer ou de mettre à jour vos descriptions de produits. Vous ne savez pas comment vos visiteurs vont réagir au changement. En effectuant un test A/B, vous pouvez analyser leur réaction et déterminer de quel côté la balance peut basculer.

Un autre exemple de modification à faible risque peut être l’introduction d’un nouveau changement de fonctionnalité. Avant d’introduire une nouvelle fonctionnalité, la lancer en tant que test A/B peut vous aider à comprendre si le nouveau changement que vous proposez plaira ou non à l’audience de votre site Web.

Mettre en œuvre un changement sur votre site Web sans le tester peut ou non porter ses fruits à court et à long terme. Tester puis apporter des modifications peut rendre le résultat plus sûr.

5. Obtenir des améliorations statistiquement significatives

Étant donné que les tests A/B sont entièrement axés sur les données, sans aucune place pour les conjectures, les intuitions ou les instincts, vous pouvez rapidement déterminer un « gagnant » et un « perdant » sur la base d’améliorations statistiquement significatives sur des métriques telles que le temps passé sur la page, le nombre de demandes de démo, taux d’abandon de panier, taux de clics, etc.

6. Refonte du site Web pour augmenter les gains commerciaux futurs

La refonte peut aller d’un texte CTA mineur ou d’un ajustement de couleur à des pages Web particulières à la refonte complète du site Web. La décision d’implémenter une version ou l’autre doit toujours être basée sur les données lors des tests A/B. Ne quittez pas les tests avec la conception en cours de finalisation. Au fur et à mesure de la mise en ligne de la nouvelle version, testez d’autres éléments de la page Web pour vous assurer que la version la plus attrayante est proposée aux visiteurs.

Que pouvez-vous tester A/B ?

L’entonnoir de conversion de votre site Web détermine le sort de votre entreprise. Par conséquent, chaque élément de contenu qui atteint votre public cible via votre site Web doit être optimisé au maximum de son potentiel. Cela est particulièrement vrai pour les éléments susceptibles d’influencer le comportement des visiteurs de votre site Web et le taux de conversion de votre entreprise. Lorsque vous entreprenez un programme d’optimisation, testez les éléments clés du site suivants (la liste n’est cependant pas exhaustive) :

Que pouvez-vous tester A/B ?

Copie

1. Titres et sous-titres

Un titre est pratiquement la première chose qu’un visiteur remarque sur une page Web. C’est aussi ce qui définit leur première et dernière impression, remplissant les blancs s’ils vont ou non aller de l’avant et se convertir en clients payants. Par conséquent, il est impératif de faire très attention aux titres et sous-titres de votre site. Assurez-vous qu’ils sont courts, directs, accrocheurs et qu’ils transmettent le message que vous souhaitez dans un premier temps. Essayez A/B de tester quelques copies avec différentes polices et styles d’écriture, et analysez ce qui attire le plus l’attention de vos visiteurs et les oblige à se convertir. Vous pouvez également utiliser le système de génération de texte basé sur l’IA de VWO pour générer des recommandations pour la copie existante sur votre site Web.

2. Corps

Le corps ou le contenu textuel principal de votre site Web doit clairement indiquer ce que le visiteur obtient – ​​ce qui lui est réservé. Il devrait également résonner avec le titre et le sous-titre de votre page. Un corps bien écrit peut augmenter considérablement les chances de transformer votre site Web en un aimant de conversion.

Lors de la rédaction du contenu de votre site Web, gardez à l’esprit les deux paramètres suivants :

  • Style d’écriture: Utilisez la bonne tonalité en fonction de votre public cible. Votre copie doit s’adresser directement à l’utilisateur final et répondre à toutes ses questions. Il doit contenir des phrases clés qui améliorent la convivialité et des éléments stylistiques qui mettent en évidence les points importants.
  • Mise en page: Utilisez des titres et des sous-titres pertinents, divisez la copie en paragraphes petits et faciles et formatez-la pour les écumeurs à l’aide de puces ou de listes.

Fait intéressant, les optimiseurs d’expérience peuvent désormais tirer parti de l’intelligence artificielle pour créer des copies de sites Web. GPT-3 ou Generative Pre-trained Transformer 3, est un réseau de neurones alimenté par l’IA qui a la capacité de produire un contenu textuel presque sans faille, pertinent pour n’importe quel contexte donné. Construit par OpenAI, GPT-3 utilise l’apprentissage automatique pour prédire et rédiger du contenu comme un humain. La meilleure partie? Vous pouvez désormais intégrer le GPT-3 d’OpenAI au compte VWO Testing et créer des variantes pour la copie de votre site Web et les déployer sans l’aide d’un rédacteur expert ou d’un informaticien, respectivement.

3. Lignes d’objet

Les lignes d’objet des e-mails ont un impact direct sur les taux d’ouverture. Si un abonné ne voit rien de ce qu’il aime, l’e-mail se retrouvera probablement dans sa corbeille.

Selon des recherches récentes, les taux d’ouverture moyens dans plus d’une douzaine d’industries vont de 25 à 47%. Même si vous êtes au-dessus de la moyenne, seulement la moitié environ de vos abonnés pourraient ouvrir vos e-mails.

Les lignes d’objet des tests A/B peuvent augmenter vos chances d’inciter les gens à cliquer. Essayez les questions contre les déclarations, testez les mots puissants les uns par rapport aux autres et envisagez d’utiliser des lignes d’objet avec et sans émojis.

A/B testez vos lignes d'objet aujourd'hui et voyez la différence vous-même

Conception et mise en page

Parce que tout semble si essentiel, les entreprises ont parfois du mal à ne trouver que les éléments les plus essentiels à conserver sur leur site Web. Avec les tests A/B, ce problème peut être résolu une fois pour toutes.

Par exemple, en tant que boutique de commerce électronique, votre page produit est extrêmement importante du point de vue de la conversion. Une chose est sûre, avec le progrès technologique à son stade actuel, les clients aiment tout voir en haute définition avant de l’acheter. Par conséquent, votre page produit doit être dans sa forme la plus optimisée en termes de conception et de mise en page.

Outre la copie, la conception et la mise en page de la page incluent des images (images de produits, images d’offres, etc.) et des vidéos (vidéos de produits, vidéos de démonstration, publicités, etc.). Votre page produit doit répondre à toutes les questions de vos visiteurs sans les confondre et sans s’encombrer :

  • Fournissez des informations claires : En fonction des produits que vous vendez, trouvez des moyens créatifs de fournir tout le contexte nécessaire et des descriptions de produits précises afin que les acheteurs potentiels ne soient pas submergés par une copie non organisée tout en cherchant des réponses à leurs questions. Rédigez des copies claires et fournissez des tableaux de tailles, des options de couleurs, etc.
  • Mettre en avant les avis clients : Ajoutez à la fois de bonnes et de mauvaises critiques pour vos produits. Les avis négatifs ajoutent de la crédibilité à votre magasin.
  • Rédigez un contenu simple : Évitez de confondre les acheteurs potentiels avec un langage compliqué dans la quête pour décorer votre contenu. Soyez bref, simple et amusant à lire.
  • Créer un sentiment d’urgence : Ajoutez des balises comme « Seulement 2 restants en stock », des comptes à rebours comme « L’offre se termine dans 2 heures et 15 minutes », ou mettez en évidence des remises exclusives et des offres festives, etc., pour inciter les acheteurs potentiels à acheter immédiatement.

D’autres pages importantes dont la conception doit être précise sont des pages telles que la page d’accueil et la page de destination. Utilisez les tests A/B pour découvrir la version la plus optimisée de ces pages critiques. Testez autant d’idées que possible, comme ajouter beaucoup d’espaces blancs et des images haute définition, présenter des vidéos de produits au lieu d’images et tester différentes mises en page.

Désencombrez vos pages en utilisant les informations des heatmaps, clickmaps et scrollmaps pour analyser les clics morts et identifier les distractions. Moins votre page d’accueil et vos pages de destination sont encombrées, plus vos visiteurs ont de chances de trouver facilement et rapidement ce qu’ils recherchent.

Optimisez de manière itérative votre site Web et stimulez la croissance de votre entreprise avec VWO Testing

La navigation

Un autre élément de votre site Web que vous pouvez optimiser par des tests A/B est la navigation de votre site Web. C’est l’élément le plus crucial lorsqu’il s’agit d’offrir une excellente expérience utilisateur. Assurez-vous d’avoir un plan clair pour la structure de votre site Web et la façon dont les différentes pages seront liées les unes aux autres et réagiront au sein de cette structure.

La navigation de votre site Web commence sur la page d’accueil. La page d’accueil est la page parent à partir de laquelle toutes les autres pages émergent et renvoient les unes aux autres. Assurez-vous que votre structure est telle que les visiteurs peuvent facilement trouver ce qu’ils recherchent et ne se perdent pas à cause d’un chemin de navigation interrompu. Chaque clic doit diriger les visiteurs vers la page souhaitée.

Vous trouverez ci-dessous quelques idées pour vous aider à améliorer votre jeu de navigation :

  • Correspondre aux attentes des visiteurs en plaçant votre barre de navigation à des endroits standard comme la navigation horizontale en haut et verticale en bas à gauche pour rendre votre site Web plus facile à utiliser.
  • Rendez la navigation de votre site prévisible en conservant un contenu à thème similaire dans le même compartiment ou dans des compartiments associés pour réduire la charge cognitive de votre visiteur. Par exemple, en tant que boutique de commerce électronique, vous pouvez vendre une variété d’écouteurs et d’écouteurs. Certains d’entre eux peuvent être câblés, tandis que d’autres peuvent être sans fil ou des écouteurs. Rangez-les de telle sorte que lorsqu’un visiteur recherche des écouteurs ou des écouteurs, il trouve toutes ces variétés au même endroit plutôt que d’avoir à rechercher chaque type séparément
  • Créer un site Web fluide et facile à naviguer en gardant sa structure simple, prévisible et en adéquation avec les attentes de vos visiteurs. Cela augmentera non seulement les chances d’obtenir plus de conversions, mais créera également une expérience client agréable, obligeant les visiteurs à revenir sur votre site Web.

Formes

Les formulaires sont des supports par lesquels les clients potentiels entrent en contact avec vous. Ils deviennent encore plus importants s’ils font partie de votre entonnoir d’achat. Tout comme il n’y a pas deux sites Web identiques, il n’y a pas deux formulaires s’adressant à des publics différents. Alors qu’un petit formulaire complet peut fonctionner pour certaines entreprises, les formulaires longs peuvent faire des merveilles pour leur qualité de plomb pour d’autres entreprises.

Vous pouvez déterminer le style qui convient le mieux à votre public en utilisant des outils/méthodes de recherche comme l’analyse de formulaire pour déterminer la zone problématique de votre formulaire et travailler à son optimisation.

CTA (appel à l’action)

Le CTA est l’endroit où se déroule toute l’action réelle – que les visiteurs terminent ou non leurs achats et convertissent s’ils remplissent le formulaire d’inscription ou non, et plus encore de telles actions qui ont une incidence directe sur votre taux de conversion. Les tests A/B vous permettent de tester différentes copies de CTA, leur placement sur la page Web, leur taille et leur palette de couleurs, etc. Une telle expérimentation aide à comprendre quelle variation a le potentiel d’obtenir le plus de conversions.

La preuve sociale

La preuve sociale peut prendre la forme de recommandations et d’avis d’experts de domaines particuliers, de célébrités et de clients eux-mêmes, ou peut prendre la forme de témoignages, de mentions dans les médias, de récompenses et de badges, de certificats, etc. La présence de ces justificatifs valide les revendications formulées par votre site Internet. Les tests A/B peuvent vous aider à déterminer si l’ajout d’une preuve sociale est une bonne idée ou non. Si c’est une bonne idée, quels types de preuves sociales devez-vous ajouter et combien devez-vous en ajouter. Vous pouvez tester différents types de preuves sociales, leurs mises en page et leurs emplacements pour comprendre ce qui fonctionne le mieux en votre faveur.

Profondeur du contenu

Certains visiteurs de sites Web préfèrent lire des éléments de contenu longs qui couvrent de manière approfondie les moindres détails. Pendant ce temps, beaucoup d’autres aiment simplement parcourir la page et n’approfondir que les sujets qui les concernent le plus. Dans quelle catégorie appartient votre public cible ?

Profondeur du contenu du test A/B. La création de deux éléments du même contenu, l’un beaucoup plus long que l’autre, fournit plus de détails. Analysez ce qui oblige le plus vos lecteurs.

Comprenez que la profondeur du contenu a un impact sur le référencement et de nombreuses autres mesures commerciales telles que le taux de conversion, le temps passé sur la page et le taux de rebond. Les tests A/B vous permettent de trouver l’équilibre idéal entre les deux.

Générez plus de conversions en testant les éléments de votre site Web avec VWO. Créez votre premier test A/B dès aujourd'hui !

Quels sont les différents types de tests A/B ?

Après avoir appris quels éléments de page Web tester pour faire évoluer les métriques de votre entreprise dans la direction positive, allons de l’avant et découvrons les différents types de méthodes de test ainsi que leurs avantages.

Idéalement, il existe quatre méthodes de test de base : les tests A/B, les tests d’URL fractionnés, les tests multivariés et les tests multipages. Nous avons déjà évoqué le premier type, à savoir les tests A/B. Passons aux autres.

Test d’URL fractionnée

De nombreuses personnes dans le domaine des tests confondent les tests d’URL fractionnés avec les tests A/B. Cependant, les deux sont fondamentalement très différents. Le test d’URL fractionné fait référence à un processus d’expérimentation dans lequel une toute nouvelle version d’une URL de page Web existante est testée pour analyser celle qui fonctionne le mieux.

exemple de test d'URL fractionnée

En règle générale, les tests A/B sont utilisés lorsque vous souhaitez uniquement tester les modifications frontales sur votre site Web. D’autre part, le test de Split URL est utilisé lorsque vous souhaitez apporter des modifications importantes à votre page existante, notamment en termes de conception. Vous n’êtes pas disposé à toucher à la conception de la page Web existante à des fins de comparaison.

Lorsque vous exécutez un test d’URL fractionnée, le trafic de votre site Web est réparti entre le contrôle (URL de la page Web d’origine) et les variantes (URL de la nouvelle page Web), et chacun de leurs taux de conversion respectifs est mesuré pour déterminer le gagnant.

Avantages du test d’URL fractionnée

  • Idéal pour essayer de nouvelles conceptions radicales tout en utilisant la conception de page existante pour une analyse comparative.
  • Recommandé pour exécuter des tests avec des modifications non liées à l’interface utilisateur, telles que le passage à une autre base de données, l’optimisation du temps de chargement de votre page, etc.
  • Modifiez les flux de travail des pages Web. Les workflows affectent considérablement les conversions commerciales, aidant à tester de nouveaux chemins avant de mettre en œuvre des changements et de déterminer si l’un des points de blocage a été manqué.
  • Une méthode de test meilleure et très recommandée pour le contenu dynamique.

Test multivarié (MVT)

Les tests multivariés (MVT) font référence à une méthode d’expérimentation dans laquelle les variations de plusieurs variables de page sont testées simultanément pour analyser quelle combinaison de variables fonctionne le mieux parmi toutes les permutations possibles. C’est plus compliqué qu’un test A/B classique et il convient mieux aux professionnels avancés du marketing, des produits et du développement.

exemple de test multivarié

Voici un exemple pour vous donner une description plus complète des tests multivariés. Supposons que vous décidiez de tester 2 versions, chacune de l’image du héros, la couleur du bouton d’appel à l’action et les titres de l’une de vos pages de destination. Cela signifie qu’un total de 8 variantes sont créées, qui seront testées simultanément pour trouver la variante gagnante.

Voici une formule simple pour calculer le nombre total de versions dans un test multivarié :

[No. of variations of element A] X [No. of variations of element B] X [No. of variations of element C]… = [Total No. of variations]

Lorsqu’ils sont effectués correctement, les tests multivariés peuvent aider à éliminer le besoin d’exécuter des tests A/B multiples et séquentiels sur une page Web avec des objectifs similaires. L’exécution de tests simultanés avec un plus grand nombre de variantes vous permet d’économiser du temps, de l’argent et des efforts et de parvenir à une conclusion dans les plus brefs délais.

Avantages des tests multivariés

Les tests multivariés offrent généralement trois principaux avantages :

  • Permet d’éviter d’avoir à effectuer plusieurs tests A/B séquentiels avec le même objectif et de gagner du temps puisque vous pouvez suivre simultanément les performances de divers éléments de page testés.
  • Analyser et déterminer facilement la contribution de chaque élément de page aux gains mesurés,
  • Cartographiez toutes les interactions entre toutes les variantes d’éléments indépendants (titres de page, image de bannière, etc.).

Tests multipages

Le test multipage est une forme d’expérimentation où vous pouvez tester les modifications apportées à des éléments particuliers sur plusieurs pages.

exemple de test multipage

Il existe deux manières de réaliser un test de plusieurs pages. Premièrement, vous pouvez soit prendre toutes les pages de votre entonnoir de vente et créer de nouvelles versions de chacune, ce qui fait de votre challenger l’entonnoir de vente, puis vous le testez par rapport au contrôle. C’est appelé Tests multipages en entonnoir.

Deuxièmement, vous pouvez tester comment l’ajout ou la suppression d’éléments récurrents, tels que des badges de sécurité, des témoignages, etc., peut avoir un impact sur les conversions sur l’ensemble d’un entonnoir. C’est appelé Tests multipages classiques ou conventionnels.

Avantages des tests multipages

Semblable aux tests A/B, les tests multipages sont faciles à créer et à exécuter et fournissent des données significatives et fiables avec facilité et dans les plus brefs délais.

Les avantages des tests multipages sont les suivants :

  1. Il vous permet de créer des expériences cohérentes pour votre public cible.
  2. Il aide votre public cible à voir un ensemble cohérent de pages, qu’il s’agisse du contrôle ou de l’une de ses variantes.
  3. Il vous permet de mettre en œuvre le même changement sur plusieurs pages pour vous assurer que les visiteurs de votre site Web ne sont pas distraits et ne rebondissent pas entre différentes variantes et conceptions lors de la navigation sur votre site Web.
en savoir plus sur les tests A/B et comment ils peuvent vous aider à faire évoluer vos indicateurs commerciaux dans une direction positive

Quelle approche statistique utiliser pour réaliser un test A/B ?

Après avoir appris quatre types différents de méthodes d’expérimentation de tests A/B, il est tout aussi important de comprendre quelle approche statistique adopter pour réussir un test A/B et tirer la bonne conclusion commerciale.

Idéalement, il existe deux types d’approches statistiques utilisées par les expérimentateurs A/B/n à travers le monde : fréquentiste et bayésienne. Chacune de ces approches a ses propres avantages et inconvénients. Cependant, chez VWO, nous utilisons, soutenons et promouvons l’approche bayésienne.

La comparaison entre les deux approches ci-dessous vous aidera à comprendre pourquoi.

Approche fréquentiste :

L’approche fréquentiste de la probabilité définit la probabilité d’un événement par rapport à la fréquence (d’où le nom) un événement particulier se produit dans un grand nombre d’essais/points de données. Lorsqu’il est appliqué au monde des tests A/B, on peut voir que quiconque adopte l’approche fréquentiste aurait besoin de plus de données (en fonction du nombre de visiteurs testés et sur des durées plus longues) pour tirer les bonnes conclusions. C’est quelque chose qui vous limite dans l’intensification de tout effort de test A/B. Selon l’approche fréquentiste, il est essentiel de définir la durée de votre test A/B en fonction de la taille de l’échantillon pour tirer les bonnes conclusions de test. Les tests sont basés sur le fait que chaque expérience peut être répétée à l’infini.

Suivre cette approche demande beaucoup d’attention aux détails pour chaque test que vous exécutez, car pour le même ensemble de visiteurs, vous serez obligé d’exécuter des tests de plus longue durée que l’approche bayésienne. Par conséquent, chaque test doit être traité avec une extrême prudence car il n’y a que quelques tests que vous pouvez exécuter dans un laps de temps donné. Contrairement aux statistiques bayésiennes, l’approche fréquentiste est moins intuitive et s’avère souvent difficile à comprendre.

Approche bayésienne :

Par rapport à l’approche fréquentiste, les statistiques bayésiennes sont une approche théorique qui traite de l’interprétation bayésienne de la probabilité, où la probabilité est exprimée comme un degré de croyance en un événement. En d’autres termes, plus vous en savez sur un événement, mieux et plus vite vous pouvez prédire les résultats finaux. Plutôt que d’être une valeur fixe, la probabilité sous les statistiques bayésiennes peut changer à mesure que de nouvelles informations sont recueillies. Cette croyance peut être basée sur des informations passées telles que les résultats de tests antérieurs ou d’autres informations sur l’événement.

Contrairement à l’approche fréquentiste, l’approche bayésienne fournit des résultats exploitables presque 50 % plus rapidement tout en se concentrant sur la signification statistique. À tout moment, à condition de disposer de suffisamment de données, l’approche bayésienne vous indique la probabilité que la variation A ait un taux de conversion inférieur à la variation B ou au contrôle. Il n’est pas assorti d’une limite de temps définie et ne nécessite pas non plus une connaissance approfondie des statistiques.

Dans les termes les plus simples, l’approche bayésienne s’apparente à la façon dont nous abordons les choses dans la vie de tous les jours. Par exemple, vous avez égaré votre téléphone portable dans votre maison. En tant que fréquentiste, vous n’utiliseriez qu’un traceur GPS pour le suivre et ne vérifieriez que la zone vers laquelle le traceur pointe. En tant que bayésien, vous utiliserez non seulement un traceur GPS, mais vous vérifierez également tous les endroits de la maison où vous avez trouvé votre téléphone égaré. Dans le premier cas, l’événement est considéré comme une valeur fixe, tandis que dans le second, toutes les connaissances passées et futures sont utilisées pour localiser le téléphone.

Pour mieux comprendre les deux approches statistiques, voici un tableau comparatif rien que pour vous :

Approche fréquentisteApproche bayésienne
Les statistiques fréquentistes suivent la définition de la probabilité « la probabilité en tant que fréquence à long terme ».Les statistiques bayésiennes suivent les notions de « probabilité en tant que degré de croyance » et de « probabilité logique ».
Dans cette approche, vous n’utilisez que les données de votre expérience actuelle. La solution fréquentiste est de faire des tests et de tirer des conclusions.Dans cette approche, vous utilisez vos connaissances antérieures des expériences précédentes et essayez d’incorporer ces informations dans vos données actuelles. La solution bayésienne consiste à utiliser les données existantes pour tirer des conclusions.
Donnez une moyenne estimée (et un écart type) des échantillons où A bat B mais ignore complètement les cas où B bat A.Il prend en compte la possibilité que A bat B et calcule également la plage d’amélioration à laquelle vous pouvez vous attendre.
Nécessite que le test s’exécute pendant une période définie pour obtenir des données correctes, mais ne peut pas déterminer à quel point A et B sont réellement proches ou éloignés. Il ne vous dit pas la probabilité que A bat B.Vous donne plus de contrôle sur les tests. Vous pouvez maintenant mieux planifier, avoir une raison plus précise pour mettre fin aux tests et entrer dans les détails de la proximité ou de l’éloignement de A et B.

Une fois que vous avez déterminé la méthode de test et l’approche statistique que vous souhaitez utiliser, il est temps d’apprendre l’art et la science de la réalisation de tests A/B sur la plate-forme de test A/B de VWO.

Comment faire un test A/B ?

Les tests A/B offrent un moyen très systématique de découvrir ce qui fonctionne et ce qui ne fonctionne pas dans une campagne marketing donnée. La plupart des efforts de marketing visent à générer plus de trafic. L’acquisition de trafic devenant de plus en plus difficile et coûteuse, il devient primordial d’offrir à vos utilisateurs la meilleure expérience qui vient sur votre site Web. Cela les aidera à atteindre leurs objectifs et leur permettra de se convertir de la manière la plus rapide et la plus efficace possible. Les tests A/B en marketing vous permettent de tirer le meilleur parti de votre trafic existant et d’augmenter les rentrées de revenus.

Un programme de test A/B structuré peut rendre les efforts de marketing plus rentables en identifiant les problèmes les plus cruciaux qui nécessitent une optimisation. Les tests A/B sont en train de passer d’une activité autonome menée une fois dans une lune bleue à une activité plus structurée et continue, qui devrait toujours être effectuée via un processus CRO bien défini. En gros, il comprend les étapes suivantes :

Étape 1 : Recherche

Avant de créer un plan de test A/B, il faut effectuer des recherches approfondies sur les performances actuelles du site Web. Vous devrez collecter des données sur tout ce qui concerne le nombre d’utilisateurs qui viennent sur le site, les pages qui génèrent le plus de trafic, les différents objectifs de conversion des différentes pages, etc. Les outils de test A/B utilisés ici peuvent inclure des outils d’analyse quantitative de sites Web. tels que Google Analytics, Omniture, Mixpanel, etc., qui peuvent vous aider à déterminer vos pages les plus visitées, les pages avec le plus de temps passé ou les pages avec le taux de rebond le plus élevé. Par exemple, vous pouvez commencer par présélectionner les pages qui ont le potentiel de revenus le plus élevé ou le trafic quotidien le plus élevé. Par la suite, vous voudrez peut-être approfondir les aspects qualitatifs de ce trafic.

Les outils Heatmap sont la principale technologie utilisée pour déterminer où les utilisateurs passent le plus de temps, leur comportement de défilement, etc. Cela peut vous aider à identifier les zones à problèmes sur votre site Web. Les sondages auprès des utilisateurs de sites Web sont un autre outil populaire utilisé pour effectuer des recherches plus approfondies. Les sondages peuvent servir de lien direct entre l’équipe de votre site Web et l’utilisateur final et mettent souvent en évidence des problèmes qui peuvent passer inaperçus dans les données agrégées.

De plus, des informations qualitatives peuvent être dérivées des outils d’enregistrement de session qui collectent des données sur le comportement des visiteurs, ce qui aide à identifier les lacunes dans le parcours de l’utilisateur. En fait, les outils d’enregistrement de session combinés à des enquêtes d’analyse de formulaire peuvent révéler des informations sur les raisons pour lesquelles les utilisateurs peuvent ne pas remplir votre formulaire. Cela peut être dû à certains champs qui demandent des informations personnelles ou des utilisateurs, peut-être en abandonnant vos formulaires trop longtemps.

Comme nous pouvons le voir, la recherche quantitative et qualitative peut nous aider à nous préparer pour la prochaine étape du processus, en faisant des observations exploitables pour les prochaines étapes.

Étape 2 : Observer et formuler des hypothèses

Rapprochez-vous de vos objectifs commerciaux en enregistrant les observations de recherche et en créant des hypothèses fondées sur des données visant à augmenter les conversions. Sans cela, votre campagne de test est comme une boussole sans direction. Les outils de recherche qualitative et quantitative ne peuvent que vous aider à collecter des données sur le comportement des visiteurs. Il est maintenant de votre responsabilité d’analyser et de donner un sens à ces données. La meilleure façon d’utiliser chaque bit de données rassemblées est de l’analyser, de faire des observations approfondies à leur sujet, puis de dessiner des sites Web et des informations sur les utilisateurs pour formuler des hypothèses fondées sur des données. Une fois que vous avez une hypothèse prête, testez-la par rapport à divers paramètres tels que la confiance que vous avez dans sa victoire, son impact sur les objectifs macro et sa facilité de mise en place, etc.

Étape 3 : Créer des variantes

La prochaine étape de votre programme de test devrait être de créer une variation basée sur votre hypothèse et de la tester A/B par rapport à la version existante (contrôle). Une variante est une autre version de votre version actuelle avec les modifications que vous souhaitez tester. Vous pouvez tester plusieurs variantes par rapport au contrôle pour voir laquelle fonctionne le mieux. Créez une variation basée sur votre hypothèse de ce qui pourrait fonctionner d’un point de vue UX. Par exemple, suffisamment de personnes ne remplissent pas les formulaires ? Votre formulaire comporte trop de champs ? Demande-t-il des informations personnelles ? Vous pouvez peut-être essayer une variante avec une forme plus courte ou une autre variante en omettant les champs qui demandent des informations personnelles.

Étape 4 : Exécuter le test

Avant de passer à cette étape, il est important de se concentrer sur le type de méthode de test et d’approche que vous souhaitez utiliser. Une fois que vous avez verrouillé l’un ou l’autre de ces types et approches en fonction (reportez-vous aux chapitres ci-dessus) des besoins et des objectifs commerciaux de votre site Web, lancez le test et attendez le temps imparti pour obtenir des résultats statistiquement significatifs. Gardez une chose à l’esprit : quelle que soit la méthode que vous choisissez, votre méthode de test et votre précision statistique détermineront les résultats finaux.

For example, one such condition is the timing of the test campaign. The timing and duration of the test have to be on point. Calculate the test duration keeping in mind your average daily and monthly visitors, estimated existing conversion rate, minimum improvement in conversion rate you expect, number of variations (including control), percentage of visitors included in the test, and so on.

Use our Bayesian Calculator to calculate the duration for which you should run your A/B tests for achieving statistically significant results.

Step 5: Analyse results and deploy changes

Even though this is the last step in finding your campaign winner, analysis of the results is extremely important. Because A/B testing calls for continuous data gathering and analysis, it is in this step that your entire journey unravels. Once your test concludes, analyze the test results by considering metrics like percentage increase, confidence level, direct and indirect impact on other metrics, etc. After you have considered these numbers, if the test succeeds, deploy the winning variation. If the test remains inconclusive, draw insights from it, and implement these in your subsequent tests.

How to Perform an A/B Test?

A/B testing lets you systematically work through each part of your website to improve conversions.

Use VWO’s A/B testing platform to evaluate the performance of your website

How to make an A/B testing calendar – plan & prioritize

A/B testing should never be considered an isolated optimization exercise. It’s a part of a wider holistic CRO program and should be treated as such. An effective optimization program typically has two parts, namely, plan and prioritize. Waking up one day and deciding to test your website is not how things are done in CRO. A good amount of brainstorming, along with real-time visitor data, is the only way to go about it.

In plain words, you begin by analyzing existing website data and gathering visitor behavior data, then move on to preparing a backlog of action items based on them, further prioritizing each of these items, running tests, and then drawing insights for the future. Eventually, when, as experience optimizers, you conduct enough ad-hoc based tests, you would want to scale your A/B testing program to make it more structured.

The first step to doing this is by making an A/B testing calendar. A good testing calendar or a good CRO program will take you through 4 stages:

How to make an A/B testing calendar

Stage 1: Measure

This stage is the planning stage of your A/B testing program. It includes measuring your website’s performance in terms of how visitors are reacting to it. In this stage, you should be able to figure out what is happening on your website, why it is happening, and how visitors are reacting to it. Everything that goes on in your website should correspond to your business goals. So before everything else, you need to be sure what your business goal/s is (are). Tools like Google Analytics can help you measure your goals. Once you have clearly defined goals, set up GA for your website and define your key performance indicators.

Let’s take an online mobile phone cover store as an example. The business goal for this store is to increase revenue by increasing online orders and sales. The KPI set to track this goal would then be the number of phone covers sold.

This stage, however, does not simply end with defining website goals and KPIs. It also includes understanding your visitors. We have already discussed the various tools that can be used to gather visitor behavior data. Once data is collected, log in observations and start planning your campaign from there. Better data means higher sales.

Once the business goals are defined, KPIs set, and website data and visitor behavior data analyzed, it is time to prepare a backlog.

Backlog: “an accumulation of tasks unperformed or materials not processed.”

Your backlog should be an exhaustive list of all the elements on the website that you decide to test based on the data you analyzed. With a data-backed backlog ready, the next step is formulating a hypothesis for each backlog item. With the data gathered in this stage and its analysis, you will now have enough context of what happens on your website and why. Formulate a hypothesis based on them.

For example, after analyzing the data gathered using quantitative and qualitative research tools in the 1st stage, you come to the conclusion that not having multiple payment options led to maximum prospect customers dropping off on the checkout page. So you hypothesize that “adding multiple payment options will help reduce drop off on the checkout page.”

In short, by the end of this stage, you will know the whats and whys of your website.

Stage 2: Prioritize

The next stage involves prioritizing your test opportunities. Prioritizing helps you scientifically sort multiple hypotheses. By now, you should be fully equipped with website data, visitor data and be clear on your goals. With the backlog, you prepared in the first stage and the hypothesis ready for each candidate, you are halfway there on your optimization roadmap. Now comes the main task of this stage: prioritizing.

In stage 2, you should be fully equipped to identify problem areas of your website and leaks in your funnel. But not every action area has equal business potential. So it becomes imperative to weigh out your backlog candidates before picking the ones you want to test. There are a few things to be kept in mind while prioritizing items for your test campaign like the potential for improvement, page value and cost, the importance of the page from a business perspective, traffic on the page, and so on.

But how can you ensure that no subjectivity finds its way in your prioritization framework? Can you be 100% objective at all times? As humans, we give loads of importance to gut feelings, personal opinions, ideas, and values because these are the things that help us in our everyday lives. But, CRO is not everyday life. It is a scientific process that needs you to be objective and make sound data-backed decisions and choices. The best way to weed out these subjectivities is by adopting a prioritization framework.

There are many prioritization frameworks that even experts employ to make sense of their huge backlogs. On this pillar page, you will learn about the most popular frameworks that experience optimizers use – the CIE prioritization framework, the PIE prioritization framework, and the LIFT Model.

1. CIE Prioritization Framework

In the CIE framework, there are three parameters on which you must rate your test on a scale of 1 to 5:

  • Confidence: On a scale of 1 to 5 – 1 being the lowest and 5 being the highest – select how confident you are about achieving the expected improvement through the hypothesis.
  • Importance: On a scale of 1 to 5 – 1 being the lowest, and 5 being the highest – select how crucial the test (for which the hypothesis is created) is.
  • Ease: On a scale of 1 to 5 – 1 being the most difficult, and 5 being the easiest – select the complexity of the test. Rate how difficult it will be to implement the changes identified for the test.

Before you rate your hypotheses, consider these 3 things:

A. How confident are you of achieving the uplift?

Prototyping the user persona, you are targeting can help you determine the potential of a hypothesis. With a sound understanding of your audience, you can make an educated assumption on whether the hypothesis will address the users’ apprehensions and doubts and nudge them to convert or not.

B. How valuable is the traffic you are running this test for?

Your website may be attracting visitors in large numbers, but not all visitors become buyers. Not all convert. For example, a hypothesis built around the checkout page holds a higher importance than the one built around the product features page. This is because visitors on the checkout page are way deep in your conversion funnel and have a higher chance to convert rather than visitors on your product features page.

C. How easy is it to implement this test?

Next comes determining the ease of implementing your test. Try to answer some questions: Would it need a lot of strategizing on your part to implement the hypothesis? What is the effort needed in designing and developing the solution proposed by the hypothesis? Can the changes suggested in the hypothesis be implemented using just the Visual Editor, or does it warrant adding custom code? It is only after you have answered all these and other such questions should you rate your backlog candidate on the easing parameter.

2. PIE Prioritization Framework

The PIE framework was developed to answer the question, “Where should I test first?”. The whole aim of the prioritization stage in your A/B testing journey is to find the answer to this very question. The PIE framework talks about 3 criteria that you should consider while choosing what to test when: potential, importance, and ease.

Potential means a page’s ability to improve. The planning stage should equip you with all the data you need to determine this.

Importance refers to a page’s value: how much traffic comes to the page. If you have identified a problem page, but there is no traffic on that page, then that page is of less importance when compared to other pages with higher traffic.

The third and final criteria is ease. Ease defines how difficult it is to run a test on a particular page or element. One way to determine ease of testing a page is using tools like landing page analyzer to determine the current state of your landing pages, estimate the number and scale of change it would require, and prioritize which ones to do or whether to do it at all. This is important from the perspective of resources. Many businesses drop the idea of undertaking and A/B testing campaign because of the lack of resources. These resources are of 2 kinds:

A. Human resource

Even though businesses have been using CRO and A/B testing for many years, it is only recently that the two concepts gained a front stage. Because of this, a large segment of the market does not have a dedicated optimization team, and when they do, it is usually limited to a handful of people. This is where a planned optimization calendar comes in handy. With a properly planned and prioritized backlog, a small CRO team can focus its limited resources on high stake items.

B. Tools:

As popular as CRO and A/B testing are getting, so are hundreds of A/B testing tools- both low end and high. Without the perspective of an expert, if businesses were to pick one out of the lot, say the cheapest one, and start A/B testing every single item on the backlog, they will reach no statistically significant conclusion. There are 2 reasons for this: one, testing without prioritization is bound to fail and not reap any business profits. Two, not all tools are of the same quality.

Some tools may be costlier, but they are either integrated with good qualitative and quantitative research tools or are brilliant standalone tools making them more than capable of producing statistically significant results. While the other lot may be cheaper and lure businesses during capital crunch and with a huge backlog,  these tools will only be an investment loss to them without any benefits. Prioritization will help you make sense of your backlog and dedicate whatever little resources you have to a profitable testing candidate.

Backlog candidates should be marked on how hard they are to test based on technical and economic ease. You can quantify each potential candidate as a business opportunity based on the above criteria and choose the highest scorer. For example, like an eCommerce business, you may want to test your homepage, product page, checkout page, and thank you (rating) page. Now according to the PIE framework, you line these up and mark them potential, importance and ease:

PIE Prioritization Framework

*marked out of a total of 10 points per criteria.

3. The LIFT Model

The LIFT Model is another popular conversion optimization framework that helps you analyze web and mobile experiences, and develop good A/B test hypotheses. It draws on the 6 conversion factors to evaluate experiences from the perspective of your page visitor: Value Proposition, Clarity, Relevance, Distraction, Urgency, and Anxiety.

With prioritization, you can have your A/B testing calendar ready for execution for at least 6 to 12 months. This will not only give you time, and a heads-up to prepare for the test but also plan around your resources.

Stage 3: A/B test

The third and most crucial stage is the testing stage. After the prioritization stage, you will have all the required data and a prioritized backlog. Once you have formulated hypotheses that align to your goal and prioritized them, create variations, and flag off the test. While your test is running, make sure it meets every requirement to produce statistically significant results before closure, like testing on accurate traffic, not testing too many elements together, testing for the correct amount of duration, and so on.

Stage 4: Repeat

This stage is all about learning from your past and current test and applying them in future tests. Once your test runs for the stipulated amount of time, stop the test and start analyzing the data thus gathered. The first thing you will realize is one of the many versions that were being tested had performed better than all others and won. It’s time for you and your team to now figure out why that happened. There can be 3 outcomes of your test:

  • Your variation or one of your variations will have won with statistical significance.
  • Your control was the better version and won over the variation/s.
  • Your test failed and produced insignificant results. Determine the significance of your test results with the help of tools like the A/B test significance calculator.

In the first two scenarios, do not stop testing just because you have a winner. Make improvements to that version and keep testing. In the third scenario, recall all the steps and identify where you went wrong in the process and re-do the test after rectifying the mistake.

Here is a downloadable A/B testing calendar sample for your reference. To use this spreadsheet, click on the ‘File’ option in the main menu and then click on ‘Make a copy.’

File > Make a copy

A/B testing calendar sample

When scaling your A/B testing program, keep in mind the following points:

A. Revisiting previously concluded test:

With a prioritized calendar in place, your optimization team will have a clear vision of what they will test next and which test needs to be run when. Once you have tested each element or most elements in the backlog, revisit each successful as well as failed campaigns. Analyze the test results and determine whether there is enough data to justify running another version of the test. If there is, then run the test again – with necessary edits and modifications.

B. Increasing testing frequency:

While you should always be cautious of testing too many elements together, increasing your testing frequency is essential in scaling your testing program. Your optimization team will have to plan it in such a way that none of the tests affect others or your website’s performance. One way to do this is by running tests simultaneously on different web pages of your website or testing elements of the same web page at different time periods. This will not only increase your testing frequency but also, none of the tests will affect others. For instance, you can simultaneously test one element each of your homepage, checkout page, and sign-up page at one time and other elements (1 element at a time) of these pages after the current test concludes.

C. Spacing out your test:

This flows from the previous point. If you look at the calendar above, you will see that not more than two tests overlap each other at any given week. In a quest to increase your testing frequency, do not compromise with your website’s overall conversion rate. If you have two or more critical elements to be tested on the same web page, space the two out. As pointed earlier, testing too many elements of a web page together makes it difficult to pinpoint which element influenced the success or failure of the test most.

Let’s say, for example, you want to test one of your ad’s landing pages. You lock in on testing the CTA to increase sign-ups and banners to decrease the bounce rate and increase time spent. For the CTA, based on your data, you decide to change the copy. For the banner, you decide to test a video against a static image. You deploy both tests at the same time, and at the conclusion, both your goals were met. The problem here is that data showed that while sign-ups did increase from the new CTA, the video (apart from reducing the bounce rate and increasing average time spent on the page) too helped in this. Most of the people who watched the video also ended up signing up.

The problem now is that, because you did not space the two tests, it became impossible to tell which element contributed most to the sign-up increase. Had you timed the two tests better, much more significant insights could have been gathered?

D. Tracking multiple metrics:

You usually measure an A/B test’s performance based on a single conversion goal and put all your trust on that goal to help you find the winning variation. But sometimes, the winning variation affects other website goals as well. The example above is applicable here too. The video, in addition to reducing bounce rate and increasing time spent, also contributed to increased sign-ups. To scale your A/B testing program, track multiple metrics so that you can draw more benefits with less effort.

Having a thoroughly built calendar helps to streamline things to a great extent. VWO has an inbuilt calendar-making feature known as the Kanban board that helps track your tests’ progress at various stages.

What are the mistakes to avoid while A/B testing?

A/B testing is one of the most effective ways to move business metrics in a positive direction and increase the inward flow of revenue. However, as stated above, A/B testing demands planning, patience, and precision. Making silly mistakes can cost your business time and money, which you can’t afford. To help you avoid making blunders, here’s a list of some of the most common mistakes to remember when running an A/B test:

Mistake #1: Not planning your optimization Roadmap

A. Invalid hypothesis:

In A/B testing, a hypothesis is formulated before conducting a test. All the next steps depend on it: what should be changed, why should it be changed, what the expected outcome is, and so on. If you start with the wrong hypothesis, the probability of the test succeeding decreases.

B. Taking others’ word for it:

Sure, someone else changed their sign-up flow and saw a 30% uplift in conversions. But it is their test result, based on their traffic, their hypothesis, and their goals. Here’s why you should not implement someone else’s test results as is onto your website: no two websites are the same – what worked for them might not work for you. Their traffic will be different; their target audience might be different; their optimization method may have been different than yours, and so on.

Mistake #2: Testing too many elements together

Industry experts caution against running too many tests at the same time. Testing too many elements of a website together makes it difficult to pinpoint which element influenced the test’s success or failure the most. The more the elements tested, the more needs to be the traffic on that page to justify statistically significant testing. Thus, prioritization of tests is indispensable for successful A/B testing.

Mistake #3: Ignoring statistical significance

If gut feelings or personal opinions find a way into hypothesis formulation or while you are setting the A/B test goals, it is most likely to fail. Irrespective of everything, whether the test succeeds or fails, you must let it run through its entire course so that it reaches its statistical significance.

For a reason, that test results, no matter good or bad, will give you valuable insights and help you plan your upcoming test in a better manner.

You can get more information about the different types of errors while dealing with the maths of A/B testing.

Mistakes to Avoid While A/B Testing

Mistake #4: Using unbalanced traffic

Businesses often end up testing unbalanced traffic. A/B testing should be done with the appropriate traffic to get significant results. Using lower or higher traffic than required for testing increases the chances of your campaign failing or generating inconclusive results.

Mistake #5: Testing for incorrect duration

Based on your traffic and goals, run A/B tests for a certain length of time to achieve statistical significance. Running a test for too long or too short a period can result in the test failing or producing insignificant results. Because one version of your website appears to be winning within the first few days of starting the test does not mean that you should call it off before time and declare a winner. Letting a campaign run for too long is also a common blunder that businesses commit. The duration for which you need to run your test depends on various factors like existing traffic, existing conversion rate, expected improvement, etc.

Learn how long you should run your test.

Mistake #6: Failing to follow an iterative process

A/B testing is an iterative process, with each test building upon the results of the previous tests. Businesses give up on A/B testing after their first test fails. But to improve the chances of your next test succeeding, you should draw insights from your last tests while planning and deploying your next test. This increases the probability of your test succeeding with statistically significant results.

Additionally, do not stop testing after a successful one. Test each element repetitively to produce the most optimized version of it even if they are a product of a successful campaign.

Mistake #7: Failing to consider external factors

Tests should be run in comparable periods to produce meaningful results. It is wrong to compare website traffic on the days when it gets the highest traffic to the days when it witnesses the lowest traffic because of external factors such as sales, holidays, and so on. Because the comparison here is not made between likes, the chances of reaching an insignificant conclusion increase. Use VWO’s A/B Test Significance Calculator to know if the results your test achieved were significant or not.

Mistake #8: Using the wrong tools

With A/B testing gaining popularity, multiple low-cost tools have also come up. Not all of these tools are equally good. Some tools drastically slow down your site, while others are not closely integrated with necessary qualitative tools (heatmaps, session recordings, and so on), leading to data deterioration. A/B testing with such faulty tools can risk your test’s success from the start.

Mistake #9: Sticking to plain vanilla A/B testing method

While most experience optimizers recommend that you must start your experimentation journey by running small A/B tests on your website to get the hang of the entire process. But, in the long run, sticking to plain vanilla A/B testing methods won’t work wonders for your organization. For instance, if you are planning to revamp one of your website’s pages entirely, you ought to make use of split testing. Meanwhile, if you wish to test a series of permutations of CTA buttons, their color, the text, and the image of your page’s banner, you must use multivariate testing.

What are the challenges of A/B testing?

The ROI from A/B testing can be huge and positive. It helps you direct your marketing efforts to the most valuable elements by pinpointing exact problem areas. But every once in a while, as an experience optimizer, you may face some challenges when deciding to undertake A/B testing. The 6 primary challenges are as follows:

Challenge #1: Deciding what to test

You can’t just wake up one day and decide to test certain elements of your choice. A bitter reality that experience optimizers are now coming to realize is that not all small changes that are easy to implement are always the best when you consider your business goals and often fail to prove significant. The same goes for complex tests. This is where website data and visitor analysis data come into play. These data points help you overcome the challenge of ‘not knowing what to test’ out of your unending backlog by generally pointing to the elements which may have the most impact on your conversion rates or by directing you to pages with the highest traffic.

Challenge #2: Formulating hypotheses

In great resonance with the first challenge is the second challenge: formulating a hypothesis. This is where the importance of having scientific data at your disposal comes in handy. If you are testing without proper data, you might as well be gambling away your business. With the help of data gathered in the first step (i.e., research) of A/B testing, you need to discover where the problems lie with your site and come up with a hypothesis. This will not be possible unless you follow a well-structured and planned A/B testing program.

Challenge #3: Locking in on sample size

Not many experience optimizers are statisticians. We often make the mistake of calling conclusive results too quickly because we are more often than not after quick results. As experience optimizers, we need to learn about sample sizes, in particular, how large should our testing sample size be based on our web page’s traffic.

Challenge #4: Analyzing test results

With A/B testing, you will witness success and failure at each step. This challenge, however, is pertinent to both successful and failed tests:

1. Successful campaigns:

It’s great that you ran two tests, and both of them were successful in producing statistically significant results. What next? Yes, deploying the winner, but what after that? What experience optimizers often fail to do or find difficult is interpreting test results. Interpreting test results after they conclude is extremely important to understand why the test succeeded. A fundamental question to be asked is – why? Why did customers behave the way they did? Why did they react a certain way with one version and not with the other versions? What visitor insights did you gather, and how can you use them? Many experience optimizers often struggle or fail to answer these questions, which not only help you make sense of the current test but also provide inputs for future tests.

2. Failed campaigns:

Sometimes, experience optimizers don’t even look back at failed tests. They either have a hard time dealing with them, for example, while telling the team about the failed tests or have no clue what to do with them. No failed test is unsuccessful unless you fail to draw learnings from them. Failed campaigns should be treated like pillars that would ultimately lead you to success. The data gathered during the entire A/B testing process, even if in the end, the test failed, is like an unopened pandora box. It contains a plethora of valuable data and insights that can give you a head start for your next test.

Additionally, with the lack of proper knowledge on how to analyze the gathered data, the chances of data corruption increase manifold. For example: without having a process in place, there will be no end to scrolling through heatmaps data or sessions recording data. Meanwhile, if you are using different tools for these, then the chances of data leakage while attempting to integrate them also increase. You may also fail to draw any significant insights while wandering directionless through data and just drown under them.

Challenge #5: Maintaining a testing culture

One of the most crucial characteristics of optimization programs like CRO and A/B testing is that it is an iterative process. This is also one of the major obstacles that businesses and experience optimizers face. For your optimization efforts to be fruitful in the long run, they should form a cycle that roughly starts with research and ends in research.

A/B testing challenges

This challenge is not just a matter of putting in effort or about having the required knowledge. Sometimes due to resource crunch, businesses rarely or intermittently use A/B testing and fail to develop a proper testing culture.

Challenge #6: Changing experiment settings in the middle of an A/B test

When you launch an experiment, you must commit to it completely. Try and not to change your experiment settings, edit or omit your test goals, or play with the design of the control or the variation while the test is running. Moreso, do not try and change the traffic allocations to variations as well because doing so will not only alter the sampling size of your returning visitors but massively skew your test results as well.

So, given all these challenges, is A/B testing worth undertaking?

From all the evidence and data available on A/B testing, even after these challenges, A/B testing generates great ROI. From a marketing perspective, A/B testing takes the guesswork out of the optimization process. Strategic marketing decisions become data-driven, making it easier to craft an ideal marketing strategy for a website with well-defined ends. Without an A/B testing program, your marketing team will simply test elements at random or based on gut feelings and preferences. Such data-less testing is bound to fail.

If you start strong with a good website and visitor data analysis, the first three challenges can easily be solved. With the extensive website and visitor data at your disposal, you can prioritize your backlog, and you won’t even have to decide on what to test. The data will do all the talking. With such quality data coupled with your business expertise, formulating a working hypothesis becomes just a matter of going through the available data and deciding what changes will be best for your end goal. To overcome the third challenge, you can calculate the apt sample size for your testing campaign with the help of many tools available today.

The last two challenges are related to how you approach A/B testing. If you treat A/B testing like an iterative process, half of the fourth challenge may not even be on your plate. And the other half can be solved by hiring experts in the field or by getting trained on how to analyze research data and results correctly. The right approach to tackle the last challenge is to channel your resources on the most business-critical elements and plan your testing program in a way that, with the limited resource, you can build a testing culture.

A/B testing and SEO

As far as implications of SEO on A/B testing are concerned, Google has cleared the air on their blog post titled “Website Testing And Google Search. The important bits from that post are summarized below:

No cloaking

Cloaking – showing one set of content to humans, and a different set to Googlebot – is against our Webmaster Guidelines, whether you’re running a test or not. Make sure that you’re not deciding whether to serve the test or which content variant to serve, based on user-agent. An example of this would always be serving the original content when you see the user-agent “Googlebot.” Remember that infringing our Guidelines can get your site demoted or even removed from Google search results – probably not the desired outcome of your test.

Only use 302 redirects

If you’re running an A/B test that redirects users from the original URL to a variation URL, use a 302 (temporary) redirect, not a 301 (permanent) redirect. This tells the search engines that this redirect is temporary – it will only be in place as long as you’re running the experiment – and that they should keep the original URL in their index rather than replacing it with the target of the redirect (the test page). JavaScript-based redirects also got a green light from Google.

Run experiments for the appropriate duration

The amount of time required for a reliable test will vary depending on factors like your conversion rates, and how much traffic your website gets. A good testing tool should tell you when you’ve gathered enough data to be able to draw reliable conclusions. Once you have concluded the test, you should update your site with the desired variation(s) and remove all elements of the test as soon as possible, such as alternate URLs or testing scripts and markup.

Use rel=”canonical” links

Google suggests using rel=“canonical” link attribute on all alternate URLs for you to be able to highlight that the original URL is actually the preferred one. This suggestion stems from the fact that rel=“canonical” more closely matches your intent in this situation when compared to other methods like no index meta tag. For instance, if you are testing variations of your product page, you don’t want search engines not to index your product page. You just want them to understand that all the test URLs are close duplicates or variations on the original URL and should be grouped together, with the original URL as the hero. Sometimes, in these instances, using no index rather than rel=“canonical” in such a situation can sometimes have unexpected bad effects.

A/B testing examples

A/B testing in Media & Publishing Industry

Some goals of a media and publishing business may be to increase readership and audience, to increase subscriptions, to increase time spent on their website by visitors, or to boost video views and other content pieces with social sharing and so on. You may try testing variations of email sign-up modals, recommended content, social sharing buttons, highlighting subscription offers, and other promotional options.

Any of us who is a Netflix user can vouch for their streaming experience. But not everyone knows how they manage to make it so good. Here’s how – Netflix follows a structured and rigorous A/B testing program to deliver what other businesses struggle to deliver even today despite many efforts – a great user experience. Every change that Netflix makes to its website goes through an intense A/B testing process before getting deployed. One example to show how they do it is the use of personalization.

Netflix uses personalization extensively for its homepage. Based on each user’s profile, Netflix personalizes the homepage to provide the best user experience to each user. They decide how many rows go on the homepage and which shows/movies go into the rows based on the users streaming history and preferences.

They follow the same exercise with media title pages as well. Within these pages, Netflix personalizes what titles are we most likely to watch, the thumbnails we see on them, what title text entices us to click, or if social proof helps make our decision easier, and so on. And this is just the tip of the iceberg.

A/B Testing in eCommerce Industry

Through A/B testing, online stores can increase the average order value, optimize their checkout funnel, reduce cart abandonment rate, and so on. You may try testing: the way shipping cost is displayed and where, if, and how the free shipping feature is highlighted, text and color tweaks on the payment page or checkout page, the visibility of reviews or ratings, etc.

In the eCommerce industry, Amazon is at the forefront in conversion optimization partly due to the scale they operate at and partly due to their immense dedication to providing the best customer experience. Amongst the many revolutionary practices they brought to the eCommerce industry, the most prolific one has been their ‘1-Click Ordering’. Introduced in the late 1990s after much testing and analysis, 1-Click Ordering lets users make purchases without having to use the shopping cart at all.

Once users enter their default billing card details and shipping address, all they need to do is click on the button and wait for the ordered products to get delivered. Users don’t have to enter their billing and shipping details again while placing any orders. With the 1-Click Ordering, it became impossible for users to ignore the ease of purchase and go to another store. This change had such a huge business impact that Amazon got it patented (now expired) in 1999. In fact, in 2000, even Apple bought a license for the same to be used in their online store.

People working to optimize Amazon’s website do not have sudden ‘Eureka’ moments for every change they make. It is through continuous and structured A/B testing that Amazon is able to deliver the kind of user experience that it does. Every change on the website is first tested on their audience and then deployed. If you were to notice Amazon’s purchase funnel, you would realize that even though the funnel more or less replicates other websites’ purchase funnels, each and every element in it is fully optimized, and matches the audience’s expectations.

Every page, starting from the homepage to the payment page, only contains the essential details and leads to the exact next step required to push the users further into the conversion funnel. Additionally, using extensive user insights and website data, each step is simplified to their maximum possible potential to match their users’ expectations.

Take their omnipresent shopping cart, for example.

There is a small cart icon at the top right of Amazon’s homepage that stays visible no matter which page of the website you are on.

The icon is not just a shortcut to the cart or reminder for added products. In its current version, it offers 5 options:

  • Continue shopping (if there are no products added to the cart)
  • Learn about today’s deals (if there are no products added to the cart)
  • Wish List (if there are no products added to the cart
Amazon Empty Cart Example
  • Proceed to checkout (when there are products in the cart)
  • Sign in to turn on 1-Click Checkout (when there are products in the cart)

With one click on the tiny icon offering so many options, the user’s cognitive load is reduced, and they have a great user experience. As can be seen in the above screenshot, the same cart page also suggests similar products so that customers can navigate back into the website and continue shopping. All this is achieved with one weapon: A/B Testing.

A/B Testing in Travel Industry

Increase the number of successful bookings on your website or mobile app, your revenue from ancillary purchases, and much more through A/B testing. You may try testing your home page search modals, search results page, ancillary product presentation, your checkout progress bar, and so on.

In the travel industry, Booking.com easily surpasses all other eCommerce businesses when it comes to using A/B testing for their optimization needs. They test like it’s nobody’s business. From the day of its inception, Booking.com has treated A/B testing as the treadmill that introduces a flywheel effect for revenue. The scale at which Booking.com A/B tests is unmatched, especially when it comes to testing their copy. While you are reading this, there are nearly 1000 A/B tests running on Booking.com’s website.

Even though Booking.com has been A/B testing for more than a decade now, they still think there is more that they can do to improve user experience. And this is what makes Booking.com the ace in the game. Since the company started, Booking.com incorporated A/B testing into its everyday work process. They have increased their testing velocity to its current rate by eliminating HiPPOs and giving priority to data before anything else. And to increase the testing velocity, even more, all of Booking.com’s employees were allowed to run tests on ideas they thought could help grow the business.

This example will demonstrate the lengths to which Booking.com can go to optimize their users’ interaction with the website. Booking.com decided to broaden its reach in 2017 by offering rental properties for vacations alongside hotels. This led to Booking.com partnering with Outbrain, a native advertising platform, to help grow their global property owner registration.

Within the first few days of the launch, the team at Booking.com realized that even though a lot of property owners completed the first sign-up step, they got stuck in the next steps. At this time, pages built for the paid search of their native campaigns were used for the sign-up process.

Both the teams decided to work together and created three versions of landing page copy for Booking.com. Additional details like social proof, awards, and recognitions, user rewards, etc. were added to the variations.

a/b test on booking.com website

The test ran for two weeks and produced a 25% uplift in owner registration. The test results also showed a significant decrease in the cost of each registration.

A/B Testing in B2B/SaaS Industry

Generate high-quality leads for your sales team, increase the number of free trial requests, attract your target buyers, and perform other such actions by testing and polishing important elements of your demand generation engine. To get to these goals, marketing teams put up the most relevant content on their website, send out ads to prospect buyers, conduct webinars, put up special sales, and much more. But all their effort would go to waste if the landing page which clients are directed to is not fully optimized to give the best user experience.

The aim of SaaS A/B testing is to provide the best user experience and to improve conversions. You can try testing your lead form components, free trial sign-up flow, homepage messaging, CTA text, social proof on the home page, and so on.

POSist, a leading SaaS-based restaurant management platform with more than 5,000 customers at over 100 locations across six countries, wanted to increase their demo requests.

Their website homepage and Contact Us page are the most important pages in their funnel. The team at POSist wanted to reduce drop-off on these pages. To achieve this, the team created two variations of the homepage as well as two variations of the Contact Us page to be tested. Let’s take a look at the changes made to the homepage. This is what the control looked like:

Posist A/B test Control

The team at POSist hypothesized that adding more relevant and conversion-focused content to the website will improve user experience, as well as generate higher conversions. So they created two variations to be tested against the control. This is what the variations looked like:

posist a/b test variation 1
posist a/b test variation 2

Control was first tested against Variation 1, and the winner was Variation 1. To further improve the page, variation one was then tested against variation two, and the winner was variation 2. The new variation increased page visits by about 5%.

Conclusion

After reading this comprehensive piece on A/B testing, you should now be fully equipped to plan your own optimization roadmap. Follow each step involved diligently and be wary of all major and minor mistakes that you can commit if you do not give data the importance it deserves. A/B testing is invaluable when it comes to improving your website’s conversion rates.

If done with complete dedication, and with the knowledge you now have, A/B testing can reduce a lot of risks involved when undertaking an optimization program. It will also help you significantly improve your website’s UX by eliminating all weak links and finding the most optimized version of your website.

If you found this guide useful, spread the word and help fellow experience optimizers A/B test without falling for the most common pitfalls. Happy testing!

Frequently asked questions on A/B testing

What is the definition of A/B testing?

A/B testing is the process of comparing two variations of a page element, usually by testing users’ response to variant A vs. variant B and concluding which of the two variants is more effective.

What is A/B testing in digital marketing?

In digital marketing, A/B testing is the process of showing two versions of the same web page to different segments of website visitors at the same time and then comparing which version improves website conversions.

Why do we do A/B testing?

There are various reasons why we do A/B testing. A few of them include solving visitor pain points, increasing website conversions or leads, and decreasing the bounce rate. Please read our guide to know the rest of the reasons.

What is A/B testing and multivariate testing?

In A/B testing, traffic is split amongst two or more completely different versions of a webpage. In multivariate testing, multiple combinations of a few key elements of a page are tested against each other to figure out which combination works best for the goal of the test.

#Questce #test #guide #pratique #avec #des #exemples