Guide des tests multivariés – modèle factoriel intégral et fractionné (Taguchi)

Qu'est-ce qu'un test multivarié, multivariable, factoriels, MVT ou encore experimental design pour les intimes ?

A la base, les tests multivariés utilisent le même mécanisme que les tests A/B, sauf qu'au lieu de comparer une seule variable (version B), ils en comparent plusieurs, ce qui permet de tester différentes combinaisons et de mieux comprendre la façon dont elles interagissent les unes avec les autres. D'où le nom de test multivariable. En résumé, un test multivarié c'est une sorte d'empilement de tests A/B.

Découvrez les prestations du WebAnalyste.

Dans un test multivarié, une page Web est considérée comme une combinaison d'éléments (titres, images, boutons, texte...) qui influent sur le taux de conversion, en cherchant à engager le lecteur plus loin dans le processus de conversion. Chacun de ces éléments correspond à une variable, qui peut prendre différentes formes, des variations. Par exemple, si votre page est composée d'un titre, d'une image et un texte d'accompagnement, alors vous pouvez créer des variations pour chacun de ces éléments.

Un test multi variable isole les éléments de la page et vous aide à déterminer quels éléments sont importants et quelle combinaison est la plus forte.

Par exemple :

• Titre : titre 1 et titre 2
• Texte : texte 1 et le texte 2
• Image : l'image 1 et image

Qu'on pourrait écrire sous forme de variable

Le scénario ci-dessus teste trois variables (titre, texte et image), chacune avec deux versions. Dans un test multivarié, votre objectif est de savoir quelle combinaison de ces versions obtiendra le taux de conversion le plus élevé. Par combinaison, je fais référence à l'une des huit (2 × 2 × 2) versions possibles de la page Web en combinant les variations.

• Titre 1 + texte 1 + image 1
• Titre 1 + texte 1 + image 2
• Titre 1 + texte 2 + image 1
• Titre 1 + texte 2 + image 2
• Titre 2 + texte 1 + image 1
• Titre 2 + texte 1 + image 2
• Titre 2 + texte 2 + image 1
• Titre 2 + texte 2 + image 2

Dans les tests multivariés, vous divisez le trafic entre ces huit versions différentes de la page pour voir quelle combinaison produit le taux de conversion le plus élevé - tout comme dans les tests A/B, où vous divisez le trafic entre deux versions d'une page. C'est ce qui vous contraint à limiter le nombre de variations à tester.

Jouons un peu : par exemple, si vous avez 3 variables avec 3 variations chacune, combien de combinaisons avez-vous ?

[collapse title= "voir le résultat "]27 ![/su_spoiler][/su_accordion]

Maintenant, ajoutez 1 nouvelle variable avec 3 variations. Quel est le nombre de combinaison possible ?

[collapse title= "voir le résultat "]81 ! Mazette, ça fait un sacré bond, surtout quand il va falloir répartir équitablement votre trafic entre toutes ces combinaisons[/su_spoiler][/su_accordion] [well]Pour avoir des résultats significatifs, vous devez limiter le nombre de variables/variations. Soyez sélectif ! Une règle veut qu'on utilise moins de 25 combinaisons. L'idée est de proportionner le nombre de variations au nombre de sessions quotidien et au taux de conversion afin que chaque variation puisse cumuler en fin de test suffisamment de conversion pour être fiable (100 conversions minimum pour les petits sites et plus de 200 pour les plus gros).

Faites vos calculs Multivariate Test Duration Calculator de WWO.[/well]

Les tests multivariés fournissent une somme incroyable d'information. Le plus grand avantage du MVT est qu'il reporte la contribution de chaque élément. Ce qui permet de connaitre la contribution en pourcentage de chaque élément testé sur le taux de conversion. Cette connaissance est très utile, car elle permet de déterminer les éléments déclencheurs qui influencent le comportement. Elle peut provoquer de nombreuses idées de test itératives et alimenter notre connaissance client.

Le test multivarié est un moyen très puissant pour vous aider à concentrer vos efforts d'optimisation sur les éléments de la page qui auront le plus d'impact. Ceci est particulièrement utile par exemple, pour la conception des futurs landing pages marketing, en réutilisant les données de l'impact de certaines variations sur le taux de conversion, et cela même si le contexte de l'élément a changé.

Les types de tests multivariés

Les types sont basés sur la distribution du trafic entre les combinaisons, il existe plusieurs méthodes de test MVT.

Le test multivarié factoriel intégral

Il s'agit du test auquel on fait référence quand on parle de test multivarié. Un test factoriel complet signifie qu'on distribue à parts égales le trafic du site entre toutes les combinaisons. S'il y a 16 combinaisons, chacune recevra un seizième de tout le trafic du site Web. C'est parce que chaque combinaison obtient la même quantité de trafic que cette méthode fournit toutes les données nécessaires pour déterminer quelles combinaison et variable particulière ont le mieux fonctionné. Vous pourriez découvrir qu'une certaine image n'a eu aucun effet sur le taux de conversion, tandis qu'un titre a été redoutablement influent.

Les tests multivariés partiels (fractionnel factoriel ou Taguchi)

Comme son nom l'indique, avec cette méthode seule une fraction de toutes les combinaisons sont exposées au trafic du site Web. Le taux de conversion pour les combinaisons non exposées est déduit de celles qui ont été incluses dans le test. Par exemple, s'il y a 16 combinaisons, le trafic est réparti entre seulement huit d'entre elles. Pour les huit autres, nous n'avons pas directement de données de conversion, elles sont mathématiquement estimées à partir de l'échantillon des combinaisons qui ont été testées. Une méthode couramment utilisée dans les tests fractionnels factoriels est la méthode Taguchi.

Cette méthode nécessite moins de trafic que les tests factoriels intégraux, mais nécessite peut-être d'être suivi par d'autres tests pour confirmer la prédiction de la " meilleure combinaison ".

En résumé

Comme avec la plupart des choses dans la vie, il y a un compromis inhérent aux spécificités des méthodes de test multivarié. Chaque méthode eut trouversa place, surtout quand on n'a pas la quantité nécessaire de temps ou de trafic.

Les tests factoriels intégraux nécessitent énormément de trafic, mais on obtient des informations plus complètes sur la relation entre les variables testées et l'impact de chaque variation sur le l'objectif du test (taux de conversion). Les tests factoriels partiels nécessitant moins de trafic permettent d'agrandir le champ du test ou de raccourcir la durée de test, mais le processussous-jacent des hypothèses ne permet pas d'être certain du résultat, ce qui peut vousdonner le tournis au moment de la décision.

Pour d'évidentes raisons, je suis pas fan du test multivarié partiel car même s'il est plus agile qu'un test intégral, en plus de l'incertitude des résultats, on perd trop d'information sur l'impact des variables/variations sur l'objectif du test.