Étude complète de 4 solutions d'A/B Testing majeures en France

L’A/B Testing est un domaine hyper concurrentiel et opaque pour tous ceux qui souhaitent se lancer, sans connaissance technique particulière, dans l’optimisation de leur site. L’agence Data Marketing Cartelis a réalisé un benchmark afin de comparer quatre solutions de référence en France. Verdict ?

Kameleoon, A/B Tasty, Optimizely et enfin VWO (Visual Website Optimizer) : quatre logiciels comparés techniquement et fonctionnellement au travers de 4 cas d’usage, afin de faciliter le choix de tous ceux qui souhaitent se lancer dans l’A/B Testing.

Quels sont ces acteurs majeurs de l’A/B Testing en France ?

Kameleoon, A/B Tasty, Optimizely et VWO sont les solutions de l’A/B Testing les plus utilisées en France. Leurs points communs sont la facilité d’utilisation, la disponibilité en mode SaaS, l’intuitivité de leur interface et l’absence d’impact côté SEO. Si A/B Tasty et Kameleoon se partagent à elles deux la majorité du marché français, c’est bien l’entreprise américaine Optimizely, mastodonte dans la secteur, qui s’impose comme étant le leader mondial incontestable. VWO, quant à lui, est une solution indienne créée par Wingify.

A noter que cette étude concerne les fonctionnalités de testing, et non les fonctionnalités complémentaires. Ce n’est donc pas une étude exhaustive sur l’ensemble des fonctionnalités disponibles pour ces solutions.

4 cas d’usage simples pour comparer facilement ces solutions d’A/B Testing

4 cas d’usage ont été définis et ont aboutis à 4 tests simples, dans le but de comparer fonctionnellement et techniquement les solutions de testing. Ils sont considérés comme simple car ils n’engendrent qu’une seule variation à chaque fois, se font côté client (non logués) et ne nécessitent pas de tag transactionnel. Ils ont, de plus, l’avantage d’être représentatif de la majorité des usages en A/B Testing.

Les tests ont été effectués sur le site lesmobiles.com, site publiant des contenus éditoriaux sur l’univers de la téléphonie mobile et drainant un gros trafic.

Voici en quoi ont constitué ces tests :

La modification de la couleur du bouton “Forum”, présents sur toutes les pages du site, en le passant du jaune au bleu clair. L’indicateur de performance à mesurer est le taux de clic vers le forum.
la modification du texte d’un bouton, sur une fiche téléphone. Le texte “Acheter” se substitue en “Voir l’offre”, et l’objectif à mesurer est le taux de clic sur le bouton.
L’inversion de l’emplacement de deux blocs présents sur une page “actualités téléphone”. L’idée ici est de remonter les liens d’achat afin d’améliorer la performance de la publicité.
L’insertion d’un nouveau bloc sur toutes les pages “test téléphone”, avec des liens vers les réseaux sociaux.

Synthèse du benchmark des 4 solutions d’A/B Testing

Quels points communs, quelles différences ?

Commençons par les points communs : chaque solution passée au crible lors de l’étude propose un éditeur visuel simplifié (permettant de faire du testing sans connaissance technique), un tracking des clics, un mode de pré-visualisation, un historique des changements, des possibilités de ciblage de l’audience (avec critères multiples), la possibilité de diminuer la part du trafic alloué à l’AB Test, une fonctionnalité de planification et un accès à l’historique des résultats.

Pour ce qui est des différences, retenons surtout que :

VWO et Optimizely ne peuvent pas être chargés à la demande (via un raccourci clavier ou une extension Chrome), contrairement aux autres solutions.
La population du test est “visitor-based” (centrée sur les visiteurs) sur tous les logiciels. En revanche Kameleeon propose une optique visit-based (centrée sur les visites) en supplément.
Optimizely, contrairement aux trois autres acteurs, ne propose pas de fonctionnalité de capping.
Pas de possibilité d’estimer la durée du test sur A/B Tasty et Optimizely, contrairement aux autres
Pas de rapports avec résultats filtrés sur Optimizely
Sur A/B Tasty et Optimizely, la ventilation des résultats est impossible.

Sur le plan de la richesse fonctionnelle, A/B Tasty et Optimizely sont les deux moins bons élèves. C’est VWO qui décroche la palme du meilleur rapport Richesse fonctionnelle / prix.

La performance technique scrutée

Deux critères ont été étudiées pour comparer les performances techniques des acteurs de l’A/B Testing : le poids du script et le temps de chargement du script de testing.

Concernant le poids du script : Optimizely est le plus lourd (91 kb). A/B Tasty (82,3 kb), Kameleoon (51,7 kb) et VWO, se succèdent ensuite, faisant de VWO le meilleur élève, avec un script de 40 kb.

Concernant le temps de chargement du script, c’est encore VWO qui gagne la bataille (29 ms seulement), suivi d’Optimizely (45 ms), Kameleoon (46 ms) et A/B Tasty (59 ms). Cependant, il ne faut pas s’y tromper : VWO est plus rapide et moins lourd, sauf qu’il faut prendre en compte le fait que VWO charge à part les variantes, ce qui nuance fortement sa performance technique.

Kameleoon et A/B Tasty, vainqueurs du duel ?

Les quatre solutions leaders du marché ont chacune des points forts et des points faibles, et chaque solution a sa place sur le marché.

La question qui fâche à présent : quelle solution est à privilégier ? Il y a plusieurs éléments à prendre en compte dans le choix de votre solution d’A/B Testing. Le premier concerne la langue. Si vous ne parlez que le français, Optimizely et VWO ne sont pas faits pour vous, puisque ces solutions ne sont disponibles qu’en anglais. De plus, ces deux logiciels nécessitent un minimum de connaissances en langages html et css. Si vous êtes un pur débutant, évitez de vous tourner vers ces deux solutions : si vous les utilisez, vous devrez par exemple être familier avec les sélecteurs css que vous devrez créer manuellement.

Reste à présent A/B Tasty et Kameleoon. Il est bon de rappeler à ce stade que dans le cadre de ces tests, seules les fonctionnalités proposées dans les packs standards ou les versions d’essai ont été testées. Les quatre solutions proposent des offres premium contenant des fonctionnalités supplémentaires, qu’il faut prendre en compte si vous souhaitez faire le meilleur choix possible. De ce point de vue, A/B Tasty propose des fonctionnalités annexes intéressantes au niveau du tracking, tandis que Kameleoon repose sur des fondamentaux techniques solides permettant la réalisation de tests A/B plus poussés.

Finalement, Kameleoon et A/B Tasty sont très proches s’il s’agit de test simples. Le choix de l’une ou l’autre de ces solutions dépendra du goût et du budget de chacun.
En revanche, dans le cadre de tests plus complexes, nous aurons tendance à privilégier Kameleoon qui nous semble plus pertinent du fait de son architecture technique plus performance et innovante (simplicité de mise en place de tests MVT, technologie anti-flicker, solution fonctionnant sur les nouveaux langages comme React, etc.)

Dans le cadre de ces tests, nous vous recommandons donc Kameleoon, ayant donnée des résultats plus aboutis. Cependant, n’hésitez pas à tester vous-même les logiciels afin de vous faire votre propre opinion !

Vous cherchez un prestataire web ?

Trouvez une agence