Créer des tests multivariés et des tests A/B

Vous pouvez créer un test multivarié ou un test A/B pour toute campagne ciblant un seul canal. Par exemple, si vous souhaitez utiliser un test multivarié ou un test A/B pour une campagne push, vous pouvez cibler les appareils iOS et Android dans la même campagne.

Étape 1 : Créez votre campagne

1. Accédez à Messagerie > Campagnes.
2. Sélectionnez Créer une campagne, puis choisissez un canal pour la campagne dans la section qui permet les tests multivariés et A/B. Pour une documentation détaillée sur chaque canal de communication, consultez la page Créer une campagne.

Étape 2 : Composer vos variantes

Vous pouvez créer jusqu’à huit variantes de votre message, en faisant varier les titres, le contenu, les images, etc. Le nombre de différences entre les messages détermine s’il s’agit d’un test multivarié ou d’un test A/B. Un test A/B examine l’effet de la modification d’une seule variable, tandis qu’un test multivarié en examine deux ou plus.

Pour quelques idées sur la manière de différencier vos variantes, consultez Conseils pour les différents canaux.

Étape 3 : Planifier votre campagne

La planification de votre campagne multivariée fonctionne de la même manière que pour toute autre campagne Braze. Tous les types de réception standard sont disponibles.

Une fois qu’un test multivarié a commencé, vous ne pouvez plus modifier la campagne. Si vous modifiez des paramètres, comme la ligne d’objet ou le corps HTML, Braze considère que l’expérience est compromise et la désactive immédiatement.

Pour optimiser automatiquement vos variantes, consultez Optimiser les tests A/B avec BrazeAI. Les campagnes à envoi unique et à envois multiples utilisent des méthodes et des exigences d’optimisation différentes.

Étape 4 : Choisir un Segment et répartir vos utilisateurs entre les variantes

Sélectionnez les Segments à cibler, puis répartissez leurs membres entre les variantes choisies et le groupe de contrôle facultatif. Pour connaître les bonnes pratiques sur le choix d’un Segment de test, consultez Choisir un Segment.

Pour les Campaigns prises en charge, activez Optimize with BrazeAI^TM afin d’optimiser automatiquement la répartition de vos variantes. Pour une Campaign à envoi multiple, BrazeAI^TM ajuste la répartition au fil du temps.

Pour une Campaign à envoi unique, Braze réserve une partie de l’audience à un second envoi optimisé. Cette partie apparaît sous le nom Holdout Group dans la répartition des variantes. Pour comprendre en quoi elle diffère d’un groupe de contrôle, consultez Groupe d’exclusion ou groupe de contrôle.

Groupe de contrôle

Vous pouvez réserver un pourcentage de votre audience cible à un groupe de contrôle aléatoire. Les utilisateurs du groupe de contrôle ne reçoivent pas le test, mais Braze suit leur taux de conversion pendant toute la durée de la Campaign.

Lorsque vous consultez vos résultats, vous pouvez comparer les taux de conversion de vos variantes à un taux de conversion de référence fourni par votre groupe de contrôle. Vous pouvez ainsi comparer à la fois les effets de vos variantes entre elles et leurs effets par rapport au taux de conversion que vous obtiendriez sans envoyer de message du tout.

Important

Nous déconseillons d’utiliser un groupe de contrôle lorsque le gagnant est déterminé selon les Ouvertures ou les Clics. Comme le groupe de contrôle ne reçoit pas le message, ses utilisateurs ne peuvent effectuer aucune ouverture ni aucun clic. Le taux de conversion de ce groupe est donc de 0 % par définition et ne permet pas de comparaison pertinente avec les variantes.

Groupes de contrôle et tests A/B

Lorsque vous utilisez la limitation du débit avec un test A/B, la limite de débit ne s’applique pas au groupe de contrôle de la même manière qu’au groupe de test, ce qui peut introduire un biais temporel. Utilisez des fenêtres de conversion appropriées pour éviter ce biais.

Groupes de contrôle avec Optimize with BrazeAI^TM

Pour une Campaign à envoi multiple avec Optimize with BrazeAI^TM, la taille initiale du groupe de contrôle dépend du nombre de variantes. Si chaque variante reçoit plus de 20 % des utilisateurs, le groupe de contrôle commence à 20 % et les variantes se partagent équitablement les 80 % restants. Avec davantage de variantes, le groupe de contrôle commence avec une taille plus réduite. À mesure que BrazeAI analyse les performances, le groupe de contrôle peut s’agrandir ou se réduire.

Groupe d’exclusion ou groupe de contrôle

Dans une Campaign à envoi unique pour laquelle Optimize with BrazeAI^TM est activé, le groupe d’exclusion et le groupe de contrôle ont des rôles différents :

• Groupe d’exclusion : Reçoit la variante gagnante une fois l’expérience terminée. Si Braze ne parvient pas à déterminer de variante gagnante, le groupe d’exclusion ne reçoit aucun message.
• Groupe de contrôle : Ne reçoit aucun message. Braze utilise son taux de conversion comme référence pour mesurer l’amélioration.

Par exemple, avec 25 % pour la variante A, 25 % pour la variante B et 50 % pour le groupe d’exclusion, l’ensemble de l’audience reçoit un message lorsqu’une variante gagnante est envoyée. Si vous ajoutez un groupe de contrôle de 10 %, 90 % de l’audience au maximum reçoit un message.

Étape 5 : Désigner un événement de conversion (facultatif)

En définissant un événement de conversion pour une campagne, vous pouvez voir combien de destinataires de cette campagne ont effectué une action particulière après l’avoir reçue.

Cela n’affecte le test que si vous avez choisi Taux de conversion principal lors des étapes précédentes. Pour plus d’informations, consultez la section Événements de conversion.

Étape 6 : Vérifier et lancer

Sur la page de confirmation, vérifiez les détails de votre campagne multivariée, puis lancez le test ! Découvrez ensuite comment interpréter les résultats de votre test.

Ce qu’il faut savoir

Si votre expérience a déjà commencé à envoyer des messages et que vous modifiez le message, l’expérience est invalidée et tous ses résultats sont supprimés.

• Pour éviter toute interférence avec le comportement attendu de l’expérience, nous vous recommandons de ne pas modifier le message dans l’heure qui suit le lancement de la Campaign d’expérience.
• Si votre expérience est terminée et que vous modifiez le message après l’envoi, les résultats de l’expérience restent disponibles dans les analyses de votre tableau de bord. En revanche, si vous relancez la Campaign, les résultats de l’expérience sont supprimés.

Conseils pour les différents canaux

Selon le canal choisi, vous pouvez tester différents éléments de votre message. Par exemple, composez vos variantes en ayant en tête ce que vous voulez tester et ce que vous espérez démontrer. Sur quels leviers pouvez-vous agir, et quels effets recherchez-vous ? Les possibilités à explorer avec un test multivarié ou un test A/B sont infinies, mais voici quelques suggestions pour vous lancer :

Conseil

Lorsque vous effectuez des tests A/B, pensez à générer des rapports d’entonnoir pour comprendre l’impact de chaque variante sur votre tunnel de conversion, en particulier si la « conversion » implique plusieurs étapes ou actions dans votre activité.

Par ailleurs, la durée idéale de votre test peut aussi varier selon le canal. Tenez compte du temps moyen dont la plupart des utilisateurs ont besoin pour interagir avec chaque canal.

Par exemple, si vous testez une notification push, vous obtiendrez sans doute des résultats significatifs plus rapidement qu’avec un e-mail : les utilisateurs voient les notifications push immédiatement, alors qu’il peut s’écouler plusieurs jours avant qu’ils voient ou ouvrent un e-mail. Si vous testez des messages in-app, n’oubliez pas que les utilisateurs doivent ouvrir l’application pour voir la Campaign. Prévoyez donc un délai plus long pour recueillir les résultats à la fois de vos utilisateurs qui ouvrent l’application le plus souvent et de vos utilisateurs plus typiques.

Si vous ne savez pas combien de temps votre test doit durer, Optimiser avec BrazeAI^TM peut configurer et exécuter automatiquement l’optimisation.

Choisir un Segment

Comme différents Segments d’utilisateurs peuvent réagir différemment à vos messages, le succès d’un message donné en dit autant sur le message lui-même que sur son Segment cible. Essayez donc de concevoir votre test en gardant votre Segment cible à l’esprit.

Par exemple, si les utilisateurs actifs peuvent réagir de la même façon à « Cette offre expire demain ! » et à « Cette offre expire dans 24 heures ! », les utilisateurs qui n’ont pas ouvert l’application depuis une semaine seront peut-être plus sensibles à la seconde formulation, car elle crée un plus grand sentiment d’urgence.

De plus, lorsque vous choisissez le Segment sur lequel exécuter votre test, vérifiez que sa taille est suffisante. En règle générale, plus un test multivarié ou un test A/B comporte de variantes, plus le groupe de test doit être important pour obtenir des résultats statistiquement significatifs. En effet, plus il y a de variantes, moins chaque variante est vue par d’utilisateurs.

Conseil

À titre indicatif, il vous faudra sans doute environ 15 000 utilisateurs par variante (groupe de contrôle compris) pour atteindre un niveau de confiance de 95 % dans les résultats de votre test. Toutefois, le nombre exact d’utilisateurs nécessaires peut être plus ou moins élevé selon votre situation. Pour des indications plus précises sur la taille des échantillons de vos variantes, n’hésitez pas à utiliser un calculateur de taille d’échantillon.

Biais et randomisation

Une question fréquente concernant l’affectation aux groupes de contrôle et de test est de savoir si elle peut introduire un biais dans vos tests. D’autres se demandent comment s’assurer que ces affectations sont réellement aléatoires.

Les utilisateurs sont affectés aux variantes de message, aux variantes du canvas ou à leurs groupes de contrôle respectifs en concaténant leur ID utilisateur (généré aléatoirement) avec l’ID (généré aléatoirement) de la Campaign ou du Canvas, en calculant le modulo 100 de cette valeur, puis en répartissant les utilisateurs en tranches correspondant aux pourcentages d’affectation des variantes et du groupe de contrôle facultatif choisis dans le tableau de bord. Il n’existe donc aucun moyen concret que les comportements des utilisateurs antérieurs à la création d’une Campaign ou d’un Canvas donné varient de manière systématique entre les variantes et le groupe de contrôle. Il n’est pas non plus réaliste d’obtenir un résultat plus aléatoire (ou plus précisément, pseudo-aléatoire) que cette implémentation.

Erreurs à éviter

Certaines erreurs courantes peuvent donner l’impression de différences liées au canal de communication lorsque les audiences ne sont pas correctement filtrées.

Par exemple, si vous envoyez une notification push à une large audience avec un groupe de contrôle, le groupe de test n’envoie des messages qu’aux utilisateurs disposant d’un jeton push. En revanche, le groupe de contrôle inclut à la fois des utilisateurs qui ont un jeton push et d’autres qui n’en ont pas. Dans ce cas, l’audience initiale de votre Campaign ou de votre Canvas doit être filtrée sur la présence d’un jeton push (Foreground Push Enabled est true). Il en va de même pour l’éligibilité à recevoir des messages sur les autres canaux : avoir donné son consentement, disposer d’un jeton push ou être abonné.

Notez que si une variante de contrôle ne comporte aucune étape du canvas, les événements de critères de sortie ne sont pas enregistrés pour les utilisateurs de cette variante de contrôle.

Remarque

Si vous utilisez manuellement des numéros de compartiment aléatoires pour vos groupes de contrôle, consultez les points de vigilance concernant vos groupes de contrôle.