Créer des tests multivariés et des tests A/B

Vous pouvez créer un test multivarié ou un test A/B pour toute campagne ciblant un seul canal et un seul type d’appareil. Par exemple, si vous souhaitez utiliser un test multivarié ou un test A/B pour une campagne push, vous pouvez cibler uniquement les appareils iOS ou uniquement les appareils Android, mais pas les deux types d’appareils dans la même campagne.

Étape 1 : Créer votre campagne

1. Accédez à Envoi de messages > Campagnes.
2. Sélectionnez Créer une campagne et choisissez un canal pour la campagne dans la section qui permet les tests multivariés et A/B. Pour une documentation détaillée sur chaque canal de communication, consultez Créer une campagne.

Étape 2 : Rédiger vos variantes

Vous pouvez créer jusqu’à huit variantes de votre message, en différenciant les titres, le contenu, les images, et plus encore. Le nombre de différences entre les messages détermine s’il s’agit d’un test multivarié ou d’un test A/B. Un test A/B examine l’effet de la modification d’une seule variable, tandis qu’un test multivarié en examine deux ou plus.

Pour des idées sur la façon de différencier vos variantes, consultez Conseils pour les différents canaux.

Étape 3 : Planifier votre campagne

La planification de votre campagne multivariée fonctionne de la même manière que pour toute autre campagne Braze. Tous les types de distribution standard sont disponibles.

Une fois qu’un test multivarié a commencé, vous ne pouvez plus modifier la campagne. Si vous changez les paramètres, comme la ligne d’objet ou le corps HTML, Braze considère l’expérience comme compromise et la désactive immédiatement.

Étape 4 : Choisir un segment et répartir vos utilisateurs entre les variantes

Sélectionnez les segments à cibler, puis répartissez les membres entre vos variantes sélectionnées et le groupe de contrôle facultatif. Pour les bonnes pratiques concernant le choix d’un segment pour vos tests, consultez Choisir un segment.

Pour les campagnes push, e-mail et webhook planifiées pour un envoi unique, vous pouvez également utiliser une optimisation. Une optimisation réserve une partie de votre audience cible en dehors du test A/B et la conserve pour un second envoi optimisé basé sur les résultats du premier test.

Groupe de contrôle

Vous pouvez réserver un pourcentage de votre audience cible pour un groupe de contrôle aléatoire. Les utilisateurs du groupe de contrôle ne reçoivent pas le test, mais Braze surveille leur taux de conversion pendant toute la durée de la campagne.

Lorsque vous consultez vos résultats, vous pouvez comparer les taux de conversion de vos variantes avec un taux de conversion de référence fourni par votre groupe de contrôle. Cela vous permet de comparer à la fois les effets de vos variantes et les effets de vos variantes par rapport au taux de conversion qui aurait résulté de l’absence totale d’envoi de message.

Groupes de contrôle avec les tests A/B

Lorsque vous utilisez une limite de débit avec un test A/B, la limite de débit n’est pas appliquée au groupe de contrôle de la même manière qu’au groupe de test, ce qui constitue une source potentielle de biais temporel. Utilisez des fenêtres de conversion appropriées pour éviter ce biais.

Groupes de contrôle avec la Sélection intelligente

La taille du groupe de contrôle pour une campagne avec la Sélection intelligente est basée sur le nombre de variantes. Si chaque variante est envoyée à plus de 20 % des utilisateurs, le groupe de contrôle représente 20 % et les variantes sont réparties équitablement sur les 80 % restants. Cependant, si vous avez suffisamment de variantes pour que chacune soit envoyée à moins de 20 % des utilisateurs, le groupe de contrôle doit être réduit. Lorsque la Sélection intelligente commence à analyser les performances de votre test, le groupe de contrôle augmente ou diminue en fonction des résultats.

Étape 5 : Définir un événement de conversion (facultatif)

Définir un événement de conversion pour une campagne vous permet de voir combien de destinataires de cette campagne ont effectué une action particulière après l’avoir reçue.

Cela n’affecte le test que si vous avez choisi Taux de conversion principal dans les étapes précédentes. Pour plus d’informations, consultez Événements de conversion.

Étape 6 : Vérifier et lancer

Sur la page de confirmation, vérifiez les détails de votre campagne multivariée et lancez le test ! Ensuite, découvrez comment comprendre les résultats de votre test.

Bon à savoir

Si votre expérience a déjà commencé l’envoi et que vous modifiez le message, l’expérience est invalidée et tous les résultats de l’expérience sont supprimés.

• Pour éviter toute interférence avec le comportement attendu de l’expérience, nous recommandons de ne pas modifier les messages dans l’heure qui suit le lancement de la campagne d’expérience.
• Si votre expérience est terminée et que vous modifiez le message après l’envoi, les résultats de l’expérience restent disponibles dans l’analytique de votre tableau de bord. Cependant, si vous relancez la campagne, les résultats de l’expérience sont supprimés.

Conseils pour les différents canaux

Selon le canal que vous sélectionnez, vous pouvez tester différents composants de votre message. Par exemple, essayez de rédiger des variantes en ayant une idée de ce que vous souhaitez tester et de ce que vous espérez prouver. Quels leviers pouvez-vous actionner et quels sont les effets souhaités ? Bien qu’il existe des millions de possibilités à explorer avec un test multivarié ou A/B, voici quelques suggestions pour vous lancer :

De plus, la durée idéale de votre test peut varier selon le canal. Gardez à l’esprit le temps moyen dont la plupart des utilisateurs ont besoin pour interagir avec chaque canal.

Par exemple, si vous testez une notification push, vous pouvez obtenir des résultats significatifs plus rapidement qu’avec un test par e-mail, car les utilisateurs voient les notifications push immédiatement, alors qu’il peut s’écouler plusieurs jours avant qu’ils ne voient ou n’ouvrent un e-mail. Si vous testez des messages in-app, gardez à l’esprit que les utilisateurs doivent ouvrir l’application pour voir la campagne. Vous devriez donc attendre plus longtemps pour collecter les résultats, aussi bien de vos utilisateurs les plus actifs que de vos utilisateurs plus occasionnels.

Si vous n’êtes pas sûr de la durée idéale de votre test, la fonctionnalité Sélection intelligente peut être utile pour identifier efficacement une variante gagnante.

Choisir un segment

Étant donné que différents segments de vos utilisateurs peuvent réagir différemment aux messages, le succès d’un message particulier en dit long à la fois sur le message lui-même et sur son segment cible. Essayez donc de concevoir un test en gardant votre segment cible à l’esprit.

Par exemple, les utilisateurs actifs peuvent réagir de manière similaire à « Cette offre expire demain ! » et « Cette offre expire dans 24 heures ! », mais les utilisateurs qui n’ont pas ouvert l’application depuis une semaine pourraient être plus réceptifs à la seconde formulation, car elle crée un plus grand sentiment d’urgence.

De plus, lorsque vous choisissez le segment sur lequel effectuer votre test, assurez-vous que la taille de ce segment est suffisamment grande. En général, les tests multivariés et A/B comportant davantage de variantes nécessitent un groupe de test plus important pour obtenir des résultats statistiquement significatifs. En effet, plus il y a de variantes, moins d’utilisateurs voient chaque variante individuelle.

Biais et randomisation

Une question fréquente concernant l’affectation aux groupes de contrôle et de test est de savoir si cela peut introduire un biais dans vos tests. D’autres se demandent parfois comment nous savons si ces affectations sont véritablement aléatoires.

Les utilisateurs sont affectés aux variantes de message, aux variantes de Canvas ou à leurs groupes de contrôle respectifs en concaténant leur ID utilisateur (généré aléatoirement) avec l’ID de la campagne ou du Canvas (également généré aléatoirement), en prenant le modulo 100 de cette valeur, puis en classant les utilisateurs dans des tranches correspondant aux pourcentages d’affectation des variantes et du groupe de contrôle facultatif définis dans le tableau de bord. Il n’y a donc aucun moyen pratique pour que les comportements des utilisateurs avant la création d’une campagne ou d’un Canvas particulier varient systématiquement entre les variantes et le groupe de contrôle. Il n’est pas non plus possible d’être plus aléatoire (ou plus précisément, pseudo-aléatoire) que cette implémentation.

Erreurs à éviter

Il existe certaines erreurs courantes qui peuvent créer l’apparence de différences basées sur le canal de communication si les audiences ne sont pas correctement filtrées.

Par exemple, si vous envoyez une notification push à une large audience avec un groupe de contrôle, le groupe de test envoie des messages uniquement aux utilisateurs disposant d’un jeton de notification push. Cependant, le groupe de contrôle inclut à la fois les utilisateurs qui disposent d’un jeton de notification push et ceux qui n’en ont pas. Dans ce cas, votre audience initiale pour la campagne ou le Canvas doit filtrer sur la possession d’un jeton de notification push (Foreground Push Enabled est true). La même logique doit être appliquée pour l’éligibilité à recevoir des messages sur d’autres canaux : avoir donné son consentement, disposer d’un jeton de notification push ou être abonné.

Notez que si une variante de contrôle ne contient aucune étape de Canvas, les événements de critères de sortie ne sont pas enregistrés pour les utilisateurs de la variante de contrôle.