Passer au contenu

Mesurer Decisioning Studio Go

Ce guide explique comment mesurer l’impact de votre agent, à l’aide du contrôle aléatoire intégré et en le comparant à votre programme actuel habituel (BAU, pour « business as usual »).

Decisioning Studio Go vous propose une comparaison par défaut : l’agent comparé à un contrôle aléatoire. Vous pouvez configurer vous-même une seconde comparaison : l’agent comparé à votre programme actuel. Ce guide couvre ces deux comparaisons, ainsi que la manière de lire les chiffres et d’importer les données dans votre propre entrepôt de données.

La comparaison intégrée : agent contre groupe de contrôle aléatoire

Chaque agent répartit automatiquement son audience en deux groupes :

  • Le groupe Decisioning Studio reçoit du contenu optimisé par l’IA.
  • Le groupe de contrôle aléatoire reçoit des combinaisons choisies au hasard parmi les options que vous avez configurées, selon la même planification et les mêmes contraintes.

Comme les deux groupes puisent dans les mêmes options et suivent la même planification, l’écart entre eux isole l’effet des décisions prises par l’agent. C’est votre mesure de l’uplift la plus fiable, disponible en permanence. Vous n’avez rien de plus à configurer.

L’indicateur d’uplift

L’indicateur principal est Unique Customers Who Clicked Daily : le nombre d’utilisateurs distincts qui cliquent, et non le volume brut de clics. L’uplift correspond à l’écart entre le groupe Decisioning Studio et le groupe de contrôle aléatoire sur cette mesure.

L’agent apprend uniquement à partir de clics authentiques. Avant d’être comptabilisé, un clic passe par des filtres de validation qui écartent l’activité automatisée et les clics liés aux désabonnements. Les totaux de clics de Decisioning Studio sont donc inférieurs à ceux de vos rapports d’e-mail bruts. Ce filtrage s’applique de la même manière aux deux groupes, ce qui préserve la validité de la comparaison.

Dimensionner le groupe de contrôle

La taille minimale du groupe de contrôle est de 5 %. Adaptez-la à votre audience. Les audiences plus petites nécessitent un groupe de contrôle proportionnellement plus grand pour rester statistiquement significatives :

Taille de l’audience Répartition recommandée (Decisioning Studio / contrôle aléatoire)
20 000 – 100 000 80 / 20
100 000 – 1 000 000 90 / 10
1 000 000 – 40 000 000 95 / 5

Comparer avec votre programme habituel

Le groupe de contrôle aléatoire compare l’agent à des combinaisons choisies au hasard parmi les mêmes options. Pour comparer l’agent à votre programme actuel, configurez vous-même une comparaison avec votre programme habituel (BAU, « business as usual »). Decisioning Studio Go n’orchestre pas le groupe BAU et ne produit aucun rapport sur celui-ci : c’est à vous de mettre en place cette comparaison.

Étape 1 : Répartir votre audience entre un groupe BAU et un groupe agent

Vous pouvez utiliser l’une ou l’autre de ces méthodes :

Étape 2 : Vérifier que votre audience est assez grande pour être répartie

Le groupe agent doit compter au moins 20 000 utilisateurs après la répartition et après l’attribution de son groupe de contrôle aléatoire. Si votre audience totale compte environ 40 000 utilisateurs ou moins, une répartition BAU 50/50 laisse chaque moitié en dessous de ce minimum. Pour les audiences plus petites mais toujours éligibles, réservez une part BAU plus réduite, ou appuyez-vous sur le groupe de contrôle aléatoire intégré plutôt que sur une comparaison BAU.

Étape 3 : Garantir l’équité du test

Une comparaison BAU n’a de sens que si les deux groupes diffèrent uniquement par l’entité qui prend les décisions. Avant le lancement :

  • Maintenez un comportement d’envoi identique. Alignez la fréquence d’envoi de l’agent sur votre fréquence BAU, ou réglez-la sur la moyenne BAU. Si un groupe envoie plus souvent que l’autre, vous mesurez le volume d’envoi et non la prise de décision.
  • Chargez les créations BAU dans l’agent. Chaque ligne d’objet, appel à l’action (CTA) et image doit être disponible à la fois pour le groupe BAU et pour l’agent. Toute différence reflète alors les décisions, puisque les deux groupes disposent du même contenu.
  • Harmonisez la façon de comptabiliser un clic dans les deux groupes, afin de comparer des éléments comparables.
  • Ne modifiez pas le programme BAU pendant la période de mesure. Ne le réoptimisez pas en cours de test.

Étape 4 : Attendre une lecture fiable des résultats

Un agent encore en phase d’entraînement est généralement en retrait, au début, par rapport à un programme BAU mature et déjà optimisé. Cet écart est normal. Attendez que l’agent soit Entièrement entraîné avant de comparer. Pour plus d’informations, consultez À quoi s’attendre après le lancement.

Analyser les résultats dans votre propre entrepôt de données

Chaque envoi écrit des identifiants dans message_extras sur l’événement users.messages.email.Send. Ces identifiants sont écrits automatiquement dans tous les espaces de travail :

Champ Description
ds_go_agent_id L’agent qui a envoyé le message
ds_go_agent_regime Le groupe auquel appartient l’utilisateur : piloté par l’IA ou contrôle aléatoire
ds_go_rec_id L’ID de la décision spécifique (recommandation)

Pour analyser ces champs dans votre entrepôt de données :

  1. Vérifiez que votre export Currents ou votre export de données inclut message_extras sur l’événement d’envoi.
  2. Joignez l’événement d’envoi, qui porte l’étiquette de groupe, aux ouvertures et aux clics sur user_id et dispatch_id.
  3. Comparez l’indicateur de votre choix entre les valeurs de ds_go_agent_regime, ainsi qu’entre votre répartition BAU et agent si vous en avez configuré une.

Comment lire les rapports

  • Définissez la date de fin sur avant-hier. Les données des rapports ont environ un jour de décalage : choisir avant-hier comme date de fin vous garantit une vue complète.
  • Laissez aux rapports quelques jours pour se remplir après le lancement. S’ils semblent vides juste après le lancement, c’est normal : les rapports sont encore en train de collecter des données.
  • Utilisez les vues Performances et Préférences de l’agent. Performances montre l’amélioration par rapport au contrôle aléatoire. Préférences de l’agent montre à quelle fréquence l’agent a choisi chaque variante.
New Stuff!