Mesurer Decisioning Studio Go
Ce guide explique comment mesurer l’impact de votre agent, à l’aide du contrôle aléatoire intégré et en le comparant à votre programme habituel (BAU, pour « business as usual »).
Decisioning Studio Go vous propose une comparaison par défaut : l’agent comparé à un contrôle aléatoire. Vous pouvez configurer vous-même une seconde comparaison : l’agent comparé à votre programme actuel. Ce guide couvre ces deux comparaisons, ainsi que la manière de lire les chiffres et d’importer les données dans votre propre entrepôt de données.
La comparaison intégrée : l’agent face au contrôle aléatoire
Chaque agent répartit automatiquement son audience en deux groupes :
- Le groupe Decisioning Studio reçoit du contenu optimisé par l’IA.
- Le groupe de contrôle aléatoire reçoit des combinaisons choisies au hasard parmi les options que vous avez configurées, selon la même planification et les mêmes contraintes.
Comme les deux groupes puisent dans les mêmes options et suivent la même planification, la différence entre eux isole l’effet des décisions prises par l’agent. Il s’agit de votre mesure du gain la plus fiable et toujours disponible. Aucune configuration supplémentaire n’est nécessaire.
L’indicateur de gain
L’indicateur principal est Clients uniques ayant cliqué par jour : le nombre d’utilisateurs distincts qui cliquent, et non le volume brut de clics. Le gain correspond à l’écart entre le groupe Decisioning Studio et le contrôle aléatoire sur cette mesure.
L’agent apprend uniquement à partir de clics authentiques. Avant d’être comptabilisé, un clic passe par des filtres de validation qui écartent l’activité automatisée et les clics liés aux désabonnements. Les totaux de clics de Decisioning Studio sont donc inférieurs à ceux de vos rapports d’e-mail bruts. Le même filtrage s’applique aux deux groupes de façon identique, ce qui garantit la validité de la comparaison.
Dimensionner le groupe de contrôle
La taille minimale du groupe de contrôle est de 5 %. Adaptez-la à votre audience. Les audiences plus petites nécessitent un contrôle proportionnellement plus grand pour rester statistiquement significatives :
| Taille de l’audience | Répartition recommandée (Decisioning Studio / contrôle aléatoire) |
|---|---|
| 20 000 – 100 000 | 80 / 20 |
| 100 000 – 1 000 000 | 90 / 10 |
| 1 000 000 – 40 000 000 | 95 / 5 |
Comparer avec votre programme habituel
Le contrôle aléatoire mesure l’agent par rapport à des combinaisons choisies au hasard parmi les mêmes options. Pour mesurer l’agent par rapport à votre programme actuel, configurez vous-même une comparaison BAU. Decisioning Studio Go n’orchestre pas le groupe BAU et ne produit pas de rapports à son sujet : c’est à vous de mettre en place cette comparaison.
Étape 1 : Répartir votre audience entre un groupe BAU et un groupe agent
Vous pouvez utiliser l’une de ces méthodes :
- Utilisez une étape des chemins d’expérience dans un Canvas (recommandé) pour orienter les utilisateurs vers un chemin BAU ou vers le segment de l’agent. Une étape des chemins d’expérience dans un Canvas offre une répartition aléatoire et propre, et constitue la méthode recommandée pour mettre en place un test équitable. Consultez Utiliser Decisioning Studio Go avec Canvas.
- Utilisez des numéros de compartiment aléatoires en dehors d’un Canvas pour créer un groupe BAU et un groupe agent à partir de la même audience.
Étape 2 : Vérifier que votre audience est assez grande pour être répartie
Le groupe agent doit compter au moins 20 000 utilisateurs après la répartition et après l’attribution de son contrôle aléatoire. Si votre audience totale compte environ 40 000 utilisateurs ou moins, une répartition BAU 50/50 laisse chaque moitié en dessous de ce minimum. Pour les audiences plus petites mais toujours éligibles, réservez une part BAU plus réduite, ou appuyez-vous sur le contrôle aléatoire intégré plutôt que sur une comparaison BAU.
Étape 3 : Garantir l’équité du test
Une comparaison BAU n’a de sens que si les deux groupes diffèrent uniquement par l’entité qui prend les décisions. Avant le lancement :
- Maintenez un comportement d’envoi identique. Alignez la fréquence d’envoi de l’agent sur votre fréquence BAU, ou réglez-la sur la moyenne BAU. Si un groupe reçoit des envois plus souvent que l’autre, vous mesurez le volume d’envoi plutôt que la prise de décision.
- Chargez les créations BAU dans l’agent. Chaque ligne d’objet, appel à l’action (CTA) et image doit être disponible à la fois pour le groupe BAU et pour l’agent. Toute différence reflète alors les décisions, puisque les deux groupes disposent du même contenu.
- Harmonisez la manière de comptabiliser un clic dans les deux groupes, afin de comparer des éléments équivalents.
- Maintenez le programme BAU stable pendant toute la période de mesure. Ne le réoptimisez pas pendant le test.
Étape 4 : Attendre une lecture équitable
Au début, un agent encore en apprentissage obtient généralement de moins bons résultats qu’un programme BAU mature et déjà optimisé. Cet écart est normal. Attendez que l’agent soit Entièrement entraîné avant de comparer. Pour en savoir plus, consultez À quoi s’attendre après le lancement.
Analyser les résultats dans votre propre entrepôt de données
Chaque envoi écrit des identifiants dans message_extras sur l’événement users.messages.email.Send. Ils sont écrits automatiquement dans chaque espace de travail :
| Champ | Description |
|---|---|
ds_go_agent_id |
L’agent qui a envoyé le message |
ds_go_agent_regime |
Le groupe auquel appartient l’utilisateur : piloté par l’IA ou contrôle aléatoire |
ds_go_rec_id |
L’ID de la décision spécifique (recommandation) |
Pour analyser ces champs dans votre entrepôt de données :
- Vérifiez que Currents ou votre export de données inclut
message_extrassur l’événement d’envoi. - Joignez l’événement d’envoi, qui porte l’étiquette du groupe, aux ouvertures et aux clics sur
user_idetdispatch_id. - Comparez l’indicateur de votre choix entre les valeurs de
ds_go_agent_regime, ainsi qu’entre vos groupes BAU et agent si vous avez mis en place cette répartition.
Comment lire les rapports
- Définissez la date de fin sur avant-hier. Les données de rapport ont environ un jour de retard ; une date de fin fixée à avant-hier vous offre donc une vue complète.
- Laissez quelques jours aux rapports pour se remplir après le lancement. S’ils semblent vides juste après le lancement, c’est normal : les rapports sont encore en train de collecter des données.
- Utilisez les vues Performance et Préférences de l’agent. Performance affiche le gain par rapport au contrôle aléatoire. Préférences de l’agent indique à quelle fréquence l’agent a choisi chaque variante.