À quoi s’attendre après le lancement
Votre agent apprend avant d’être performant. Ce guide présente la période d’entraînement, explique comment savoir à quelle étape se trouve votre agent et comment interpréter les premiers résultats sans en tirer de mauvaises conclusions.
Lorsque vous lancez un agent Decisioning Studio Go, il commence par apprendre. Les e-mails partent dès le premier jour, mais pendant la période d’entraînement initiale, l’agent est encore en phase d’exploration. Savoir ce qui est normal pendant cette période fait toute la différence entre laisser une vraie chance à l’agent et le désactiver avant qu’il ait pu montrer ce dont il est capable.
Les étapes d’entraînement
Votre agent passe par cinq étapes, et les rapports indiquent toujours celle dans laquelle il se trouve.
| Étape | Ce qui se passe | Ce que vous devez faire |
|---|---|---|
| Lancé, pas encore d’envoi | L’agent est actif mais n’a pas encore effectué son premier envoi. | Attendez le premier envoi. |
| En attente de signal | L’agent envoie des messages, mais n’a pas encore recueilli suffisamment de clics authentiques pour commencer l’entraînement. | Assurez-vous que le programme génère de l’engagement. Si l’agent reste longtemps à cette étape, l’audience est peut-être trop petite ou trop peu engagée. Consultez Les deux éléments qui font progresser votre agent. |
| En entraînement | L’agent dispose de suffisamment de signal et explore activement les combinaisons. Les performances peuvent sembler proches de l’aléatoire à ce stade. C’est normal. | N’interprétez pas encore les résultats. Laissez l’agent fonctionner. |
| Partiellement entraîné | L’agent personnalise, mais les résultats ne sont pas encore assez robustes pour être considérés comme définitifs. | Vous pouvez commencer à observer la tendance, mais ne prenez pas encore de décisions sur cette base. |
| Entièrement entraîné | L’agent est entièrement entraîné et les résultats sont robustes. | C’est à cette étape que vous pouvez interpréter le lift, en rendre compte et prendre des décisions. |
Les deux éléments qui font progresser votre agent
Deux conditions sont nécessaires pour obtenir un résultat fiable, et elles doivent être remplies toutes les deux :
- Suffisamment de clics authentiques. L’agent s’entraîne sur les clics, mais uniquement sur les clics authentiques. Les clics automatisés et ceux liés aux désabonnements sont d’abord filtrés. L’entraînement commence dès qu’un nombre suffisant de clics authentiques est atteint, et les résultats deviennent robustes au-delà d’un seuil plus élevé. Une audience petite ou peu engagée atteint ces seuils lentement.
- Suffisamment de temps. Même avec un signal fort, la personnalisation ne devient significative qu’après environ la première semaine et demie d’entraînement. Vous pouvez généralement évaluer les résultats au bout de quelques semaines.
Un agent encore à l’étape En attente de signal a besoin de davantage de clics authentiques. Si votre agent est toujours à l’étape En attente de signal bien après le lancement (par exemple, au bout de 10 jours), c’est qu’il n’a pas encore recueilli assez de clics authentiques, souvent parce que l’audience est plus petite que la taille recommandée ou qu’elle clique peu. Élargir l’audience ou augmenter l’engagement le fera progresser plus vite que d’attendre.
Interpréter les premiers résultats sans en tirer de mauvaises conclusions
L’erreur la plus fréquente consiste à juger l’agent pendant l’entraînement par rapport à une mauvaise référence :
- Les premiers chiffres sous-estiment l’agent. Pendant sa phase d’exploration, l’agent teste délibérément des options qu’il ne connaît pas encore, si bien que ses performances semblent proches de l’aléatoire. C’est le prix de l’apprentissage, qui porte ses fruits une fois l’agent entraîné.
- Un agent encore en entraînement est généralement à la traîne d’un programme mature. Si vous comparez un tout nouvel agent à un programme que vous optimisez déjà depuis des mois ou des années, l’agent paraît souvent moins performant au début. L’écart se réduit une fois l’entraînement terminé. Attendez que l’agent soit Entièrement entraîné avant de comparer.
Ne jugez pas les résultats, ne modifiez pas la taille de l’audience et ne changez pas la répartition du groupe de contrôle tant que l’agent est en entraînement. Chacune de ces actions revient soit à interpréter du bruit comme un signal, soit à perturber l’apprentissage en cours. Modifier la répartition du groupe de contrôle ou remplacer le segment redistribue également les utilisateurs entre les groupes. Pour plus d’informations, consultez Configurer votre agent Decisioning Studio Go.
Points à vérifier si votre agent semble moins performant
Avant de conclure que l’agent ne fonctionne pas, vérifiez les points suivants :
- Est-il Entièrement entraîné ? Si ce n’est pas le cas, vous observez la période d’entraînement. Patientez.
- À quoi le comparez-vous ? La comparaison intégrée et fiable est celle entre l’agent et son groupe de contrôle aléatoire. Si vous le comparez à un programme habituel déjà mature, attendez-vous à un écart au début. Consultez Mesurer Decisioning Studio Go.
- L’audience génère-t-elle suffisamment de clics authentiques ? Si l’agent reste bloqué à l’étape En attente de signal ou tarde à quitter l’étape En entraînement, l’audience est peut-être trop petite ou trop peu engagée.
- Vos créations sont-elles réellement différentes ? Si toutes les options se ressemblent aux yeux de l’agent, il n’a pas grand-chose à optimiser. Consultez Configuration et gestion des créations.
Durée de fonctionnement
Prévoyez de faire fonctionner un agent pendant au moins 30 jours, et idéalement de le laisser actif en permanence. Trente jours laissent à la plupart des programmes suffisamment de temps pour terminer l’entraînement et produire une analyse crédible. Un fonctionnement continu permet à l’agent de continuer à s’améliorer. Pour vos campagnes saisonnières, il vous suffit d’ajouter de nouvelles créations.
Une fois votre agent Entièrement entraîné, consultez Mesurer Decisioning Studio Go pour savoir comment interpréter le lift et le comparer à votre programme actuel.