Skip to content

Analyses prédictives du désabonnement (if used an anjective)

Une fois que votre prédiction a été créée et entraînée, vous avez accès à la page Analyses prédictives. Cette page vous aide à décider quels utilisateurs vous devez cibler en fonction de leur score de risque de désabonnement ou de leur catégorie.

A propos des analyses prédictives du désabonnement (si utilisées comme analyses prédictives du taux d’attrition)

Dès que la prédiction est terminée et que cette page est remplie, vous pouvez passer à l’utilisation des filtres dans les segments ou les campagnes pour commencer à utiliser les résultats du modèle. Toutefois, si vous souhaitez obtenir de l’aide pour décider qui cibler et pourquoi, cette page peut vous aider en fonction de l’exactitude historique du modèle et de vos propres objectifs métier.

Telles sont les composantes de l’analyse/analyse prédictive du désabonnement (qui constituent l’analyse prévisionnelle du taux d’attrition) :

La répartition des scores pour l’ensemble de l’audience des prédictions est affichée en haut de la page dans un graphique que vous pouvez consulter, par catégorie ou par score. Les utilisateurs des bacs situés plus à droite ont des scores plus élevés et sont plus susceptibles de se désabonner. Les utilisateurs désabonnés dans les bacs situés plus à gauche sont moins susceptibles de désabonner. Le curseur situé sous le graphique vous permet de sélectionner un groupe d’utilisateurs et d’estimer les résultats du ciblage des utilisateurs se situant dans la fourchette sélectionnée du score de risque de désabonnement ou de la catégorie.

Au fur et à mesure que vous déplacez le curseur, la barre située dans la moitié gauche du panneau inférieur vous informe du nombre d’utilisateurs ciblés sur l’ensemble de l’audience de prédictions.

!

Score et catégorie de désabonnement

Les utilisateurs de l’audience de prédiction se verront attribuer un score de risque de désabonnement compris entre 0 et 100. Plus le score est élevé, plus la probabilité de désabonner est grande.

  • Les utilisateurs dont le score est compris entre 0 et 50 seront classés dans la catégorie “ faible risque”.
  • Les utilisateurs dont le score est compris entre 50 et 75, et entre 75 et 100, seront étiquetés respectivement dans les catégories Risque moyen et Risque élevé.

Les notes et les catégories correspondantes seront mises à jour selon la planification que vous avez choisie sur la page de création du modèle. Le nombre d’utilisateurs désabonnés dans chacun des 20 compartiments de taille égale est affiché dans le graphique en haut de la page. Cela peut vous aider à déterminer le risque de désabonnement au sein de la population en fonction de cette prédiction.

Qualité des prédictions

To measure the accuracy of your model, the Prediction Quality metric will show you how effective this particular machine learning model appears to be when tested on historical data. Braze pulls data according to the groups you specified in the model creation page. The model is trained on one data set (the “training” set) and then tested on a new, separate data set (the “test” set).

The prediction will be trained again every two weeks and updated alongside the Prediction Quality metric to keep your predictions updated on the most recent user behavior patterns. Additionally, each time this occurs, the last two weeks of predictions will be tested against actual user outcomes. The Prediction Quality will then be calculated based on these real outcomes (rather than estimates). This is an automatic backtest (that is, testing a predictive model on historical data) to ensure the prediction is accurate in real-world scenarios. The last time this retraining and backtesting occurred will be displayed on the Predictions page and an individual prediction’s analytics page. Even a preview prediction will perform this backtest once after its creation. This way, you can be sure of the accuracy of your customized prediction even with the free version of the feature.

Prediction quality example

For example, if 20% of your users usually churn on average, and you pick a random subset of 20% of your users and label them as churned at random (whether they truly are or not), you’d expect to correctly identify only 20% of the actual churners. That’s random guessing. If the model were to only do that well, the lift would be 1 for this case.

If the model, on the other hand, allowed you to message 20% of the users and, in doing so capture all the “true” churners and no one else, the lift would be 100% / 20% = 5. If you chart this ratio for every proportion of the likeliest churners you could message, you get the Lift Curve.

Another way to think of lift quality (and also Prediction Quality) is how far along the way between random guessing (0%) and perfection (100%) the prediction’s lift curve is at identifying churners on the test set. For the original paper on lift quality, see Measuring lift quality in database marketing.

How it’s measured

Our measure of Prediction Quality is lift quality. Generally, “lift” refers to the increased ratio or percentage of a successful outcome, such as a conversion. In this case, the successful outcome is correctly identifying a user who would have churned. Lift quality is the average lift the prediction provides across all possible audience sizes for messaging the test set. This approach measures how much better than random guessing the model is. With this measure, 0% means the model is no better than randomly guessing about who will churn, and 100% indicates perfect knowledge of who will churn.

Here’s what we recommend for various ranges of Prediction Quality:

Précision estimée

Dans la moitié droite du panneau situé sous le graphique, nous présentons des estimations de la précision attendue du ciblage de cette partie de l’audience des prédictions. Sur la base des données relatives aux utilisateurs de l’audience prédite dans le passé et de la précision apparente du modèle pour distinguer les utilisateurs qui se désabonnent de ceux qui ne se désabonnent pas sur la base de ces données passées, ces barres de progression permettent d’estimer un futur message potentiel utilisant l’audience mise en évidence par le curseur :

!

  • Combien d’utilisateurs désabonnés sont susceptibles de désabonner ?
  • Combien d’utilisateurs désabonnés sont censés ne pas désabonner ?

À l’aide de ces informations, nous vous encourageons à décider du nombre de désabonnés que vous souhaitez capturer et du coût d’une erreur faussement positive pour votre entreprise. Si vous envoyez une promotion de grande valeur, vous voudrez peut-être limiter au maximum le ciblage des non-désabonnés tout en obtenant autant de vrais désabonnés que le modèle le permet. Ou, si vous êtes moins sensible aux faux positifs et que les utilisateurs reçoivent des messages supplémentaires, vous pouvez envoyer des messages à une plus grande partie de l’audience pour capter davantage de désabonnés attendus et ignorer les erreurs probables.

On s’attend à ce que les utilisateurs désabonnent

Il s’agit d’une estimation du nombre de désabonnés réels qui seront correctement ciblés. Bien entendu, nous ne connaissons pas parfaitement l’avenir, et nous ne savons donc pas précisément quels utilisateurs de l’audience de prédiction se désabonneront à l’avenir. Mais la prédiction est une déduction fiable. Sur la base des performances passées, cette barre de progression indique le nombre de désabonnés “réels” ou “vrais” attendus dans l’audience de prédiction (sur la base des taux d’attrition antérieurs) qui seront ciblés avec la sélection de ciblage actuelle. On peut s’attendre à ce que ce nombre d’utilisateurs se désabonne si vous ne les ciblez pas avec des messages supplémentaires ou inhabituels.

On s’attend à ce que les utilisateurs ne se désabonnent pas.

Il s’agit d’une estimation du nombre d’utilisateurs qui n’auraient pas désabonné et qui seront incorrectement ciblés. Tous les modèles de machine learning font des erreurs. Il peut y avoir des utilisateurs dans votre sélection qui ont un score de risque de désabonnement élevé mais qui ne se désabonnent pas en fin de compte. Ils ne se désabonneraient pas même si vous ne preniez aucune mesure. Ils seront de toute façon ciblés, il s’agit donc d’une erreur ou d’un “faux positif”. La largeur totale de cette deuxième barre de progression représente le nombre attendu d’utilisateurs qui ne se désabonneront pas, et la partie remplie représente ceux qui seront incorrectement ciblés en utilisant la position actuelle du curseur.

Tableau de corrélation du désabonnement

Cette analyse affiche tous les attributs ou comportements des utilisateurs qui sont en corrélation avec le désabonnement des utilisateurs dans l’audience de prédiction historique. Les tableaux sont divisés en deux parties, gauche et droite, respectivement pour les personnes les plus et les moins susceptibles de désabonner. Pour chaque ligne, le ratio par lequel les utilisateurs ayant le comportement ou l’attribut dans la colonne de gauche sont plus ou moins susceptibles de désabonner est affiché dans la colonne de droite. Ce chiffre est le rapport entre la probabilité de désabonner les utilisateurs ayant ce comportement ou cet attribut et la probabilité de désabonner l’ensemble de l’audience de prédiction.

Ce tableau n’est mis à jour que lorsque la prédiction se désabonne et non lorsque les scores de risque de désabonnement des utilisateurs sont mis à jour.
Github   Modifier cette page sur GitHub
New Stuff!