予測アナリティクス

予測の構築とトレーニングが完了したら、Prediction Analytics ページにアクセスできます。このページでは、Churn Risk Score またはカテゴリに基づいて、どのユーザーをターゲットにするかを決定するのに役立ちます。

予測が完了し、このページが入力されるとすぐに、単にfilters をセグメントまたはキャンペーンで使用して、モデルの出力の使用を開始できます。しかし、誰をターゲットにするのか、なぜターゲットにするのかを決めるのに役立ちたいのであれば、このページはモデルの歴史的な正確さと自分自身のビジネス目標に基づいて役立ちます。

分析コンポーネント

• Churn Score and Category
  
• 予測品質
  
• 推定結果
  
• Churn Correlation Table

概要

予測オーディエンス全体のスコアの分布は、グラフの一番上に表示されます。グラフでは、カテゴリ別またはスコア別に表示できます。右側にあるビンのユーザーは、スコアが高く、チャーンする可能性が高くなります。左側にあるビンのユーザは、チャーンしにくいです。グラフの下にあるスライダを使用すると、ユーザーの範囲を選択し、選択した範囲の_Churn Risk Score_ またはカテゴリのユーザーをターゲットにする場合の結果を見積もることができます。

スライダーを動かすと、下側のパネルの左半分のバーに、予測オーディエンス全体からターゲットになるユーザの数が表示されます。

チャーンスコアとカテゴリー

予測対象のユーザーには、Churn Risk Score 0 ～100 が割り当てられます。スコアが高いほど、解約の可能性が高くなります。 - スコアが0 ～50 のユーザーは、Low Risk カテゴリに表示されます。 - スコアが50 ～75、および75 ～100 のユーザーには、それぞれ_Medium Risk_ および_High Risk_ カテゴリーにラベルが付けられます。

スコアと対応するカテゴリは、モデル作成ページで選択したスケジュールに従って更新されます。ページ上部のチャートには、20 個の同サイズのバケットごとにチャートスコアを持つユーザーの数が表示されます。これは、この予測に従って、集団全体でチャーン・リスクがどのように見えるかを判断するのに役立ちます。

解約を減らすためにユーザーをターゲットにする

予測品質

モデルの精度を測定するために、Prediction Quality メトリクスは、この特定の機械学習モデルが履歴データでテストされたときにどの程度有効であるかを示します。メトリックの詳細については、予測品質を参照してください。

_ Prediction Quality_ のさまざまな範囲にお勧めします。

| 予測品質範囲(%) | 推奨| | ———————- | ————– | 非常に良い (60～100)精度はトップクラスです。オーディエンスの定義を変更しても、メリットをｌさらに得られる可能性はほとんどありません。 良い (40～60)このモデルでは正確な予測が生成されますが、さまざまなオーディエンス設定を試すことで、さらに正確な結果が得られる可能性があります。 普通 (20～40)このモデルでは正確で価値のある予測が提供されますが、さまざまなオーディエンス定義を試して、パフォーマンスが向上するかどうかを確認してみてください。 悪い (0～20)オーディエンスの定義を変更して、もう一度やり直すことをお勧めします。

予測は、2 週間ごとに再度トレーニングされ、予測品質メトリクスと一緒に更新されます。これにより、予測が最新のユーザー動作パターンで更新されたままになります。最後にこの再トレーニングが発生した時刻は、予測リストページと予測の分析ページに表示されます。

推計結果

チャートの下のパネルの右半分では、予測対象者のこの領域をターゲットとする期待精度の推定値を示します。過去の予測オーディエンス内のユーザに関するデータ、およびその過去のデータ上の撹拌ユーザと非撹拌ユーザを識別するためのモデルの見かけの正確さに基づいて、これらの進行バーはスライダで強調されたオーディエンスを使用して将来の潜在的メッセージについて推定します。

1. 実際のチャーナーが何人正しくターゲットされるかの見積もり
   
   もちろん、私たちは未来を完全には知りませんので、予測オーディエンスからのどのユーザーが、将来的にどのようなユーザーが混乱するかは正確にはわかりません。しかし、この予測は信頼できる推論である。過去のパフォーマンスに基づいて、この進捗バーは、予測対象者(事前の解約率に基づいて)に期待される合計”actual”または”true”チャーナーの数が、現在のターゲット選択でターゲットになるかどうかを示します。この数のユーザーが、追加のメッセージや異常なメッセージでターゲットにしない場合には、混乱することが予想されます。
   
   

2. 実際に解読されなかったユーザーの数の推定値は、誤ったターゲットになります
   
   すべての機械学習モデルはエラーを作ります。選択したユーザーの中に、_Churn Risk Score_が高く、最終的に解読されないユーザーがいる可能性があります。彼らはあなたが何の措置も取らなかったとしても動かないだろう。いずれにしても対象となるので、これはエラーまたは”false positive.”です。 この2番目のプログレスバーの全幅は、チャーンしないユーザーの予想数を表し、フィルされた部分は、現在のスライダー位置を使用して誤ってターゲットにされるユーザーです。

この情報を使用して、取り込みたいチャーナーの数と、誤検出エラーのコストがビジネスにどのようなものであるかを決定することをお勧めします。貴重なプロモーションを発信しているのであれば、モデルが許す限り多くの期待される本当のチャーナーを獲得しながら、非チャーナーを最小限にターゲットにしておきたいと思うかもしれません。あるいは、誤検出の感度が低く、ユーザが追加のメッセージを受信した場合、より多くのオーディエンスにメッセージを送って、より多くの期待されるチャーナーをキャプチャし、可能性のあるエラーを無視することができます。

チャーン相関表

この分析では、ヒストリカル予測オーディエンスのユーザーチャーンと相関するユーザー属性またはビヘイビアが表示されます。テーブルは左右に分割され、チャーンする可能性が高くなります。各行について、左側の列にビヘイビアまたは属性を持つユーザがほぼ混乱する割合が右側の列に表示されます。この数は、この振る舞いまたは属性を持つユーザーの解約可能性の比率を、予測対象者全体を解消する可能性で割ったものです。

このテーブルは、ユーザ_Churn Risk Scores_ が更新されたときではなく、予測が再試行されたときにのみ更新されます。