Skip to content

解約予測分析

予測の構築とトレーニングが完了したら、Prediction Analytics ページにアクセスできます。このページでは、_解約リスクスコア_またはカテゴリに基づいて、どのユーザーをターゲットにするかを決定するのに役立ちます。

解約予測分析について

予測のトレーニングが完了し、このページにデータが表示されたら、すぐにSegmentsやCampaignsでフィルターを使用して、モデルの出力を活用し始めることができます。しかし、誰をターゲットにするのか、なぜターゲットにするのかを決めるのに助けが必要な場合は、このページがモデルの過去の精度とお客様自身のビジネス目標に基づいて役立ちます。

解約予測分析を構成するコンポーネントは以下のとおりです。

予測対象ユーザー全体のスコアの分布は、ページ上部のチャートに表示されます。カテゴリ別またはスコア別に表示できます。右側のバケットにいるユーザーはスコアが高く、解約する可能性が高くなります。左側のバケットにいるユーザーは、解約の可能性が低くなります。チャートの下にあるスライダーを使用すると、ユーザーの範囲を選択し、選択した範囲の_解約リスクスコア_またはカテゴリのユーザーをターゲットにした場合の結果を推定できます。

スライダーを動かすと、下側のパネルの左半分のバーに、予測対象ユーザー全体のうちターゲットになるユーザーの数が表示されます。

解約スコアとカテゴリ

予測対象ユーザーには、0～100の間で_解約リスクスコア_が割り当てられます。スコアが高いほど、解約の可能性が高くなります。

  • スコアが0～50のユーザーは、_低リスク_カテゴリに分類されます。
  • スコアが50～75、75～100のユーザーは、それぞれ_中リスク_と_高リスク_のカテゴリに分類されます。

スコアと対応するカテゴリは、モデル作成ページで選択したスケジュールに従って更新されます。同じサイズの20個のバケットのそれぞれに解約スコアがあるユーザーの数が、ページ上部のチャートに表示されます。これは、この予測に基づいて、母集団全体でどのような解約リスクがあるかを判断するのに役立ちます。

予測品質

モデルの精度を測定するために、_予測品質_指標は、過去のデータでテストした際にこの特定の機械学習モデルがどの程度効果的であるかを示します。Brazeは、モデル作成ページで指定したグループに従ってデータを取得します。モデルは1つのデータセット（「トレーニング」セット）でトレーニングされ、次に新しい別のデータセット（「テスト」セット）でテストされます。

予測は2週間ごとに再トレーニングされ、_予測品質_指標とともに更新されるため、最新のユーザー行動パターンに基づいて予測が常に最新の状態に保たれます。さらに、その都度、直近2週間の予測が実際のユーザーの結果と照らし合わせてテストされます。_予測品質_は、（推定値ではなく）これらの実際の結果に基づいて計算されます。これは、実世界のシナリオで予測が正確であることを確認するための自動バックテスト（つまり、過去のデータを使って予測モデルをテストすること）です。この再トレーニングとバックテストが最後に行われた日時は、Predictionsページと個々の予測の分析ページに表示されます。プレビュー予測であっても、作成後に一度このバックテストが実行されます。これにより、無料版の機能であっても、カスタマイズされた予測の精度を確認できます。

予測品質の例

例えば、通常ユーザーの平均20%が解約する場合、ユーザーの20%のサブセットを無作為に選択し、それらのユーザーに「解約済み」のラベルを無作為に付けると（実際に解約したかどうかは問わない）、正しく特定される解約者は実際の20%のみであると予想されます。これは当て推量です。もしモデルがその程度の精度しか出せないとしたら、この場合のリフトは1となります。

一方、モデルによってユーザーの20%にメッセージを送信でき、その結果「真の」解約者をすべて捕捉し、解約者以外をまったく捕捉しなかった場合、リフトは100% / 20% = 5になります。この比率を、メッセージを送信できる解約の可能性が最も高いユーザーの割合ごとにグラフにすると、リフト曲線が得られます。

リフト品質（および_予測品質_）を考えるもう1つの方法は、テストセットで解約者を特定する際に、予測のリフト曲線が当て推量（0%）から完全（100%）までの間のどの位置にあるかということです。リフト品質に関する元の論文については、「Measuring lift quality in database marketing」を参照してください。

測定方法

Brazeの_予測品質_の尺度はリフト品質です。一般に「リフト」とは、コンバージョンなどの成功した結果の割合またはパーセンテージの増加を意味します。ここでの成功した結果とは、解約したであろうユーザーを正しく特定することです。リフト品質とは、テストセットにメッセージングを行う際に考えられるすべてのオーディエンスサイズについて、予測が提供する平均リフトです。このアプローチでは、モデルがランダムな推測よりもどれだけ優れているかを測定します。この指標の0%は、誰が解約するかについてモデルの精度がランダムな推測と同程度であることを示し、100%は誰が解約するかを完全に把握していることを示します。

以下に、さまざまな_予測品質_の範囲に対する推奨事項を示します。

予測品質の範囲（%） 推奨
60 - 100 非常に良い。トップクラスの精度です。オーディエンスの定義を変更しても追加のメリットが得られる可能性は低いです。
40 - 60 良い。このモデルは正確な予測を生成しますが、さまざまなオーディエンス設定を試すことで、さらに良い結果が得られる可能性があります。
20 - 40 普通。このモデルは精度と価値を提供できますが、さまざまなオーディエンス定義を試して、パフォーマンスが向上するかどうかを確認してみてください。
0 - 20 悪い。オーディエンスの定義を変更して、もう一度やり直すことをお勧めします。

推定精度

チャートの下のパネルの右半分では、予測対象ユーザーのこの範囲をターゲットにした場合の期待精度の推定値を表示します。過去の予測対象ユーザーに関するデータと、その過去のデータにおいて解約ユーザーと非解約ユーザーを識別するモデルの精度に基づいて、これらのプログレスバーは、スライダーで強調表示されたオーディエンスを使用した将来の潜在的なメッセージについて以下を推定します。

  • 解約すると予想される選択済みユーザーの数
  • 解約しないと予想される選択済みユーザーの数

この情報をもとに、何人の解約者をキャプチャしたいのか、また偽陽性エラーのコストがビジネスにとってどれほどかを判断することをお勧めします。価値あるプロモーションを発信している場合は、非解約者のターゲティングを最小限に抑えつつ、モデルが許す限り予想される真の解約者をできるだけ多くキャプチャするのが理想的です。あるいは、偽陽性に対する感度が低く、ユーザーが追加のメッセージを受信しても問題ない場合は、より多くのオーディエンスにメッセージを送信して、より多くの予想される解約者をキャプチャし、起こりうるエラーを無視することもできます。

解約すると予想されるユーザー

これは、実際の解約者のうち、正しくターゲット設定されるユーザーの推定数です。もちろん、未来を完全に予知できるわけではないので、予測対象ユーザーのうちどのユーザーが将来解約するかは正確にはわかりません。しかし、この予測は信頼できる推論です。このプログレスバーは、過去のパフォーマンスに基づいて、予測対象ユーザーで予想される（過去の解約率に基づく）「実際の」または「真の」解約者のうち、現在のターゲティング選択でターゲットにされるユーザーの数を示しています。追加のメッセージや通常とは異なるメッセージでターゲットにしなかった場合、この数のユーザーが解約すると予想されます。

解約しないと予想されるユーザー

これは、実際には解約しないはずのユーザーのうち、誤ってターゲット設定されるユーザーの推定数です。すべての機械学習モデルにはエラーがあります。選択したユーザーの中に、_解約リスクスコア_が高いにもかかわらず、最終的に解約しないユーザーがいる可能性があります。何もアクションを起こさなくても、そのユーザーは解約しなかったはずです。それでもターゲットに含まれるため、これはエラーまたは「偽陽性」となります。この2番目のプログレスバーの全幅は、解約しないと予想されるユーザーの数を表し、塗りつぶされた部分は、現在のスライダー位置を使用して誤ってターゲット設定されるユーザーの数を表します。

解約相関表

この分析では、過去の予測対象ユーザーにおけるユーザー解約と相関するユーザー属性または行動が表示されます。テーブルは、解約の可能性が高い方が左、低い方が右に分割されています。各行について、左の列の行動や属性を持つユーザーが解約する可能性がどの程度高いか、または低いかを示す比率が、右の列に表示されます。この数値は、この行動や属性を持つユーザーの解約可能性を、予測対象ユーザー全体の解約可能性で割った比率です。

このテーブルは、ユーザーの_解約リスクスコア_が更新されたときではなく、予測が再トレーニングされたときにのみ更新されます。
New Stuff!