Skip to content

予測イベント分析

予測の構築とトレーニングが完了したら、Prediction Analytics ページにアクセスできます。このページは、可能性スコアやカテゴリに基づいて、ターゲットにすべきユーザーを決定するのに役立ちます。

予測イベント分析について

予測のトレーニングが完了し、このページにデータが表示されたら、すぐにSegmentsやCampaignsでフィルターを使用して、モデルの出力の利用を開始できます。誰をターゲットにするのか、なぜターゲットにするのかを決める手助けが必要な場合は、このページがモデルの過去の精度とご自身のビジネス目標に基づいてサポートします。

以下は、予測イベント分析を構成するコンポーネントです。

予測対象ユーザー全体の可能性スコアの分布は、ページの上部に表示されます。右側のバケットにいるユーザーはスコアが高く、イベントを実行する可能性が高くなります。左側のバケットにいるユーザーは、イベントを実行する可能性が低くなります。チャートの下にあるスライダーでユーザーのセクションを選択し、そのユーザーをターゲットにした場合の結果を推定できます。

スライダーのハンドルをさまざまな位置に動かすと、パネルの左半分にあるバーが、選択した対象層を使って予測対象ユーザー全体のうち何人のユーザーをターゲットにするかを表示します。

可能性スコア

予測対象ユーザーには、0～100の間で可能性スコアが割り当てられます。スコアが高いほど、そのイベントを実行する可能性が高くなります。

以下は、可能性スコアによってユーザーがどのように分類されるかを示しています。

  • 低: 0～50
  • 中: 50～75
  • 高: 75～100

スコアと対応するカテゴリは、予測作成ページで選択したスケジュールに従って更新されます。20の等しいサイズのバケットまたは各可能性カテゴリに含まれる可能性スコアを持つユーザーの数は、ページ上部のチャートに表示されます。

ユーザーレベルの可能性スコアへのアクセス

単一ユーザーの可能性スコアを確認するには、ダッシュボードでそのユーザーを検索し、Engagement > Predictionsに移動してスコアを確認します。多くのユーザーのスコアとカテゴリを一度に確認するには、イベント発生確率スコアまたはイベント発生確率カテゴリのフィルターを使ってSegmentを作成し、そのSegmentからユーザーをエクスポートします。エクスポート時には、エクスポートデータに可能性スコアを含めることができます。

推定精度

チャートの下にあるパネルの右半分には、選択した予測対象ユーザーの部分をターゲットにした場合の予想精度が2つの方法で表示されます。イベントを実行すると予想されるユーザー数と、実行しないと予想されるユーザー数です。

Brazeダッシュボードに表示される選択されたオーディエンスと推定精度。

実行が予想されるユーザー

推定精度を使用して、選択されたユーザーのうち、イベントを実行すると予想されるユーザーの数を確認できます。

予測は完全に正確ではなく、どの予測もそうです。そのため、Brazeは将来イベントを実行するすべてのユーザーを正確に特定できるわけではありません。可能性スコアは、情報に基づいた信頼性の高い予測の集合のようなものです。プログレスバーは、予測対象ユーザーで予想される「真陽性」のうち、選択したオーディエンスでターゲットになる数を示します。なお、メッセージを送信しなくても、この数のユーザーがイベントを実行すると予想されます。

実行が予想されないユーザー

推定精度を使用して、選択されたユーザーのうち、イベントを実行しないと予想されるユーザーの数を確認できます。

すべての機械学習モデルにはエラーがあります。選択したユーザーの中に、可能性スコアが高くても、実際にはイベントを実行しないユーザーがいる場合があります。何もアクションを起こさなければ、彼らはイベントを実行しないでしょう。いずれにしてもターゲットに含まれるため、これはエラーまたは「偽陽性」です。この2番目のプログレスバーの全幅は、イベントを実行しないと予想されるユーザー数を表し、塗りつぶされた部分は、現在のスライダー位置で誤ってターゲットにされるユーザーです。

この情報をもとに、どれだけの真陽性を捕捉したいのか、どれだけの偽陽性をターゲットとして許容できるのか、エラーのコストがビジネスにとってどれくらいなのかを判断することをお勧めします。価値のあるプロモーションを送信している場合、チャートの左側を優先させて非購入者（偽陽性）だけをターゲットにすることができます。あるいは、チャートの右側を優先させてユーザーを選択することで、よく購入してくれるバイヤー（真陽性）に再購入を促すこともできます。

予測品質

モデルの精度を測定するために、_予測品質_指標は、過去のデータでテストした際にこの特定の機械学習モデルがどの程度効果的であるかを示します。Brazeは、モデル作成ページで指定したグループに従ってデータを取得します。モデルは1つのデータセット（「トレーニング」セット）でトレーニングされ、次に新しい別のデータセット（「テスト」セット）でテストされます。

予測は2週間ごとに再トレーニングされ、_予測品質_指標とともに更新されるため、最新のユーザー行動パターンに基づいて予測が常に最新の状態に保たれます。さらに、その都度、直近2週間の予測が実際のユーザーの結果と照らし合わせてテストされます。_予測品質_は、（推定値ではなく）これらの実際の結果に基づいて計算されます。これは、実世界のシナリオで予測が正確であることを確認するための自動バックテスト（つまり、過去のデータを使って予測モデルをテストすること）です。この再トレーニングとバックテストが最後に行われた日時は、Predictionsページと個々の予測の分析ページに表示されます。プレビュー予測であっても、作成後に一度このバックテストが実行されます。これにより、無料版の機能であっても、カスタマイズされた予測の精度を確認できます。

予測品質の例

例えば、通常ユーザーの平均20%が解約する場合、ユーザーの20%のサブセットを無作為に選択し、それらのユーザーに「解約済み」のラベルを無作為に付けると（実際に解約したかどうかは問わない）、正しく特定される解約者は実際の20%のみであると予想されます。これは当て推量です。もしモデルがその程度の精度しか出せないとしたら、この場合のリフトは1となります。

一方、モデルによってユーザーの20%にメッセージを送信でき、その結果「真の」解約者をすべて捕捉し、解約者以外をまったく捕捉しなかった場合、リフトは100% / 20% = 5になります。この比率を、メッセージを送信できる解約の可能性が最も高いユーザーの割合ごとにグラフにすると、リフト曲線が得られます。

リフト品質（および_予測品質_）を考えるもう1つの方法は、テストセットで解約者を特定する際に、予測のリフト曲線が当て推量（0%）から完全（100%）までの間のどの位置にあるかということです。リフト品質に関する元の論文については、「Measuring lift quality in database marketing」を参照してください。

測定方法

Brazeの_予測品質_の尺度はリフト品質です。一般に「リフト」とは、コンバージョンなどの成功した結果の割合またはパーセンテージの増加を意味します。ここでの成功した結果とは、解約したであろうユーザーを正しく特定することです。リフト品質とは、テストセットにメッセージングを行う際に考えられるすべてのオーディエンスサイズについて、予測が提供する平均リフトです。このアプローチでは、モデルがランダムな推測よりもどれだけ優れているかを測定します。この指標の0%は、誰が解約するかについてモデルの精度がランダムな推測と同程度であることを示し、100%は誰が解約するかを完全に把握していることを示します。

以下に、さまざまな_予測品質_の範囲に対する推奨事項を示します。

予測品質の範囲（%） 推奨
60 - 100 非常に良い。トップクラスの精度です。オーディエンスの定義を変更しても追加のメリットが得られる可能性は低いです。
40 - 60 良い。このモデルは正確な予測を生成しますが、さまざまなオーディエンス設定を試すことで、さらに良い結果が得られる可能性があります。
20 - 40 普通。このモデルは精度と価値を提供できますが、さまざまなオーディエンス定義を試して、パフォーマンスが向上するかどうかを確認してみてください。
0 - 20 悪い。オーディエンスの定義を変更して、もう一度やり直すことをお勧めします。

イベント相関表

この分析では、予測対象ユーザーのイベントに相関するユーザー属性や行動が表示されます。評価される属性は、年齢、国、性別、言語です。分析される行動には、セッション、購入、総支出額、カスタムイベント、過去30日間に受け取ったCampaignsやキャンバスステップなどが含まれます。

表は、そのイベントを実行する可能性が高いものが左に、低いものが右にそれぞれ分けられています。各行では、左の列の行動や属性を持つユーザーが、そのイベントを実行する可能性が高いか低いかの比率が、右の列に表示されます。この数値は、この行動または属性を持つユーザーの可能性スコアを、予測対象ユーザー全体のイベント実行の可能性で割った比率です。

このテーブルは、予測が再トレーニングされるときにのみ更新され、ユーザーの可能性スコアが更新されるときには更新されません。

トラブルシューティング

予測を作成できない

カスタムイベントの予測を作成できない場合、サンプルサイズが不足している可能性があります。Brazeはイベントを実行したユーザー数を推定しますが、十分なユーザーがイベントを実行していない場合、サンプルがモデルのトレーニングに十分なデータを提供しない可能性があります。この場合、システムはユーザーがいない状態まで外挿し、予測の作成を妨げる可能性があります。

予測を成功させるには、予測対象ユーザーのうち十分な数のユーザーが、対象のカスタムイベントを実行していることを確認してください。正確な閾値は異なりますが、ユーザー群全体で利用率が非常に低いイベントは、信頼性の高いモデルトレーニングに十分なデータを提供しない可能性があります。
New Stuff!