予測品質

モデルの精度を測定するために、予測品質指標では、履歴データでテストした場合に、この特定の機械学習モデルがどれほど効果的であるかがわかります。Braze は、モデル作成ページで指定したグループに従ってデータを取得します。モデルは 1 つのデータセット (「トレーニング」セット) でトレーニングされ、次に新しい別のデータセット (「テスト」セット) でテストされます。

予測品質の測定基準はリフト品質です。おそらく、コンバージョンなどの成功成果の増加率を比率またはパーセンテージで測定する「リフト」をご存知でしょう。この場合の成功は、解約したであろうユーザーを正しく特定できたということです。上昇率品質とは、テストセットへのメッセージで想定されるすべてのオーディエンス規模を対象に、予測によって得られる平均的な上昇率です。このアプローチは、モデルをランダムに推測するよりもどれだけ優れているかを測定します。この測定値では、0% は誰が解約するかをランダムに推測するのと変わらないことを意味し、100% は誰が解約するかを完全に把握していることを示します。

さまざまな範囲の予測品質について推奨するものは次のとおりです。

| 予測品質範囲 (%) | 推奨事項 | | ———————- | ————– | 非常に良い (60～100)精度はトップクラスです。オーディエンスの定義を変更しても、メリットをｌさらに得られる可能性はほとんどありません。 良い (40～60)このモデルでは正確な予測が生成されますが、さまざまなオーディエンス設定を試すことで、さらに正確な結果が得られる可能性があります。 普通 (20～40)このモデルでは正確で価値のある予測が提供されますが、さまざまなオーディエンス定義を試して、パフォーマンスが向上するかどうかを確認してみてください。 | 0-20 | 貧しい。オーディエンスの定義を変更して、もう一度やり直すことをお勧めします。

予測は2週間ごとに再度トレーニングされ、Prediction Quality指標とともに更新され、最新のユーザー行動パターンに基づいて予測が最新の状態に保たれます。さらに、これが発生するたびに、過去2週間の予測が実際のユーザーの結果と照合されます。その後、予測品質は（推定値ではなく）これらの実際の結果に基づいて計算されます。これは、予測が実際のシナリオで正確であることを確認するための自動バックテスト（つまり、履歴データに基づいて予測モデルをテストすること）です。この再トレーニングとバックテストが最後に行われた日時は、予測リストページと個々の予測の分析ページに表示されます。

Prediction Quality details

たとえば、ユーザーの 20% が通常平均して解約している場合に、20% のユーザーをランダムに選び、(本当にそうであるかどうかにかかわらず) ランダムに解約者としてラベル付けした場合、実際の解約者の 20% しか正しく識別できないと予想されます。それはランダムな推測です。モデルがそれだけうまくやるとしたら、この場合のリフトは1になります。

一方、このモデルでユーザーの 20% にメッセージを送ることができ、「本当の」チャーナーはすべてキャプチャされ、他のユーザーはキャプチャされなかった場合、上昇率は 100%/20% = 5になります。メッセージを送れる可能性が最も高いチャーナーのすべての割合についてこの比率をグラフ化すると、リフトカーブが得られます。

揚力品質 (および予測品質) について考えるもう 1 つの方法は、ランダム推測 (0%) から完璧 (100%) までの間に、予測のリフト曲線がテストセット上のチャーナーを識別するまでの距離です。リフト品質に関するオリジナル論文については、「データベースマーケティングにおけるリフト品質の測定」を参照してください。