パフォーマンスレポート
パフォーマンスレポートは、意思決定エージェントがコントロールグループと比較してどのようなパフォーマンスを発揮しているかを示します。このガイドでは、レポートの各セクションが何を表しているか、指標がどのように計算されるか、結果をどのように解釈するかについて説明します。
レポートの構成
パフォーマンスレポートは、ユースケースに合わせて完全にカスタマイズされたレイヤー構造で構成されます。チームと連携しながら、以下のように構築されます。
- Brazeがアクションの定義を行います（送信、クリック、購入、コンバージョンなど）。
- Brazeがそのアクションの日次測定方法を定義します（ボリューム、収益、ユニークユーザー数など）。
- Brazeが確認したいビジネス指標を定義します（コンバージョン率やユーザーあたりの収益など）。
- 時間ルールとセグメンテーションが適用されます。
- パフォーマンスタブに結果が表示されます。
ダッシュボードでは新しいデータは作成されません。定義に基づいて保存された日次結果を可視化します。
日付範囲と比較グループ
ダッシュボードの上部で、以下を選択します。
- 日付範囲: レポートの対象期間です。
- 比較グループ: 比較するグループ（Decisioning Studioと通常運用の比較など）です。
- 集計: チャートの集計設定（日次、7日間ローリング、または30日間ローリング）です。
- セグメント: 適用されたセグメントです。これらはAI意思決定サービスチームと共にカスタム設定されます。
- タイムラインイベント: 設定済みのタイムラインイベントをチャートに重ねて表示し、パフォーマンスに影響を与えた可能性のある変化やイベントを把握するかどうかを選択します。
これらの選択によって、対象となる日数、比較されるグループ、トレンドラインの平滑化方法、および表示する母集団が決まります。
集計設定を変更しても（7日間ローリングなど）、チャートの表示にのみ影響します。保存されたデータは変更されません。
日付ピッカーで直近の日付を選択できない場合、設定済みのデータ遅延により、その日付が無効になっている可能性があります。日付の選択が制限される遅延には2つのタイプがあります。
- データパイプライン遅延: 顧客データプラットフォームからDecisioning Studioにデータを取り込み、処理するまでにかかる時間です。これにより、レポートには完全で信頼性の高いデータのみが表示されます。
- レコメンデーション有効化遅延: Decisioning Studioエンジンがレコメンデーションを予測してから、キャンペーンで有効化するまでの時間です。レコメンデーションがまだ有効化されていない日はレポートに含まれません。
これらの遅延はユースケースに合わせて設定されます。ご自身のレポート対象期間について詳しく知りたい場合は、AI Success Managerにお問い合わせください。
KPIカード
レポートの左側にあるKPIカードには、ユースケース用に設定されたKPIsが表示されます。例:
- 増分LTV / 顧客
- コンバージョン / 顧客
- 購読解除 / 顧客
各カードは、選択した日付範囲全体で算出されたKPIを表します。これは全期間の値であり、日次平均ではありません。例えば、「増分LTV / 顧客 = 3.192」と表示されている場合、それは選択した期間全体のパフォーマンスを反映しています。
KPIトレンドチャート
チャートを使用して、経時的なトレンド、パフォーマンスの変化、季節性やタイミングの影響を把握できます。KPIカードを使用すると、対象期間全体にわたる全体的な影響を把握できます。中央のチャートには、上部のカードと同じKPIが日別で計算されて表示されます。各ポイントはその日のKPI値を表します。7日間のローリングが選択されている場合、各ポイントはローリング平均を反映し、日々の変動が平滑化されます。
チャートとKPIカードは異なる内容を示すように設計されています。チャートは日別のパフォーマンスを示します（「各日のパフォーマンスはどうだったか？」）。KPIカードは期間全体のパフォーマンスを示します（「対象期間全体でのパフォーマンスはどうだったか？」）。レート指標の場合、それぞれ異なる問いに答えます。
以下のコンバージョン率の例を考えてみましょう：
- 1日目：100人の顧客のうち10件のコンバージョン = 10%
- 2日目：10人の顧客のうち2件のコンバージョン = 20%
チャートでは両方が表示されます。KPIカードは両日を合算して再計算します（12件のコンバージョン / 110人の顧客 = 10.9%）。10%と20%の平均ではありません。
リフトチャート
リフトチャートは、比較グループ間のパーセンテージの差を表示します。計算式は次のとおりです：(プライマリグループ - 比較グループ) / 比較グループ。この値はKPIチャートの値に基づいてダイナミックに計算されます。
リフトは保存されません。KPIの結果から計算されます。リフトが変化した場合、それは基礎となるKPIが変化したためです。
集計テーブル
レポートの下部にあるテーブルには、選択した期間にわたる合計値が表示されます。例:
- 増分LTVの合計
- 合計顧客数
- 導出されたKPIの値
このセクションは、さまざまなビュー間の関係を補強します。
- KPIカードはウィンドウレベルの計算です。
- チャートは日次の計算です。
- テーブルはKPIを構成する基礎的な合計値を示します。
ドライバーツリー
ドライバーツリーは、KPIを構成するドライバーに分解します。例えば、顧客あたりの増分LTVは次のように分解されます:
- 顧客あたりのコンバージョン
- コンバージョンあたりの収益
ドライバーツリーは、ダッシュボードの他の部分と同じKPI定義を使用しており、新しい計算を導入するものではありません。パフォーマンスの要因を説明するのに役立ちます。KPI定義が変更されると、チャート、カード、アップリフト、ドライバーツリーのすべてが一緒に更新されます。
よくある質問
セグメントはどのように機能しますか？
セグメントを使用すると、エンゲージメントレベル、顧客特性、デバイスタイプ、その他の設定された特徴など、定義されたグループ別にパフォーマンスを分析できます。
セグメントのメンバーシップはユースケースに合わせてカスタム設定され、毎日計算されます。つまり、顧客の過去のセグメントは、その日時点の状態を反映しています。その後に行動が変化しても、過去の日付のデータは変更されません。これにより、履歴の正確性が保たれ、レポートが遡及的に変動することを防ぎます。
GoエージェントとProエージェントでパフォーマンスレポートは異なりますか？
GoユースケースのKPIsは自動的に設定・標準化されています。すべてのGoユースケースが同じターゲット指標（ユニーククリック数）を持つためです。
最近の特定の日付を選択できないのはなぜですか？
日付ピッカーで直近の日付を選択できない場合があります。これは意図的な動作です。不完全または不安定なデータが表示されるのを防ぐため、レポートには以下の制約が適用される場合があります。
- データパイプラインの遅延： 顧客データプラットフォームからデータを取り込み、処理するのに必要な時間を考慮して設定されています。これにより、特定の日のすべてのデータが完全に揃ってからレポートに表示されます。
- レコメンデーション有効化の遅延： レコメンデーションが生成されてからキャンペーンで有効化されるまでのタイムラグを考慮して設定されています。レコメンデーションがまだ有効化されていない日はレポートに表示されません。
- 明示的に除外された日付： レポート設定で手動で除外した日付です。
レポートのウィンドウやデータの利用可能性ルールについて詳しく知りたい場合は、AI Success Managerにお問い合わせください。
「ボリューム」と「レート」のKPIsの違いは何ですか？
KPIsは通常、2つのカテゴリーに分類されます。
- ボリューム指標（合計コンバージョン数、合計収益、合計クリック数など）は、「どれだけ発生したか？」に答えます。
- レート指標（コンバージョン率、ユーザーあたりの収益、クリックスルー率など）は、「どれだけ効率的に発生したか？」に答えます。
ボリュームとレートは異なるストーリーを示します。キャンペーンがより多くのボリュームを生み出しながらも効率が低い場合や、その逆の場合があります。結果を解釈する際は、どのタイプのKPIを見ているか必ず確認してください。
「ユニーク」（または「個別」）とは何を意味しますか？
指標が「ユニーク」として定義されている場合、特定の識別子（通常は顧客）を使用して個人が重複排除されます。各ユーザーは1日あたり1回のみカウントされます。
「1日あたりのユニーク」は「日付範囲全体でのユニーク」とは異なります。複数日にわたる日次ユニーク数の合計を確認する場合、同じ個人が複数回表示されることがあります（エンゲージメントがあった日ごとに1回）。これは意図的な動作です。
ユニークネスの定義方法について詳しく知りたい場合は、AI Success Managerにお問い合わせください。
このレポートが他のシステムと異なる場合があるのはなぜですか？
パフォーマンスレポートが他のダッシュボード（メールサービスプロバイダー (ESP)、分析ツール、内部BIレポートなど）と一致しない場合でも、必ずしも問題があるわけではありません。異なるシステムでは異なる定義やルールが適用されることがよくあります。一般的な理由は以下の通りです。
- アトリビューションルール： 一部の指標にはアトリビューションロジックが適用され、定義された基準を満たすアクティビティのみがカウントされます。他のシステムがアトリビューションロジックなしですべてのアクティビティをカウントしている場合、合計が異なる場合があります。
- マシンおよびボットエンゲージメントのフィルタリング： 既知のマシンまたはボットによるエンゲージメント（自動セキュリティスキャンや人間以外のクリックなど）はフィルタリングされ、パフォーマンスが実際の人間の行動を反映するようにしています。一部のプラットフォームではこれらのインタラクションを合計に含めています。
- 「ユニーク」の定義の違い： このレポートでは、ユニークネスは通常1日単位で適用されます。他のシステムではキャンペーン期間全体でユニークネスを計算する場合があります。これらは異なるビジネス上の質問であり、異なる数値を生成します。
- 日付範囲とデータ利用可能性ルール： レポートには有効化の遅延、データ利用可能性の遅延、または除外された日付が適用される場合があります。他のシステムでは、ごく最近のデータや不完全なデータが含まれ、一時的な不一致が生じることがあります。
- ボリュームとレートの違い： あるシステムでは合計ボリューム（合計コンバージョン数など）を表示し、別のシステムではレート（顧客あたりのコンバージョン数など）を表示する場合があります。同じタイプの指標を比較しているか必ず確認してください。
チャートの数値がサマリーカードと一致しないのはなぜですか？
チャートとサマリーカードは異なる質問に答えます。
- チャート： 日次パフォーマンスを表示します。各ポイントはその日のKPIを反映しています。
- サマリーカード： 期間全体のパフォーマンスを表示します。選択した日付範囲全体でKPIを再計算します。
チャートは、日々の変動、タイミングの影響、および時間の経過に伴うパフォーマンスの変化を理解するために使用します。サマリーカードは、期間全体の総合的な影響を理解するために使用します。
以下のコンバージョン率の例を考えてみましょう。
- 1日目：100人の顧客のうち10件のコンバージョン = 10%
- 2日目：10人の顧客のうち2件のコンバージョン = 20%
チャートでは1日目に10%、2日目に20%と表示されます。サマリーカードでは両日を合わせたパフォーマンスを計算します：合計110人の顧客のうち12件のコンバージョン = 10.9%。10%と20%の平均ではありません。
「ユニーク」カウントの推奨アプローチは何ですか？
ユニークな行動（ユニーククリック者やコンバーター数など）を測定する場合、ユニークネスは1日単位で適用されます。例えば：
- 1日目：クリックした顧客：A、B、C = 3ユニーク
- 2日目：クリックした顧客：B、C、D = 3ユニーク
チャートでは1日目に3、2日目に3と表示されます。両日を通して、3 + 3 = 6となります。顧客BとCは1日につき1回カウントされますが、これは意図的な動作です。
この設定は、「日をまたいでユニークな顧客エンゲージメントがいくつ発生したか？」に答えます。「期間全体で少なくとも1回エンゲージメントした個別の顧客は何人か？」には答えません。
ウィンドウレベルのユニークネス（キャンペーン全体または四半期全体でのユニーク個人数）が目的の場合、それは異なるモデリングアプローチになります。設計に関するガイダンスについては、AI Success Managerにお問い合わせください。