多変量テストとABテストの分析
この記事では、多変量テストまたはABテストの結果を表示する方法について説明します。テストをまだ設定していない場合は、多変量テストとABテストの作成の手順を参照してください。
キャンペーンを起動した後、ダッシュボードのキャンペーンセクションからキャンペーンを選択して、各バリアントのパフォーマンスを確認できます。
最適化オプション別の分析
分析ビューは、初期設定時に最適化を選択したかどうかによって異なります。
手動バリアント配分
BrazeAITMで最適化がオフの場合、キャンペーン分析ページには、コントロールグループを含めた場合、コントロールグループに対する各バリアントのパフォーマンスが表示されます。
詳細については、メッセージングチャネルのキャンペーン分析の記事を参照してください。
BrazeAITMで最適化
BrazeAITMで最適化を使用する場合、キャンペーン概要には、単回送信キャンペーンでは実験ウィンドウ後の、複数回送信キャンペーンでは最初の最適化期間後のアップリフトが表示されます。単回送信キャンペーンでは、初期テストと最もパフォーマンスの高いバリアントの詳細も表示されます。
詳細については、BrazeAIによるABテストの最適化を参照してください。
単回送信最適化
BrazeAITMで最適化を使用した単回送信キャンペーンの場合、ABテスト結果タブに初期テストと最適化された送信の結果が表示されます。
ABテスト結果は、初期テストと勝者バリアントの2つのタブに分かれています。
初期テストタブには、ターゲットセグメントの一部に送信された初期ABテストの各バリアントの指標が表示されます。すべてのバリアントのパフォーマンスの概要と、テスト中に勝者が出たかどうかを確認できます。
あるバリアントが95%の信頼度で他のすべてのバリアントを上回った場合、Brazeはそのバリアントに「勝者」ラベルを付けます。
95%の信頼度で他のすべてのバリアントを上回るバリアントがなく、それでも最もパフォーマンスの高いバリアントを送信することを選択した場合、最もパフォーマンスの高いバリアントが送信され、「勝者」ラベルが表示されます。
勝者バリアントの選定方法
Brazeは、ピアソンのカイ二乗検定を使用して、すべてのバリアントを互いにテストします。これは、あるバリアントがp < 0.05の有意水準（95%の有意性と呼ばれるもの）で統計的に他のすべてのバリアントを上回っているかどうかを測定します。上回っている場合、勝者バリアントに「勝者」ラベルが表示されます。
これは信頼度スコアとは別のテストです。信頼度スコアは、バリアントのパフォーマンスをコントロールグループと比較して0～100%の数値で表したものです。
バリアントがコントロールグループよりも優れたパフォーマンスを示しても、カイ二乗検定はあるバリアントが他のすべてのバリアントよりも優れているかどうかを検証します。フォローアップテストにより、より詳細な情報が得られる場合があります。
勝者バリアントタブには、2回目の送信の結果が表示されます。2回目の送信では、残りの各ユーザーに初期テストで最もパフォーマンスの高かったバリアントが送信されました。オーディエンス%は、勝者バリアントグループに割り当てたターゲットセグメントの割合の合計になります。
ABテスト送信を含むキャンペーン全体を通じた勝者バリアントのパフォーマンスを確認したい場合は、キャンペーン分析ページを確認してください。
既存のパーソナライズされたバリアントキャンペーン
パーソナライズされたバリアントは、新しいキャンペーンでは利用できません。この最適化を使用する既存のキャンペーンの場合、ABテスト結果は初期テストとパーソナライズされたバリアントの2つのタブに分かれています。
初期テストタブには、ターゲットセグメントの一部に送信された初期ABテストの各バリアントの指標が表示されます。
デフォルトでは、テストは各ユーザーのカスタムイベントとメッセージバリアントの好みとの関連を検索します。この分析により、カスタムイベントが特定のメッセージバリアントへの反応の可能性を高めるか低めるかを検出します。これらの関係性は、最終送信でどのユーザーにどのメッセージバリアントを送信するかを決定するために使用されます。
カスタムイベントとメッセージの好みの関係性は、初期送信タブのテーブルに表示されます。
テストでカスタムイベントとパスの好みとの間に意味のある関係が見つからない場合、テストはセッションベースの分析方法にフォールバックし、カスタムイベントデータテーブルは表示されません。
フォールバック分析方法
セッションベースの分析方法
フォールバック方法がパーソナライズされたバリアントの決定に使用される場合、初期テストタブには、特定の特性の組み合わせに基づくユーザーの好みのバリアントの内訳が表示されます。
これらの特性は以下のとおりです。
- 最新性: 最後にセッションを持ったのはいつか
- 頻度: どのくらいの頻度でセッションを持つか
- 在籍期間: ユーザーになってからどのくらい経つか
例えば、テストでほとんどのユーザーがバリアントAを好むが、約3〜12日前にセッションを持ち、セッション間隔が1〜12日で、過去67〜577日以内に作成されたユーザーはバリアントBを好む傾向があることがわかる場合があります。そのため、そのサブポピュレーションのユーザーには2回目の送信でバリアントBが送信され、残りのユーザーにはバリアントAが送信されます。
パーソナライズされたバリアントの選定方法
この方法では、個々のユーザーに推奨されるメッセージは、そのユーザー固有の最新性、頻度、在籍期間の影響の合計です。最新性、頻度、在籍期間は、ユーザー特性テーブルに示されているように、バケットに分割されます。各バケットの時間範囲は、各キャンペーンのユーザーのデータによって決定され、キャンペーンごとに変わります。
各バケットは、各メッセージバリアントに対して異なる寄与または「プッシュ」を持つことができます。各バケットのプッシュの強さは、ロジスティック回帰を使用して初期送信でのユーザーの反応から決定されます。このテーブルは、各バケットのユーザーがどのバリアントにエンゲージする傾向があったかを示すことで、結果のみを要約しています。個々のユーザーの実際のパーソナライズされたバリアントは、各特性に1つずつ、合計3つのバケットの影響の合計によって決まります。
パーソナライズされたバリアントタブには、2回目の送信の結果が表示されます。2回目の送信では、残りの各ユーザーに最もエンゲージする可能性が高いバリアントが送信されました。
このページの3つのカードには、予測アップリフト、全体的な結果、および勝者バリアントのみを送信した場合の予測結果が表示されます。アップリフトがない場合（時々起こることがあります）でも、結果は勝者バリアントのみを送信した場合（従来のABテスト）と同じです。
- 予測アップリフト: 標準的なABテスト（残りのユーザーが勝者バリアントのみを受信した場合）の代わりにパーソナライズされたバリアントを使用したことによる、選択した最適化指標の改善度。
- 全体的な結果: 選択した最適化指標（ユニーク開封数、ユニーククリック数、または1次コンバージョンイベント）に基づく2回目の送信の結果。
- 予測結果: 勝者バリアントのみを送信した場合の、選択した最適化指標に基づく2回目の送信の予測結果。
このページのテーブルには、パーソナライズされたバリアント送信の各バリアントの指標が表示されます。オーディエンス%は、パーソナライズされたバリアントグループに割り当てたターゲットセグメントの割合の合計になります。
信頼度について
信頼度とは、コンバージョン率などのデータの差異が実際のものであり、単なるランダムな偶然によるものではないことをどの程度確信できるかを示す統計的尺度です。
結果に信頼度が表示されませんか？信頼度は、コントロールグループがある場合にのみ表示されます。
結果の重要な部分は、結果の信頼度です。たとえば、コントロールグループのコンバージョン率が20%で、バリアントAのコンバージョン率が25%だった場合はどうでしょうか？これは、バリアントAを送信する方がメッセージを送信しないよりも効果的であることを示しているように見えます。95%の信頼度があるということは、2つのコンバージョン率の差がユーザーの反応の実際の違いによるものである可能性が高く、偶然によって差が生じた可能性はわずか5%であることを意味します。
Brazeは、各バリアントのコンバージョン率をコントロールのコンバージョン率と、非プール型の二標本比率Z検定を使用して比較します。「非プール型」とは、Brazeが両方のグループを1つのプール率にまとめるのではなく、各グループ（バリアントとコントロール）の分散をそのグループ自身のコンバージョン率とサンプルサイズから個別に推定することを意味します。
得られたZスコアは両側p値に変換され、信頼度は（1 − p値）× 100として報告されます。前述の例のように、95%以上の信頼度の結果は、その差が統計的に意味があることを示しています。これは、Brazeダッシュボードで2つのメッセージまたはユーザー集団の差を表す信頼度指標が表示されるすべての場所に当てはまります。
Brazeの外部でプール型Z検定を使用して有意性を計算した場合、特に小規模なサンプルや低いコンバージョン率の場合に、ダッシュボードに表示される信頼度と結果が異なることがあります。Brazeの信頼度の値を再現するには、両側p値を用いた非プール型の二標本比率Z検定を使用してください。
Brazeは以下の数式で信頼度を計算します。
SE_control = sqrt(p_c × (1 − p_c) / n_c)
SE_variant = sqrt(p_v × (1 − p_v) / n_v)
z = (p_v − p_c) / sqrt(SE_control² + SE_variant²)
p_value = 2 × (1 − Φ(|z|))
confidence = (1 − p_value) × 100
一般的に、結果がユーザーの実際の好みを反映しており、偶然によるものではないことを示すには、少なくとも95%の信頼度が必要です。厳密な科学的テストでは、95%の信頼度（一般的に「p」値が0.05未満と呼ばれるもの）が統計的有意性を判断するための一般的な基準として使用されます。95%の信頼度を継続的に達成できない場合は、サンプルサイズを増やすか、バリアントの数を減らしてみてください。
信頼度は、バリアントとコントロールのコンバージョン率の間に観察された差が、ランダムな偶然ではなく実際のものである可能性がどの程度高いかを反映しています。これはサンプルサイズとコンバージョン率の差の大きさの関数です。全体的なコンバージョン率が高いか低いかは、通常、観察された差とサンプルサイズほど信頼度の強さの判定には重要ではありません。あるバリアントが別のバリアントと非常に異なるコンバージョン率を持っていても、95%以上の信頼度がない場合があります。また、2つのバリアントセットが類似のコンバージョン率やリフト率を持っていても、信頼度が異なる場合もあります。
より多くのデータが到着すると、バリアントとコントロールのコンバージョン率が近づいた場合に信頼度が低下することがあります。測定している差が小さくなり、サンプルサイズが大きくなる効果を上回る場合があるためです。
統計的に有意でない結果
95%の信頼度がないテストでも、重要なインサイトを含んでいる場合があります。統計的に有意でない結果のテストから学べることをいくつか紹介します。
- すべてのバリアントがほぼ同じ効果を持っていた可能性があります。これを知ることで、これらの変更を行うために費やしたであろう時間を節約できます。行動喚起を繰り返すなどの従来のマーケティング手法が、必ずしもオーディエンスに効果的ではないことがわかる場合もあります。
- 結果が偶然によるものであった可能性がありますが、次のテストの仮説を立てるのに役立ちます。複数のバリアントがほぼ同じ結果を示しているように見える場合は、それらのいくつかを新しいバリアントと一緒に再度実行して、より効果的な代替案を見つけられるかどうかを確認してください。あるバリアントがわずかに優れているが有意な差ではない場合は、そのバリアントの差がより顕著になるように別のテストを実行できます。
- テストを続けましょう！有意でない結果のテストは、特定の疑問につながるはずです。バリアント間に本当に差がなかったのでしょうか？テストの構成を変えるべきだったのでしょうか？フォローアップテストを実行することで、これらの疑問に答えることができます。
- テストは、オーディエンスから最も反応を得られるメッセージの種類を発見するのに役立ちますが、メッセージングのどの変更がわずかな効果しかないかを理解することも重要です。これにより、より効果的な代替案を引き続きテストするか、2つの代替メッセージの間で決定するために費やしたであろう時間を節約できます。
テストに明確な勝者がいるかどうかにかかわらず、結果を確認したり、少し異なるシナリオに発見を適用したりするために、フォローアップテストを実行することが役立つ場合があります。
コントロールグループとバリアントの不一致
ABテストまたは多変量分割を含むアプリ内メッセージキャンペーンでは、設定した割合は割り当てターゲットです。レポートされるインプレッションがこれらの割合と正確に一致することはほとんどありません。これは、トリガーアクションを実行したユーザーのみがインプレッションを記録し、コントロールグループのユーザーはトリガーを実行するとメッセージを表示しなくてもインプレッションが記録されるためです。
たとえば、キャンペーンの起動時にターゲットオーディエンスが200ユーザーで、コントロールグループに100ユーザー、バリアントに100ユーザーがいるとします。
バリアントの100ユーザーはアプリ内メッセージのペイロードを受信し、そのうち50人がトリガーアクションを実行してアプリ内メッセージを表示します。コントロールグループの100ユーザーは、キャンペーンのトリガーアクションを実行した場合にのみトラッキングされ、75人がトリガーアクションを実行してインプレッションを記録しますが、アプリ内メッセージは表示されません。
最初の50/50の分割にもかかわらず、記録されたユニークインプレッションはバランスが取れていません。バリアントグループには50インプレッション、コントロールグループには75インプレッションがあります。
また、大きな画像やテンプレート化されたConnected Contentなど、レンダリング時間が長いバリアントメッセージは、ユーザーがメッセージをトリガーしたがレンダリングが完了する前に離脱した場合、コントロールグループよりもインプレッションが少なくなることがあります。
アプリ内メッセージの遅延
表示遅延を含むトリガーされたアプリ内メッセージキャンペーンの場合、コントロールグループのインプレッションは、エンドユーザーが本来アプリ内メッセージを受信するはずだったタイミングで記録されます。たとえば、キャンペーンが表示を1時間遅延するように設定されている場合、コントロールグループのインプレッションは1時間の遅延が経過するまで記録されません。これにより、メッセージ配信の意図されたタイミングに関連するインプレッションの正確なトラッキングが可能になります。
ローンチ後のメッセージバリアントの削除
コンポーザーの X をクリックしてキャンペーンやキャンバスからメッセージバリアントを削除した場合（たとえばテンプレートからのメッセージを差し替える場合）、そのバリアントは削除済みとしてマークされます。分析データは各バリアントの固有IDに紐づいているため、バリアントの削除はレポートに影響します。
- 削除されたバリアントの既存の分析データ（開封、クリック、コンバージョンなど）は、現在のキャンペーンやキャンバスステップの分析に表示されなくなります。
- バリアントレベルの内訳には、削除されたバリアントは含まれません。代わりのバリアントを追加した場合、そのバリアントには新しいバリアントIDが割り当てられ、過去の統計がない状態で開始されるため、指標が0と表示されることがあります。
これはバリアントを削除して再追加した場合にのみ適用されます。既存のバリアントのコンテンツをそのまま編集した場合、過去の分析データには影響しません。
レポートにおける削除されたバリアントの詳細については、削除されたメッセージバリアントを参照してください。
推奨されるフォローアップ
1回の多変量テストとABテストは、将来のテストのアイデアを刺激し（そうすべきです！）、メッセージング戦略の変更を導くことができます。考えられるフォローアップアクションには以下が含まれます。
テスト結果に基づいてメッセージング戦略を変更する
多変量テストの結果により、メッセージの文言やフォーマットの方法を変更することになる場合があります。
ユーザーの理解方法を変更する
各テストは、ユーザーの行動、ユーザーがさまざまなメッセージングチャネルにどのように反応するか、セグメント間の違い（および類似点）を明らかにします。
将来のテストの構成方法を改善する
サンプルサイズが小さすぎましたか？バリアント間の差が微妙すぎましたか？各テストは、将来のテストを改善する方法を学ぶ機会を提供します。信頼度が低い場合は、サンプルサイズが小さすぎるため、将来のテストでは拡大する必要があります。バリアントのパフォーマンスに明確な差が見られない場合は、差が微妙すぎてユーザーの反応に識別可能な効果を与えられなかった可能性があります。
より大きなサンプルサイズでフォローアップテストを実行する
サンプルが大きいほど、バリアント間の小さな差を検出できる可能性が高くなります。
異なるメッセージングチャネルを使用してフォローアップテストを実行する
特定の戦略があるチャネルで非常に効果的であることがわかった場合、その戦略を他のチャネルでもテストしたいと思うかもしれません。あるタイプのメッセージがあるチャネルでは効果的だが別のチャネルでは効果的でない場合、特定のタイプのメッセージに対してより適したチャネルがあると結論付けることができるかもしれません。あるいは、プッシュ通知を有効にする可能性が高いユーザーとアプリ内メッセージに注意を払う可能性が高いユーザーとの間に違いがあるかもしれません。最終的に、この種のテストを実行することで、オーディエンスがさまざまなコミュニケーションチャネルとどのようにやり取りするかを学ぶのに役立ちます。
異なるユーザーセグメントでフォローアップテストを実行する
これを行うには、同じメッセージングチャネルとバリアントで別のテストを作成しますが、異なるユーザーセグメントを選択します。たとえば、あるタイプのメッセージングがエンゲージメントの高いユーザーに非常に効果的だった場合、休眠ユーザーへの効果を調査することが有用かもしれません。休眠ユーザーが同様に反応する可能性もあれば、他のバリアントのいずれかを好む可能性もあります。このテストは、さまざまなセグメントとそれらがさまざまなタイプのメッセージにどのように反応するかについて、より多くのことを学ぶのに役立ちます。データに基づいて戦略を立てることができるのに、セグメントについて仮定を立てる必要はありません。
以前のテストからのインサイトに基づいてフォローアップテストを実行する
過去のテストから得たインサイトを使用して、将来のテストを導きましょう。以前のテストで、あるメッセージング手法がより効果的であることが示唆されていますか？バリアントのどの特定の側面がより優れていたのか確信が持てませんか？これらの疑問に基づいてフォローアップテストを実行することで、ユーザーに関する洞察に富んだ発見を生み出すのに役立ちます。
異なるバリアントの長期的な影響を比較する
再エンゲージメントメッセージのABテストを行っている場合は、リテンションレポートを使用して、異なるバリアントの長期的な影響を比較することを忘れないでください。リテンションレポートを使用して、メッセージ受信後の数日、数週間、1か月後に、各バリアントが選択したユーザー行動にどのような影響を与えたかを分析し、リフトがあるかどうかを確認できます。