多変量分析と AB テスト分析

この記事では、多変量テストまたは AB テストの結果を表示する方法について説明します。テストをまだ設定していない場合は、ステップについては「多変量テストと AB テストの作成」を参照してください。

キャンペーンが開始されたら、ダッシュボードの [キャンペーン] セクションからキャンペーンを選択して、各バリアントのパフォーマンスを確認できます。

最適化オプションによる分析

アナリティクスビューは、初期設定時に最適化を選択したかどうかによって異なります。

最適化なし

キャンペーンの設定時に [最適化なし] を選択した場合、アナリティクスの表示は変わりません。キャンペーンの [キャンペーン分析] ページには、コントロールグループ (コントロールグループが含まれている場合) に対するバリアントのパフォーマンスが表示されます。

詳細については、メッセージングチャネルのキャンペーン分析記事を参照してください。

勝者バリアント

キャンペーンの設定時に最適化対象として勝者バリアントを選択した場合は、キャンペーン分析の AB テスト結果] という別のタブにアクセスできます。勝者バリアントがテストの残りのユーザーに送信されると、このタブにはその送信の結果が表示されます。

A/Bテスト結果は2つのタブに分かれている：[最初のテスト] と [勝者バリアント]。

• 初回テスト
• 勝者バリアント

AB テスト送信を含むキャンペーン全体での勝者バリアントのパフォーマンスを確認したい場合は、キャンペーン分析ページを確認してください。

パーソナライズされたバリアント

キャンペーンを設定する際に、最適化のためにパーソナライズド・バリアントを選択した場合、A/Bテスト結果は2つのタブに分けられる：初期テストと パーソナライズド・バリアント。

• 初回テスト
• パーソナライズされたバリアント

信頼度について理解する

信頼度とは、コンバージョン率などのデータの違いが、単なる偶然によるものではなく、現実のものであることをどれだけ確信しているかを示す統計的尺度です。

結果で重要なのは、結果の信頼度です。たとえば、コントロールグループのコンバージョン率が20% で、バリアント A のコンバージョン率が 25% だったらどうなるでしょうか。これは、メッセージを送信しないよりもバリアント A を送信する方が効果的であることを示しているようです。信頼度が95% であれば、2 つのコンバージョン率の差はユーザーの反応の実際の違いによるものである可能性が高く、その差が偶然に生じた可能性は5% に過ぎないということです。

Brazeは、Zテストと呼ばれる統計的手法を使用して、各バリアントのコンバージョン率をコントロールのコンバージョン率と比較します。前の例のように、信頼度が 95% 以上の結果は、その差が統計的に有意であることを示します。これは、Braze ダッシュボードに2つのメッセージまたはユーザー集団の違いを示す信頼度指標が表示されている場合はどこにでも当てはまります。

一般に、結果がユーザーの実際の好みを反映したものであり、偶然によるものではないことを示すには、少なくとも95% の信頼度が必要です。厳密な科学的テストでは、統計的有意性を判断するために使用される一般的なベンチマークは、95% の信頼度 (つまり「p」値が0.05未満) です。95% の信頼度を継続的に達成できない場合は、サンプルサイズを増やすか、バリアントの数を減らしてみてください。

信頼度というのは、あるバリアントが他のバリアントより優れているかどうかを表すものではありません。これは純粋に、2つまたはそれ以上) のコンバージョン率が実際には互いに異なることをどれだけ確信しているかを示すものです。これは、サンプルサイズと見かけ上のコンバージョン率の差の関数にすぎません。全体のレートが高いか低いかは、信頼度測定の強さには影響しません。あるバリアントのコンバージョン率が別のバリアントと大きく異なるにもかかわらず、95%以上の信頼度が得られない場合があります。また、2つのバリアントのセットのコンバージョン率/上昇率が似ていても、信頼度が異なる場合もあります。

統計的に有意でない結果

95%の信頼度がないテストでも、重要なインサイトが得られる可能性があります。統計的に有意ではない結果が出たテストから学べるいくつかのことを次に示します。

• すべてのバリアントがほぼ同じ効果をもたらした可能性があります。これを知っていれば、これらの変更に費やす時間を節約できます。行動喚起を繰り返すなどの従来のマーケティング戦術が、必ずしもオーディエンスに効果的ではないことに気づくかもしれません。
• 結果は偶然によるものかもしれませんが、次のテストの仮説に役立つ可能性があります。複数のバリアントでほぼ同じ結果が得られた場合は、そのうちのいくつかを新しいバリアントと一緒に再度実行して、より効果的な代替案が見つかるかどうかを確認してください。あるバリアントの方が良い結果を出したが、その差がそれほど大きくない場合は、このバリアントの差をさらに大きくした別のテストを実行できます。
• テストを続けてください！結果が有意でないテストでは、特定の疑問が生じるはずです。バリアントの間に本当に違いはありませんでしたか?テストを別の方法で構成すべきでしたか？フォローアップテストを実行することで、これらの質問に答えることができます。
• テストは、どのタイプのメッセージングがオーディエンスから最も多くの反応を得ているかを発見するのに役立ちますが、メッセージングのどの変更が無視できる効果しかないかを理解することも重要です。これにより、別のより効果的な代替案のテストを続けることも、2つの代替メッセージのどちらを選ぶかを決めるために費やしていた時間を節約することもできます。

テストに明確な勝者がいるかどうかに関係なく、フォローアップテストを実行して結果を確認したり、結果を少し異なるシナリオに適用したりすると役立つ場合があります。

おすすめのフォローアップ

1つの多変量テストと AB テストは、今後のテストのアイデアを刺激し、メッセージング戦略の変更に導くことができます (また、そうあるべきです!) 。可能なフォローアップアクションには以下が含まれます。

テスト結果に基づいてメッセージング戦略を変更

多変量テストの結果から、メッセージの表現方法や形式を変更することができます。

ユーザーを把握する方法を変更する

各テストでは、ユーザーの行動、さまざまなメッセージングチャネルに対するユーザーの反応、およびセグメント間の相違点 (および類似点) が明らかになります。

今後のテストの構成方法を改善する

サンプルサイズが小さすぎましたか？バリアント間の違いが微妙でしたか？各テストは、今後のテストを改善する方法を学ぶ機会となります。信頼度が低い場合は、サンプルサイズが小さすぎるため、今後のテストに備えて拡大する必要があります。バリアントのパフォーマンスに明確な違いが見つからない場合は、その違いが微妙すぎてユーザーの反応に目立った影響を与えなかった可能性があります。

サンプルサイズを大きくしてフォローアップテストを実行する

サンプルが大きいほど、バリアント間の小さな違いを検出できる可能性が高くなります。

別のメッセージングチャネルを使用してフォローアップテストを実行する

あるチャネルで特定の戦略が非常に効果的であることがわかった場合は、その戦略を他のチャネルでテストすることをお勧めします。あるタイプのメッセージが、あるチャネルでは有効であるが、別のチャネルでは効果がない場合、特定のチャネルが特定のタイプのメッセージに対してより役立つと結論付けることができる場合があります。あるいは、プッシュ通知を有効にする傾向が高いユーザーと、アプリ内メッセージに注意を払う傾向が高いユーザーとの間には違いがあるかもしれません。最終的には、この種のテストを実施することで、オーディエンスがさまざまなコミュニケーションチャネルとどのようにやりとりしているかを知ることができます。

別のユーザーセグメントでフォローアップテストを実行する

そのためには、同じメッセージングチャネルとバリアントを使用して別のテストを作成しますが、ユーザーセグメントは異なるものを選択します。たとえば、あるタイプのメッセージングが熱心なユーザーに非常に効果的だった場合、離脱したユーザーへの影響を調査すると役立つ場合があります。離脱したユーザーも同様の反応を示す可能性もあれば、他のバリアントのいずれかを好む可能性もあります。このテストは、さまざまなセグメントと、それらがさまざまなタイプのメッセージにどのように応答するかについて詳しく知るのに役立ちます。データに基づいて戦略を立てることができるのに、なぜセグメントについて仮定を立てるのでしょうか？

前回のテストで得たインサイトに基づいてフォローアップテストを実行する

過去のテストから収集したインサイトを今後のテストの指針として活用してください。以前のテストでは、あるメッセージング手法の方が効果的であることが示唆されていますか？バリアントのどの特定の側面がそれを改善したのか不明ですか?これらの質問に基づいてフォローアップテストを実施すると、ユーザーに関するインサイトに満ちた調査結果を得るのに役立ちます。

さまざまなバリアントの長期的な影響を比較する

リエンゲージメントメッセージを AB テストする場合は、リテンションレポートを使用してさまざまなバリアントの長期的な影響を比較することを忘れないでください。リテンションレポートを使用すると、メッセージを受信してから数日、数週間、1か月後に各バリアントがユーザーの行動にどのように影響したかを分析し、上昇が見られるかどうかを確認できます。