多変量テストと AB テストの FAQ

この記事では、Brazeでの多変量テストとABテストに関するよくある質問について説明します。

テストの基本

ABテストと多変量テストの違いは何ですか？

ABテスト

ABテストでは、マーケターがCampaign内の単一の変数（メールの件名やメッセージの送信時間など）を実験します。オーディエンスのサブセットをランダムに2つ以上のグループに分け、各グループに異なるバリエーションを提示し、どのバリエーションが最も高いコンバージョン率を示すかを観察します。通常、最もパフォーマンスの高いバリエーションがその後、残りのオーディエンスに送信されます。

多変量テスト

多変量テストはABテストの拡張版であり、マーケターが複数の変数を同時にテストして、最も効果的な組み合わせを判断できます。たとえば、メールメッセージの件名、テキストに添付する画像、CTAボタンの色をテストできます。このタイプのテストでは、単一の実験内でより多くの変数とバリエーションの組み合わせを探索でき、ABテストよりも迅速かつ包括的にインサイトを得ることができます。ただし、単一の実験内でより多くの変数と組み合わせをテストするには、統計的有意性を得るためにより大きなオーディエンスが必要です。

ABテストの結果はどのように計算されますか？

Brazeは、ピアソンのカイ二乗検定を使用してすべてのバリアントを相互に比較し、あるバリアントがp < 0.05の有意水準（95%の有意性と呼ばれるもの）で他のすべてのバリアントを統計的に上回るかどうかを測定します。この有意性の閾値を超えるすべてのバリアントの中で、最もパフォーマンスの高いバリアントが「勝者バリアント」と判定されます。

これは信頼度スコアとは別のテストです。信頼度スコアは、バリアントのパフォーマンスをコントロールと比較して0から100の数値で表すものです。具体的には、バリアントとコントロール間のコンバージョン率の標準化された差が偶然よりも有意に大きいという確信度を表します。

バリアントの分布が均等にならないのはなぜですか？

バリアントの割り当ては送信ごとにランダム化されるため、実際の分割は設定したパーセンテージと正確に一致しない場合があります。特にサンプルサイズが小さい場合に顕著です。詳細については、バリアントの分布を参照してください。

テストの実行と終了

初期テストはいつ終了しますか？

単一送信Campaignで勝者バリアントを使用する場合、テストは勝者バリアントの送信時間が到来した時点で終了します。Brazeは、統計的に有意な差で最も高いコンバージョン率を示すバリアントを勝者と判定します。

定期的なCampaign、アクションベースのCampaign、APIトリガーCampaignでは、インテリジェントセレクションを使用して、各バリアントのパフォーマンスデータを継続的に追跡し、Campaignのトラフィックをパフォーマンスの高いバリアントに継続的に最適化できます。インテリジェントセレクションでは、ユーザーがランダムなバリアントを受け取る実験グループを明示的に定義するのではなく、Brazeのアルゴリズムが最もパフォーマンスの高いバリアントの推定を継続的に改善し、トップパフォーマーのより迅速なセレクションを可能にします。

定期的なCampaignやCanvasのエントリステップでメッセージバリアントを受信したユーザーをBrazeはどのように処理しますか？

ユーザーは、Campaignを初めて受信する前に、特定のバリアントにランダムに割り当てられます。Campaignを受信するたび（またはユーザーがCanvasバリアントに再エントリするたび）、バリアントのパーセンテージが変更されない限り、同じバリアントを受信します。バリアントのパーセンテージが変更された場合、ユーザーは他のバリアントに再分配される可能性があります。ユーザーは、パーセンテージが再度変更されるまでそのバリアントに留まります。ユーザーの再分配は、編集されたバリアントに対してのみ行われます。

たとえば、3つのバリアントを持つCampaignまたはCanvasがあるとします。バリアントAとバリアントBのみが変更または更新された場合、バリアントCのバリアントパーセンテージは変更されていないため、バリアントCのユーザーは再分配されません。コントロールグループは、バリアントのパーセンテージが変更されない限り一貫性を保ちます。以前にメッセージを受信したユーザーは、後の送信でコントロールグループに入ることはできません。また、コントロールグループのユーザーがメッセージを受信することもありません。

実験パスの場合はどうなりますか？

実験に続くCanvasパスもバリアントであるため、同じことが適用されます。

CampaignやCanvasでユーザーを再分配するためのアクションを取ることはできますか？

Canvasでユーザーを再分配する唯一の方法は、実験パスのランダム化パスを使用することです。これにより、ユーザーがCanvasに再エントリするたびにパスの割り当てが常にランダム化されます。ただし、これは標準的な実験ではなく、コントロールグループがトリートメントユーザーで汚染される可能性があるため、実験結果が無効になる可能性があります。

信頼度とバイアス

信頼度は時間の経過とともに上昇しますか？

他のすべての条件が一定であれば、信頼度は時間の経過とともに上昇します。一定とは、バリアントAがテストの途中で終了する25%オフセールについて言及しているなど、バリアントに影響を与える可能性のある他のマーケティング要因がないことを意味します。

信頼度は、バリアントがコントロールと異なるというBrazeの確信度を測定するものです。より多くのメッセージが送信されると、テストの統計的検出力が増加し、パフォーマンスの測定された差がランダムな偶然によるものではないという信頼度が高まります。一般的に、サンプルサイズが大きいほど、バリアントとコントロール間のパフォーマンスの小さな差を特定する信頼度が高まります。

コントロールグループとテストグループの割り当てはテストにバイアスをもたらしますか？

特定のCampaignやCanvasの作成前のユーザーの属性や行動が、バリアントとコントロール間で体系的に異なる実用的な方法はありません。

メッセージバリアント、Canvasバリアント、またはそれぞれのコントロールグループにユーザーを割り当てるために、まずランダムに生成されたユーザーIDとランダムに生成されたCampaignまたはCanvas IDをリンクします。次に、sha256ハッシュアルゴリズムを適用し、その結果を100で割って余りを保持します（100による剰余演算とも呼ばれます）。最後に、ダッシュボードで選択したバリアント（およびオプションのコントロール）のパーセンテージ割り当てに対応するスライスにユーザーを並べます。

コントロールグループでレート制限を使用できないのはなぜですか？

Brazeは現在、コントロールグループを含むABテストでのレート制限をサポートしていません。これは、レート制限がバリアントと同じ方法でコントロールグループに適用されないため、バイアスが生じるためです。代わりに、インテリジェントセレクションの使用を検討してください。インテリジェントセレクションは、分析とCampaignのパフォーマンスに基づいて、各バリアントを受信するユーザーのパーセンテージを自動的に調整します。