Skip to content

多変量テストとABテストのFAQ

この記事では、Brazeでの多変量テストとABテストに関するよくある質問について説明します。

テストの基本

ABテストと多変量テストの違いは何ですか？

ABテスト

ABテストでは、マーケターがキャンペーン内の単一の変数（メールの件名やメッセージ送信時間など）を実験します。これは、オーディエンスのサブセットをランダムに2つ以上のグループに分け、各グループに異なるバリエーションを提示し、どのバリエーションが最も高いコンバージョン率を示すかを観察するものです。通常、最もパフォーマンスの高いバリエーションがその後、残りのオーディエンスに送信されます。

多変量テスト

多変量テストはABテストの拡張版であり、マーケターが複数の変数を同時にテストして最も効果的な組み合わせを決定できます。例えば、メールメッセージの件名、テキストに添付する画像、CTAボタンの色をテストできます。このタイプのテストでは、単一の実験内でより多くの変数とバリエーションの組み合わせを検証でき、ABテストよりも迅速かつ包括的にインサイトを得ることができます。ただし、単一の実験内でより多くの変数と組み合わせをテストするには、統計的有意性を得るためにより大きなオーディエンスが必要です。

ABテストの結果はどのように計算されますか？

Brazeはピアソンのカイ二乗検定を使用して、すべてのバリアントを互いに比較します。この検定は、あるバリアントがp < 0.05の有意水準（95%有意水準と呼ばれるもの）で他のすべてのバリアントを統計的に上回っているかどうかを測定します。この有意性の閾値を超えるすべてのバリアントの中で、最もパフォーマンスの高いバリアントが「勝者」として決定されます。

これは信頼度スコアとは別のテストです。信頼度スコアは、バリアントのパフォーマンスをコントロールと比較して0から100の数値で表すものです。具体的には、バリアントとコントロールの間のコンバージョン率の標準化された差が偶然よりも有意に大きいという確信度を表します。

バリアントの分布が均等にならないのはなぜですか？

バリアントの割り当ては送信ごとにランダム化されるため、実際の分割は設定したパーセンテージと正確に一致しない場合があります。特にサンプルサイズが小さい場合に顕著です。詳細については、バリアントの分布を参照してください。

テストの実行と結論

初期テストはいつ終了しますか？

BrazeAITMで最適化を使用する単一送信キャンペーンでは、初期テストは設定された実験期間の終了後に終わります。その後BrazeAITMが最もパフォーマンスの高いバリアントを残りのオーディエンスに送信します。

繰り返し配信、アクションベース、APIトリガーの複数回送信キャンペーンでは、BrazeAITMで最適化がバリアントのパフォーマンスを継続的に追跡し、キャンペーントラフィックをパフォーマンスの高いバリアントへシフトします。

繰り返しキャンペーンまたはキャンバスのエントリステップでメッセージバリアントを受信したユーザーは、Brazeでどのように処理されますか？

ユーザーは初めてキャンペーンを受信する前に、特定のバリアントにランダムに割り当てられます。それ以降キャンペーンを受信するたび（またはユーザーがキャンバスのバリアントに再エントリするたび）、バリアントの割合が変更されない限り同じバリアントを受信します。バリアントの割合が変更されると、ユーザーは他のバリアントに再配分される場合があります。ユーザーは割合が再度変更されるまでそのバリアントにとどまります。再配分は編集されたバリアントに対してのみ行われます。

例えば、3つのバリアントを持つキャンペーンまたはキャンバスがあるとします。バリアントAとバリアントBのみが変更または更新された場合、バリアントCのバリアント割合は変更されていないため、バリアントCのユーザーは再配分されません。コントロールグループはバリアント割合が変更されない限り一貫性を保ちます。以前にメッセージを受信したユーザーは、後の送信でコントロールグループに入ることはできません。また、コントロールグループのユーザーがメッセージを受信することもありません。

実験パスの場合はどうですか？

実験に続くキャンバスパスもバリアントであるため、同じことが当てはまります。

キャンペーンやキャンバスでユーザーを再配分するためのアクションを取ることはできますか？

キャンバスでユーザーを再配分する唯一の方法は、実験パスのランダム化パスを使用することです。これはユーザーがキャンバスに再エントリする際に常にパスの割り当てをランダム化します。ただし、これは標準的な実験ではなく、コントロールグループがトリートメントユーザーで汚染される可能性があるため、実験結果が無効になる場合があります。

信頼度とバイアス

信頼度は時間の経過とともに上がりますか？

他のすべての条件が一定であれば、信頼度は時間の経過とともに上がります。一定であるとは、テストの途中で終了する25%オフセールについてバリアントAが言及しているなど、バリアントに影響を与える可能性のある他のマーケティング要因がないことを意味します。

信頼度とは、バリアントがコントロールと異なるということにBrazeがどれだけ確信を持っているかの指標です。送信されるメッセージが増えるにつれて、テストの統計的検出力が高まり、パフォーマンスの測定された差異が偶然によるものではないという信頼度が上がります。一般的に、サンプルサイズが大きいほど、バリアントとコントロール間のパフォーマンスの小さな差異を特定する信頼度が高まります。

ただし、メッセージの送信が増えるにつれてバリアントとコントロール間のコンバージョン率が収束（近づく）した場合、信頼度は低下する可能性があります。これは、注目している測定上の差が縮小しており、それがサンプルサイズの増加による利点を上回る可能性があるためです。

コントロールグループとテストグループの割り当てにより、テストにバイアスが生じることはありますか？

特定のキャンペーンやキャンバスの作成前のユーザーの属性や行動が、バリアントとコントロール間で体系的に異なる実際的な方法はありません。

ユーザーをメッセージバリアント、キャンバスバリアント、またはそれぞれのコントロールグループに割り当てるために、まずランダムに生成されたユーザーIDとランダムに生成されたキャンペーンIDまたはキャンバスIDを結合します。次に、sha256ハッシュアルゴリズムを適用し、その結果を100で割った余り（100でのモジュラスとも呼ばれます）を取得します。最後に、ダッシュボードで選択されたバリアント（およびオプションのコントロール）のパーセンテージ割り当てに対応するスライスにユーザーを並べます。

コントロールグループでレート制限を使用できないのはなぜですか？

Brazeは現在、コントロールグループを含むABテストでのレート制限をサポートしていません。レート制限はバリアントと同じ方法ではコントロールグループに適用されないため、バイアスが生じます。代わりに、キャンペーンのパフォーマンスに基づいて各バリアントを受信するユーザーの割合を自動的に調整するBrazeAITMによる最適化の使用を検討してください。
New Stuff!