多変量テストとABテストの作成

単一チャネルをターゲットとする任意のキャンペーンに対して、多変量テストまたはABテストを作成できます。たとえば、プッシュキャンペーンで多変量テストまたはABテストを使用する場合、同じキャンペーン内でiOSデバイスとAndroidデバイスの両方をターゲットにできます。

ステップ1: キャンペーンを作成する

1. メッセージング > キャンペーン に移動します。
2. キャンペーンを作成を選択し、多変量テストと A/B テストに対応したセクションから、キャンペーンのチャネルを選択します。各メッセージングチャネルの詳細については、キャンペーンを作成するを参照してください。

ステップ 2: バリアントを作成する

メッセージのバリアントは最大 8 つまで作成でき、タイトル、コンテンツ、画像などを変えられます。メッセージ間の違いの数によって、多変量テストか AB テストかが決まります。AB テストでは 1 つの変数を変更した場合の効果を検証し、多変量テストでは 2 つ以上の変数を検証します。

バリアントの差別化を始めるためのアイデアについては、チャネル別のヒントを参照してください。

ステップ 3: キャンペーンをスケジュールする

多変量キャンペーンのスケジュール設定は、ほかの Braze キャンペーンと同じ方法で行います。標準の配信タイプはすべて利用できます。

多変量テストの開始後は、キャンペーンを変更できません。件名や HTML 本文などのパラメーターを変更すると、Braze は実験が損なわれたと判断し、直ちに実験を無効にします。

バリアントを自動的に最適化するには、BrazeAI による AB テストの最適化を参照してください。単発送信キャンペーンと複数回送信キャンペーンでは、使用される最適化の方法と要件が異なります。

ステップ4: セグメントを選択し、ユーザーをバリアントに配分する

ターゲットにするセグメントを選択し、そのメンバーを選択したバリアントと任意のコントロールグループに配分します。テストに使用するセグメントの選び方のベストプラクティスについては、セグメントの選択を参照してください。

対応しているキャンペーンでは、Optimize with BrazeAI^TM をオンにすると、バリアントの配分を自動的に最適化できます。複数回送信のキャンペーンでは、BrazeAI^TM が時間の経過とともに配分を調整します。

1回限りの送信のキャンペーンでは、Braze はオーディエンスの一部を最適化された2回目の送信のために確保します。この部分は、バリアントの配分に Holdout Group として表示されます。コントロールグループとの違いについては、ホールドアウトグループとコントロールグループの違いを参照してください。

コントロールグループ

ターゲットオーディエンスの一定の割合を、ランダム化されたコントロールグループとして確保できます。コントロールグループのユーザーはテストを受信しませんが、Braze はキャンペーンの期間中、そのコンバージョン率をモニタリングします。

結果を表示する際、バリアントのコンバージョン率を、コントロールグループから得られるベースラインのコンバージョン率と比較できます。これにより、バリアント同士の効果を比較できるだけでなく、メッセージをまったく送信しなかった場合のコンバージョン率に対するバリアントの効果も比較できます。

コントロールグループとAB テスト

AB テストでレート制限を使用する場合、レート制限はテストグループと同じようにはコントロールグループに適用されないため、時間的なバイアスが生じる可能性があります。このバイアスを避けるために、適切なコンバージョンウィンドウを使用してください。

Optimize with BrazeAI^TM を使用する場合のコントロールグループ

Optimize with BrazeAI^TM を使用した複数回送信のキャンペーンでは、コントロールグループの初期サイズはバリアントの数によって異なります。各バリアントがユーザーの20%超を受け取る場合、コントロールグループは20%から始まり、残りの80%をバリアントで均等に分割します。バリアントの数が多いほど、コントロールグループは小さいサイズから始まります。BrazeAI がパフォーマンスを分析するにつれて、コントロールグループは拡大または縮小することがあります。

ホールドアウトグループとコントロールグループの違い

Optimize with BrazeAI^TM をオンにした1回限りの送信のキャンペーンでは、ホールドアウトグループとコントロールグループはそれぞれ異なる目的を果たします。

• ホールドアウトグループ: 実験の終了後に勝者バリアントを受信します。Braze が勝者バリアントを決定できない場合、ホールドアウトグループはメッセージを受信しません。
• コントロールグループ: メッセージを受信しません。Braze はそのコンバージョン率をベースラインとして使用し、リフトを測定します。

たとえば、バリアントAが25%、バリアントBが25%、ホールドアウトグループが50%の場合、勝者バリアントが送信されるとオーディエンス全体がメッセージを受信します。10%のコントロールグループを追加すると、メッセージを受信するのはオーディエンスの最大90%になります。

ステップ5:コンバージョンイベントを指定する (オプション)

キャンペーンにコンバージョンイベントを設定すると、そのキャンペーンの受信者のうち、受信後に特定のアクションを実行した人数を確認できます。

これは、前のステップで 1次コンバージョン率を選択した場合にのみテストに影響します。詳細については、コンバージョンイベントを参照してください。

ステップ 6: 確認して開始する

確認ページで多変量キャンペーンの詳細を確認し、テストを開始しましょう。次は、テスト結果を理解する方法について学びましょう。

知っておくべきこと

実験の送信が開始された後にメッセージを編集すると、実験は無効になり、実験結果はすべて削除されます。

• 実験が想定どおりに動作するように、実験キャンペーンの開始から1時間以内はメッセージを編集しないことをおすすめします。
• 実験が完了した後にメッセージを編集した場合、実験結果はダッシュボードの分析で引き続き確認できます。ただし、キャンペーンを再開すると実験結果は削除されます。

チャネル別のヒント

選択したチャネルによって、テストできるメッセージの要素が異なります。たとえば、何をテストし、何を証明したいのかを念頭に置いてバリアントを作成してみましょう。どのような要素を変更でき、どのような効果を期待していますか? 多変量テストと AB テストで検証できる可能性は無数にありますが、まずは次の提案を参考にしてください。

チャネル	変更できるメッセージの要素	確認すべき結果
プッシュ	コピー 画像と絵文字の使用 ディープリンク 数値の表現 (たとえば、「3倍」と「200%増加」) 時間の表現 (たとえば、「深夜0時に終了」と「6時間後に終了」)	開封数 コンバージョン率
メール	件名 表示名 挨拶文 本文 画像と絵文字の使用 数値の表現 (たとえば、「3倍」と「200%増加」) 時間の表現 (たとえば、「深夜0時に終了」と「6時間後に終了」)	開封数 コンバージョン率
アプリ内メッセージ	「プッシュ」に記載されている要素 アプリ内メッセージの画像仕様	クリック数 コンバージョン率

また、テストの最適な期間もチャネルによって異なる場合があります。大半のユーザーが各チャネルでエンゲージするまでに必要な平均時間を考慮してください。

たとえば、プッシュをテストする場合、ユーザーはプッシュをすぐに確認しますが、メールは確認または開封されるまでに数日かかることもあるため、メールのテストよりも早く有意な結果が得られる可能性があります。アプリ内メッセージをテストする場合は、ユーザーがアプリを開かないとキャンペーンを確認できないことに留意してください。そのため、最もアクティブにアプリを開くユーザーと一般的なユーザーの両方から結果を収集できるよう、より長く待つ必要があります。

テストをどのくらいの期間実行すべきかわからない場合は、BrazeAI^TM による最適化を使用すると、最適化を自動的に設定して実行できます。

セグメントの選択

ユーザーのセグメントによってメッセージングへの反応は異なる可能性があるため、特定のメッセージの成果は、メッセージそのものとターゲットセグメントの両方を反映しています。そのため、ターゲットセグメントを念頭に置いてテストを設計するようにしてください。

たとえば、アクティブユーザーは「このお得な情報は明日で終了!」と「このお得な情報は24時間後に終了!」に同程度の反応を示すかもしれませんが、1週間アプリを開いていないユーザーは、より強い緊急性を感じさせる後者の表現により反応する可能性があります。

さらに、テストを実行するセグメントを選択する際は、そのセグメントのサイズがテストに十分な大きさであるかどうかを必ず検討してください。一般に、バリアントの数が多い多変量テストや AB テストでは、統計的に有意な結果を得るためにより大きなテストグループが必要です。これは、バリアントが多いほど、個々のバリアントを確認するユーザーが少なくなるためです。

バイアスとランダム化

コントロールグループとテストグループの割り当てについてよくある質問は、それによってテストにバイアスが生じる可能性があるかどうかです。また、これらの割り当てが本当にランダムであるとどうやってわかるのか、という疑問を持たれることもあります。

ユーザーは、(ランダムに生成された) ユーザー ID と (ランダムに生成された) キャンペーン ID またはキャンバス ID を連結し、その値を100で割った剰余を求め、ダッシュボードで選択したバリアントと任意のコントロールの割合に対応するスライスにユーザーを振り分けることで、メッセージバリアント、キャンバスバリアント、またはそれぞれのコントロールグループに割り当てられます。そのため、特定のキャンペーンやキャンバスを作成する前のユーザーの行動が、バリアントとコントロールの間で体系的に異なることは実質的にありえません。また、この実装以上にランダムに (より正確には擬似ランダムに) することも現実的ではありません。

避けるべき間違い

オーディエンスが正しくフィルタリングされていないと、メッセージングチャネルに起因する差異があるように見えてしまうことがあります。こうしたよくある間違いを避けてください。

たとえば、コントロールを設定して幅広いオーディエンスにプッシュメッセージを送信する場合、テストグループはプッシュトークンを持つユーザーにのみメッセージを送信します。一方、コントロールグループにはプッシュトークンを持つユーザーと持たないユーザーの両方が含まれます。この場合、キャンペーンまたはキャンバスの初期オーディエンスで、プッシュトークンを持っていること (Foreground Push Enabled が true) をフィルター条件にする必要があります。他のチャネルでメッセージを受信する資格についても同様に、オプトイン済み、プッシュトークンあり、または購読済みでフィルタリングする必要があります。

コントロールバリアントにキャンバスステップが含まれていない場合、コントロールバリアントのユーザーについてはイグジット基準のイベントが記録されないことに注意してください。