多変量テストと AB テストの作成

多変量テストや AB テストは、単一チャネルをターゲットとするキャンペーンならどれでも作成できます。

ステップ 1: キャンペーンを作成

[キャンペーンを作成] をクリックし、多変量テストと AB テストを許可するセクションからキャンペーンのチャネルを選択します。各メッセージングチャネルの詳細なドキュメントについては、「キャンペーンの作成」を参照してください。

ステップ 2: バリアントを作成

タイトル、コンテンツ、画像などを区別して、メッセージのバリアントを最大8つ作成できます。メッセージ間の差の数によって、これが多変量テストかA/Bテストかが決まる。A/Bテストは1つの変数を変更した場合の効果を検証するのに対し、多変量テストは2つ以上の変数を検証する。

バリアントの区別を始めるためのアイデアについては、「さまざまなチャネル向けのヒント」を参照してください。

ステップ 3: キャンペーンをスケジュールする

多変量キャンペーンのスケジュール設定は、他の Braze キャンペーンのスケジュール設定と同じように機能します。すべての標準配信タイプを使用できます。

多変量テストの開始後に、キャンペーンの変更はできません。件名やHTML本文などのパラメータを変更した場合、Brazeはその実験を危険とみなし、即座に実験を無効にする。

ステップ 4: セグメントを選択し、さまざまなバリアントにユーザーを分配する

ターゲットとするセグメントを選択し、そのメンバーを選択したバリアントとオプションのコントロールグループに分配します。テストするセグメントの選択に関するベストプラクティスについては、「セグメントの選択」を参照してください。

プッシュキャンペーン、メールキャンペーン、Webhook キャンペーンを1回送信するようにスケジュールしている場合は、最適化を使用することもできます。これにより、ターゲットオーディエンスの一部を AB テストから確保し、最初のテスト結果に基づいて最適化された2回目の送信のために保持します。

コントロールグループ

ターゲットオーディエンスの特定の割合をランダム化されたコントロールグループのために予約できます。コントロールグループのユーザーはテストを受けませんが、Braze はキャンペーン期間中のコンバージョン率を監視します。

結果を表示すると、バリアントのコンバージョン率をコントロールグループから提供されたベースラインコンバージョン率と比較できます。これにより、バリアントの効果と、メッセージをまったく送信しなかった場合に発生するコンバージョン率に対するバリアントの効果の両方を比較できます。

AB テストのコントロールグループ

AB テストでレート制限を使用する場合、コントロールグループには、テストグループにレート制限を適用するものと同様な方法は適用されません。これは、時間バイアスの潜在的な原因です。このバイアスを避けるために、適切な変換ウィンドウを使用する。

インテリジェントセレクションを使用するコントロールグループ

インテリジェントセレクションを使用するキャンペーンのコントロールグループのサイズは、バリアントの数に基づいています。各バリアントが20% を超えるユーザーに送信された場合、コントロールグループは20% になり、バリアントは残りの80% に均等に分割されます。ただし、十分な数のバリアントがあり、各バリアントがユーザーの20% 未満に送信される場合は、コントロールグループを小さくする必要があります。インテリジェントセレクションがテストのパフォーマンスの分析を開始すると、その結果に基づいてコントロールグループが拡大または縮小します。

ステップ5: コンバージョンイベントの指定 (オプション)

キャンペーンにコンバージョンイベントを設定すると、キャンペーンを受信した後に特定のアクションを実行した受信者の数を確認できます。

これは、前のステップで [1次コンバージョン率] を選択した場合にのみテストに影響します。詳しくは、「コンバージョンイベント」を参照してください。

ステップ6: レビューと開始

確認ページで、多変量キャンペーンの詳細を確認して、テストを開始してください。次に、テスト結果を理解する方法を学びます。

知っておくべきこと

さまざまなチャンネル向けのヒント

選択したチャンネルに応じて、メッセージのさまざまなコンポーネントをテストできます。何をテストしたいのか、何を証明したいのかを考えてバリアントを作成してみてください。

どのような手段を講じる必要があり、どのような効果が期待できますか。多変量テストと AB テストを使用して調査できる可能性は無数にありますが、始めるための提案をいくつかご紹介します。

Channel	あなたが変えられるメッセージの側面	注目すべき結果
プッシュ	コピー 画像と絵文字の使い方 ディープリンク 数値の表示 (たとえば、「3倍」と「200％増加」) 時間の表示 (例えば、「午前 0 時に終了」と「6 時間後に終了」)。	開封数 コンバージョン率
メール	件名 表示名 あいさつ 本文のコピー 画像と絵文字の使い方 数値の表示 (たとえば、「3倍」と「200％増加」) 時間の表示 (例えば、「午前 0 時に終了」と「6 時間後に終了」)。	開封数 コンバージョン率
アプリ内メッセージ	“プッシュ “にリストアップされたアスペクト メッセージの形式	クリック コンバージョン率

さらに、テストの理想的な長さもチャネルによって異なる場合があります。ほとんどのユーザーが各チャネルと関わるのに要する平均時間を覚えておいてください。

たとえば、プッシュをテストする場合、ユーザーにはプッシュがすぐに表示されるため、メールをテストする場合よりも早く大きな結果が得られる可能性がありますが、メールが表示または開封されるまでには数日かかる場合があります。アプリ内ッセージをテストする場合、ユーザーはキャンペーンを見るにはアプリを開かなければならないことを覚えておいてください。そのため、最もアクティブなアプリを開くユーザーと一般的なユーザーの両方から結果を収集するには、より長く待機する必要があります。

テストの実行時間がわからない場合、インテリジェントセレクション機能が勝者バリアントを効率的に見つけるために役立ちます。

セグメントを選択する

ユーザーのセグメントが異なれば、メッセージングに対する反応も異なる場合があるため、特定のメッセージが成功したかどうかは、メッセージ自体とそのターゲットセグメントの両方に何らかの影響を及ぼします。そのため、ターゲットセグメントを念頭に置いてテストを設計するようにしてください。

例えば、アクティブユーザーは「このセールは明日までです!」と「このセールは24時間で終了します! 」に対して同じ応答率を示すかもしれませんが、アプリを1週間開いていないユーザーは、後者の表現の方が切迫感が高まるため、より反応する可能性があります。

さらに、テストを実行するセグメントを選択するときは、そのセグメントのサイズがテストに十分な大きさであるかどうかを必ず検討してください。一般に、多変量テストと AB テストでバリアントの数が多い場合、統計的に有意な結果を得るには、より多くのテストグループが必要になります。これは、バリアントが多いほど、個々のバリアントを見るユーザーが少なくなるためです。

バイアスとランダム化

コントロールグループとテストグループの割り当てに関するよくある質問は、テストにバイアスをもたらす可能性があるかどうかというものです。他の人は、これらの割り当てが本当にランダムかどうかをどうやって知るのか疑問に思うことがあります。

ユーザーは、メッセージバリアント、キャンバスバリアント、またはそれぞれのコントロールグループに割り当てられます。そのためには、(ランダムに生成された) ユーザー ID を (ランダムに生成された) キャンペーン ID またはキャンバス ID と連結し、その値のモジュラスを100とし、次にダッシュボードで選択されたバリアントとオプションコントロールのパーセンテージ割り当てに対応するスライスにユーザーを並べ替えます。そのため、特定のキャンペーンやキャンバスを作成する前のユーザーの行動が、バリアントとコントロールの間で体系的に異なることは実際にはありません。また、この実装よりもランダム (より正確には疑似ランダム) にすることは現実的ではありません。

避けるべき間違い

オーディエンスが正しくフィルタリングされていない場合に、メッセージングチャネルに基づいて相違が発生しないようにするための一般的な間違いがいくつかあります。

たとえば、コントロールを使用して幅広いオーディエンスにプッシュメッセージを送信した場合、テストグループはプッシュトークンを持つユーザーにのみメッセージを送信します。ただし、コントロールグループには、プッシュトークンを持っているユーザーと持っていないユーザーの両方が含まれます。この場合、キャンペーンまたはキャンバスの最初のオーディエンスは、プッシュトークンの有無 (Push Enabled は true) をフィルタリングする必要があります。他のチャネルでメッセージを受信する資格を得るには、同じことを行う必要があります (オプトイン済み、プッシュトークンあり、サブスクライブ済みなど）。