多変量テストと AB テストの作成

多変量テストや AB テストは、単一チャネルをターゲットとするキャンペーンならどれでも作成できます。

ステップ 1: キャンペーンを作成

[キャンペーンを作成] をクリックし、多変量テストと AB テストを許可するセクションからキャンペーンのチャネルを選択します。各メッセージングチャネルの詳細なドキュメントについては、「キャンペーンの作成」を参照してください。

ステップ 2: バリアントを作成

タイトル、コンテンツ、画像などを区別して、メッセージのバリアントを最大8つ作成できます。メッセージ間の違いの数によって、これが多変量であるか、A/B test. An A/B test examines the effect of changing one variable, whereas a multivariate test examines two or more. であるかが決まります。

バリアントの区別を始めるためのアイデアについては、「さまざまなチャネル向けのヒント」を参照してください。

ステップ 3: キャンペーンをスケジュールする

多変量キャンペーンのスケジュール設定は、他の Braze キャンペーンのスケジュール設定と同じように機能します。すべての標準 配送タイプ が利用可能です。

ステップ 4: セグメントを選択し、さまざまなバリアントにユーザーを分配する

ターゲットとするセグメントを選択し、そのメンバーを選択したバリアントとオプションのコントロールグループに分配します。テストするセグメントの選択に関するベストプラクティスについては、「セグメントの選択」を参照してください。

プッシュキャンペーン、メールキャンペーン、Webhook キャンペーンを1回送信するようにスケジュールしている場合は、最適化を使用することもできます。これにより、ターゲットオーディエンスの一部を AB テストから確保し、最初のテスト結果に基づいて最適化された2回目の送信のために保持します。

コントロールグループ

ターゲットオーディエンスの特定の割合をランダム化されたコントロールグループのために予約できます。コントロールグループのユーザーはテストを受けませんが、Braze はキャンペーン期間中のコンバージョン率を監視します。

結果を表示すると、バリアントのコンバージョン率をコントロールグループから提供されたベースラインコンバージョン率と比較できます。これにより、バリアントの効果と、メッセージをまったく送信しなかった場合に発生するコンバージョン率に対するバリアントの効果の両方を比較できます。

インテリジェントセレクションを使用するコントロールグループ

インテリジェントセレクションを使用するキャンペーンのコントロールグループのサイズは、バリアントの数に基づいています。各バリアントが20% を超えるユーザーに送信された場合、コントロールグループは20% になり、バリアントは残りの80% に均等に分割されます。ただし、十分な数のバリアントがあり、各バリアントがユーザーの20% 未満に送信される場合は、コントロールグループを小さくする必要があります。インテリジェントセレクションがテストのパフォーマンスの分析を開始すると、その結果に基づいてコントロールグループが拡大または縮小します。

ステップ5: コンバージョンイベントの指定 (オプション)

キャンペーンにコンバージョンイベントを設定すると、キャンペーンを受信した後に特定のアクションを実行した受信者の数を確認できます。

これは、前のステップで [1次コンバージョン率] を選択した場合にのみテストに影響します。詳しくは、「コンバージョンイベント」を参照してください。

ステップ6: レビューと開始

確認ページで、多変量キャンペーンの詳細を確認して、テストを開始してください。次に、テスト結果を理解する方法を学びます。

知っておくべきこと

さまざまなチャンネル向けのヒント

選択したチャンネルに応じて、メッセージのさまざまなコンポーネントをテストできます。何をテストしたいのか、何を証明したいのかを考えてバリアントを作成してみてください。

どのような手段を講じる必要があり、どのような効果が期待できますか。多変量テストと AB テストを使用して調査できる可能性は無数にありますが、始めるための提案をいくつかご紹介します。

チャンネル	変更できるメッセージの側面	確認すべき結果
プッシュ	コピー 画像と絵文字の使い方 ディープリンク 数値の表示 (たとえば、「3倍」と「200％増加」) 時間の表示（たとえば、「午前0時に終了」と「6時間後に終了」）	開封する コンバージョン率
メール	件名 表示名 あいさつ 本文のコピー 画像と絵文字の使い方 数値の表示 (たとえば、「3倍」と「200％増加」) 時間の表示（たとえば、「午前0時に終了」と「6時間後に終了」）	開封する コンバージョン率
アプリ内メッセージ	「プッシュ」にリストされている側面 メッセージ形式	クリック コンバージョン率

さらに、テストの理想的な長さもチャネルによって異なる場合があります。ほとんどのユーザーが各チャネルと関わるのに要する平均時間を覚えておいてください。

たとえば、プッシュをテストする場合、ユーザーにはプッシュがすぐに表示されるため、メールをテストする場合よりも早く大きな結果が得られる可能性がありますが、メールが表示または開封されるまでには数日かかる場合があります。アプリ内ッセージをテストする場合、ユーザーはキャンペーンを見るにはアプリを開かなければならないことを覚えておいてください。そのため、最もアクティブなアプリを開くユーザーと一般的なユーザーの両方から結果を収集するには、より長く待機する必要があります。

テストの実行時間がわからない場合は、インテリジェントセレクション 機能が勝者バリアントを効率的に見つけるのに役立ちます。

セグメントを選択する

ユーザーのセグメントが異なれば、メッセージングに対する反応も異なる場合があるため、特定のメッセージが成功したかどうかは、メッセージ自体とそのターゲットセグメントの両方に何らかの影響を及ぼします。そのため、ターゲットセグメントを念頭に置いてテストを設計するようにしてください。

例えば、アクティブユーザーは「このセールは明日までです!」と「このセールは24時間で終了します! 」に対して同じ応答率を示すかもしれませんが、アプリを1週間開いていないユーザーは、後者の表現の方が切迫感が高まるため、より反応する可能性があります。

さらに、テストを実行するセグメントを選択するときは、そのセグメントのサイズがテストに十分な大きさであるかどうかを必ず検討してください。一般に、多変量テストと AB テストでバリアントの数が多い場合、統計的に有意な結果を得るには、より多くのテストグループが必要になります。これは、バリアントが多いほど、個々のバリアントを見るユーザーが少なくなるためです。

バイアスとランダム化

コントロールグループとテストグループの割り当てに関するよくある質問は、テストにバイアスをもたらす可能性があるかどうかというものです。他の人は、これらの割り当てが本当にランダムかどうかをどうやって知るのか疑問に思うことがあります。

ユーザーは、メッセージバリアント、キャンバスバリアント、またはそれぞれのコントロールグループに割り当てられます。そのためには、(ランダムに生成された) ユーザー ID を (ランダムに生成された) キャンペーン ID またはキャンバス ID と連結し、その値のモジュラスを100とし、次にダッシュボードで選択されたバリアントとオプションコントロールのパーセンテージ割り当てに対応するスライスにユーザーを並べ替えます。そのため、特定のキャンペーンやキャンバスを作成する前のユーザーの行動が、バリアントとコントロールの間で体系的に異なることは実際にはありません。また、この実装よりもランダム (より正確には疑似ランダム) にすることは現実的ではありません。

避けるべき間違い

オーディエンスが正しくフィルタリングされていない場合に、メッセージングチャネルに基づいて相違が発生しないようにするための一般的な間違いがいくつかあります。

たとえば、コントロールを使用して幅広いオーディエンスにプッシュメッセージを送信した場合、テストグループはプッシュトークンを持つユーザーにのみメッセージを送信します。ただし、コントロールグループには、プッシュトークンを持っているユーザーと持っていないユーザーの両方が含まれます。この場合、キャンペーンまたはキャンバスの最初のオーディエンスは、プッシュトークンの有無 (Push Enabled は true) をフィルタリングする必要があります。他のチャネルでメッセージを受信する資格を得るには、同じことを行う必要があります (オプトイン済み、プッシュトークンあり、サブスクライブ済みなど）。