勝者バリアントまたはパーソナライズされたバリアントによる AB テストの最適化

1回送信するようにスケジュールされたメール、プッシュ、Webhook、SMS、WhatsApp キャンペーンの AB テストを作成する際に、最適化を選択できます。最適化には2つのオプションがあります。勝利バリアントとパーソナライズされたバリアント。

どちらのオプションも、ターゲットセグメントの一定の割合に初期テストを送信することで機能します。テスト終了後、オーディエンスの残りのユーザーには、最もパフォーマンスの高いバリアント (勝者バリアント) またはエンゲージメントの可能性が最も高いバリアント (パーソナライズされたバリアント) のいずれかが送信されます。

勝者バリアント

勝者バリアントの送信は、標準的な AB テストと似ています。このグループのユーザーは、初期テストが完了すると、勝者バリアントを受け取ります。

1. [勝者バリアント] を選択し、キャンペーンオーディエンスの何パーセントを勝者バリアントグループに割り当てるかを指定します。
2. 以下の追加設定を行います。

フィールド	説明
最適化メトリック	最適化するメトリック。メールの場合は「ユニーク開封数」または「クリック数」、プッシュの場合は「開封数」、すべてのチャネルの場合は「1次コンバージョン率」のいずれかを選択します。[開封数] または [クリック数] を選択して勝者を決定しても、キャンペーンのコンバージョンイベントの選択には影響しません。 コントロールグループを使用している場合、コントロールグループのユーザーは [開封] や [クリック] を実行できないため、コントロールグループのパフォーマンスは 0 であることが保証されます。その結果、コントロールグループは AB テストに勝つことができません。ただし、メッセージを受信しないユーザーのために、コントロールグループを使用して他の指標を追跡することもできます。
初期テスト開始日	初期テスト開始日時。
初期テスト終了日	初期テストが終了した日時。勝者バリアントが残りのユーザーに送信されるタイミングです。 ユーザーの現地時間またはインテリジェントタイミングで送信する場合は、勝者バリアントを AB テストの少なくとも24時間後に送信して、勝者バリアントグループのすべてのユーザーに確実に配信する必要があります。
フォールバック	統計的に有意差をつけて勝ったバリアントがいなかったらどうなるか。とにかく最高のパフォーマンスのバリアントを送信するか、テストを終了してそれ以上メッセージを送信しないかを選択します。

パーソナライズされたバリアント

パーソナライズされたバリアントを使用して、ターゲットセグメント内の各ユーザーに、エンゲージメントの可能性が最も高いバリアントを送信します。

各ユーザーに最適なバリアントを決定するために、Braze はターゲットオーディエンスの一部に初期テストを送信し、ユーザー特性とメッセージの好みとの関連性を調べます。初期テストでユーザーが各バリアントにどのように反応するかに基づいて、これらの特性は残りのどのユーザーが各バリアントを取得するかを決定するために使用されます。関連が見つからず、パーソナライゼーションもできない場合、勝者バリアントは残りのユーザーに自動的に送信されます。パーソナライズされたバリアントの決定方法の詳細については、多変量分析と AB テスト分析を参照してください。

1. [パーソナライズされたバリアント] を選択し、キャンペーンオーディエンスの何パーセントをパーソナライズされたバリアントグループに割り当てるかを指定します。
2. 以下の追加設定を行います。

フィールド	説明
最適化メトリック	最適化するメトリック。メールの場合は「ユニーク開封数」または「クリック数」、プッシュの場合は「開封数」、すべてのチャネルの場合は「1次コンバージョン率」のいずれかを選択します。[開封数] または [クリック数] を選択して勝者を決定しても、キャンペーンのコンバージョンイベントの選択には影響しません。 コントロールグループを使用している場合、コントロールグループのユーザーは [開封] や [クリック] を実行できないため、コントロールグループのパフォーマンスは 0 であることが保証されます。その結果、コントロールグループは AB テストに勝つことができません。ただし、メッセージを受信しないユーザーのために、コントロールグループを使用して他の指標を追跡することもできます。
初期テスト開始日	初期テスト開始日時。
初期テスト終了日	初期テストが終了した日時。これは、パーソナライズされたバリアントが残りのユーザーに送信される場合です。統計的に有意で意味のある結果を得るために、24時間をベースラインとして推奨しています。テストに時間をかければかけるほど、より多くの応答を受け取ることができ、Braze はより最適化できます。メールキャンペーンでは特に重要です。パーソナライズされたバリアントの初期テストは4時間以上継続する必要があります。 ユーザーの現地時間またはインテリジェントタイミングで送信する場合は、パーソナライズされたバリアントを AB テストの少なくとも24時間後に送信して、パーソナライズされたバリアントグループのすべてのユーザーに確実に配信する必要があります。
フォールバック	パーソナライズされたバリアントが見つからなかった場合の動作。代わりに勝者バリアントを送信するか、テストを終了してそれ以上メッセージを送信しないかを選択します。

分析

最適化による AB テストの結果については、多変量分析と AB テスト分析を参照してください。