多変量テストと AB テスト

このページでは、多変量テストと AB テストとは何か、およびそれらの利点について説明します。多変量またはA/Bテストの作成手順については、Brazeを使用した多変量およびA/Bテストの作成を参照してください。

多変量とABテストはインテリジェントセレクションを使用して使用できます。

多変量テストとABテストとは

AB テスト

AB テストは、同じマーケティングキャンペーンの複数のバージョンに対するユーザーの反応を比較する実験です。これらのバージョンは、マーケティング目標は同じですが、文言やスタイルが異なります。

目的は、マーケティング目標を最もよく達成するキャンペーンのバージョンを特定することです。このセクションでは、コンテンツの違いによる効果をテストする方法について説明します。

プッシュ通知の選択肢が2つあるとします。

• 「この取引は明日が期限です!」
• 「この取引は24時間で期限が切れます!」

AB テストを使用すると、どの文言がコンバージョン率を高めるかを確認できます。次回取引に関するプッシュ通知を送信したときに、どのタイプの文言が効果的かがわかります。ただし、このテストでは、1つの変数 (プッシュ通知のコピー) の効果のみを検証します。

多変量テスト

多変量テストは、2つ以上の変数の効果をテストする点を除いて、AB テストに似ています。プッシュ通知の例に戻りましょう。テストしたいもう1つの変数は、メッセージの最後に絵文字を含めるかどうかです。今度は2つの変数 (または変量—バリアントと混同しないように) をテストすることになります。したがって「多変量」という用語が使われています。そのためには、メッセージの合計4つのバージョンをテストする必要があります。コピーの2つのオプションに絵文字の2つのオプション (存在するかどうか) を乗算すると、合計4つのメッセージバリアントになります。

Braze のドキュメントでは、「多変量テスト」は「AB テスト」と同じ意味で使用されています。これは、両者の設定のプロセスが同じであるためです。

多変量テストと AB テストのメリット

多変量テストと AB テストにより、オーディエンスについて簡単かつ明確に知ることができます。ユーザーが何に反応するかを推測する必要がなくなります。すべてのキャンペーンは、メッセージのさまざまなバリアントを試したり、オーディエンスの反応を測定する機会になります。

多変量テストと AB テストが役立つ具体的なシナリオとしては、次のようなものがあります。

• メッセージングタイプを初めて試す場合初回のアプリ内メッセージが正しく表示されるか心配ですか？多変量テストを使用すると、何がユーザーの心に響くかを実験して学習できます。
• オンボーディングキャンペーンなど、常に送信されるキャンペーンを作成する場合：ほとんどのユーザーがこのキャンペーンに出くわすことになるので、できるだけ効果的なものにしてはどうでしょうか。
• 送信するメッセージのアイデアが複数ある場合どちらを選ぶか迷う場合は、テストを実施してから、データドリブン型の意思決定を行ってください。
• ユーザーが「実証済みの」マーケティング手法に反応するかどうかを調査する場合：マーケターはユーザーと関わるために従来の戦略に固執することが多いが、製品ごとにユーザー群は異なります。行動喚起を繰り返したり、社会的証明を使ったりしても、望んだ結果が得られないこともあります。多変量テストと AB テストにより、既成概念にとらわれず、特定のオーディエンスに有効な型破りな戦略を見つけることができます。

バリアントの分布

The distribution between variants is not always even. Here’s how variant distribution works.

Every time a message is sent in a multivariate campaign, the system independently selects a random option according to the percentages you set and assigns a variant based on the result. It’s like flipping a coin—anomalies are possible. If you’ve ever flipped a coin 100 times, you know that you probably won’t get an exact 50-50 split between heads and tails every time, even though you only have two choices. You might get 52 heads and 48 tails.

If you have multiple variants that you want to split evenly, you also need to make sure the number of variants is a multiple of 100. Otherwise, some variants will have a higher percentage of users distributed to that variant compared to others. For example, if your campaign has 7 variants, there can’t be an even variant distribution since 7 does not equally divide by 100 as a whole number. In this case, you would have 2 variants of 15% and 5 variants of 14%.

Note on in-app messages

When running an A/B test on in-app messages, your analytics may appear to show a higher variant distribution between one variant and another, even if they have an even percentage split. For example, consider the following graph of Unique Recipients for Variant A and Variant C.

Variant A has a consistently higher count of Unique Recipients than Variant C. This isn’t due to variant distribution, but rather how Unique Recipients are calculated for in-app messages. For in-app messages, Unique Recipients are actually Unique Impressions, which is the total number of people who received and viewed the in-app message. This means if a user doesn’t receive the message for whatever reason or decides not to view it, they are not included in the Unique Recipients count, and the variant distribution can appear skewed.

多変量テストとABテストのヒント

多変量テストと AB テストにより、ユーザーに関する優れた分析情報が提供されます。ユーザーの行動を真に反映したテスト結果を得るためには、以下のガイドラインに従うこと。

多数のユーザーに対してテストを実行する

サンプルが大きいと、平均的なユーザーの嗜好を反映した結果となり、外れ値に左右されにくくなります。サンプルサイズを大きくすると、勝利マージンの小さい勝者バリアントを識別することもできます。

ユーザーを異なるテストグループにランダムに並べ替える

多変量テストでは、ランダムに選択したテストグループを最大8つ作成できます。ランダム化は、テストセットのバイアスを取り除き、テストグループの構成が類似している確率を高めるように設計されています。これにより、応答率の違いがサンプルではなくメッセージの違いによるものであることが保証されます。

テストしようとしている要素を知る

多変量テストおよび AB テストでは、メッセージの複数のバージョン間の違いをテストできます。場合によっては、単純なテストが最も効果的かもしれません。変更を分離することで、応答に最も大きな影響を与えた要素を特定できるためです。場合によっては、バリアント間のより多くの違いを提示することで、外れ値を調べ、さまざまな要素のセットを比較できます。どちらの方法も、テスト対象が最初から明確であれば、必ずしも間違っていません。

テストの実行期間を決め、テストを早期に終了しない

テストを始める前に、テストの実行時間を決め、それを遵守します。マーケターは、気に入った結果が出たらテストをやめたくなることが多く、調査結果にバイアスがかかってしまいます。覗き見したくなる気持ちを抑えて、テストを早く終わらせないようにしましょう。

キャンペーン開始後ではなく、開始前のキャンペーンにテストを追加する。

キャンペーンを開始した後にテストを追加すると、テストが正しく実行されず、不正確または誤解を招く統計データを受け取る可能性がある。例えば、開始したキャンペーンに再エントリーが可能なテストを追加した場合、キャンペーンに再エントリーしたユーザーは常に同じパスを通ることになり、テストによるデータの不正確さを防ぐことができる。さらに、テスト実行中にバリアントを変更した場合、その変更はテストを無効にして再スタートさせる。

正確な検査結果のために：

1. 開始したキャンペーンを複製します。
2. オリジナルキャンペーンを中止します。
3. 次に、複製したキャンペーンにテストを追加する。

可能であれば、コントロールグループを含める

コントロールグループを含めると、メッセージをまったく送信しないよりも、メッセージがユーザーのコンバージョンに大きな影響を与えているかどうかを知ることができます。