グローバルコントロールグループ

グローバルコントロールグループを使用すると、全ユーザーのうち一定の割合をキャンペーンやキャンバスを一切受信しないグループとして指定でき、メッセージング施策の全体的な影響を長期的に分析できます。

メッセージを受信するユーザーと受信しないユーザーの行動を比較することで、マーケティングキャンペーンやキャンバスがセッションやカスタムイベントの向上にどのように貢献しているかをより深く理解できます。

グローバルコントロールグループの仕組み

グローバルコントロールグループを使用すると、全ユーザーの一定割合をコントロールグループとして設定できます。保存すると、グループ内のユーザーはキャンペーンやキャンバスを一切受信しません。

グローバルコントロールグループにユーザーをランダムに割り当てる

Brazeはランダムバケット番号の複数の範囲をランダムに選択し、選択されたバケットのユーザーを含めます。他の目的でランダムバケット番号を現在使用している場合は、注意事項を確認してください。

グローバルコントロールグループが生成されると、これらのランダムバケット番号を持つすべてのユーザーがグループに含まれます。さらに、この時点以降に参加した新規ユーザー（グローバルコントロールグループの生成後に獲得されたユーザー）も、該当するランダムバケット番号を持っていればグローバルコントロールグループに追加されます。同様に、多くのユーザーが削除された場合、削除されたユーザーの一定割合がこのグループに含まれていたため、グローバルコントロールグループのサイズが縮小することが予想されます。これにより、グループのサイズはユーザー群全体に対する一定の割合として維持されます。

レポート用にトリートメントグループにユーザーをランダムに割り当てる

Brazeは、アップリフトのレポートのためにトリートメントグループも作成します。トリートメントグループは、グローバルコントロールグループに含まれないユーザーからランダムに選択されたグループであり、グローバルコントロールグループと同じランダムバケット番号の方法を使用して生成されます。

トリートメントグループのサイズはグローバルコントロールグループと同程度ですが、まったく同じサイズになる可能性は低いです。レポートでは、Brazeはコントロールグループ内のユーザーとトリートメントサンプル内のユーザーの行動を測定します。各ワークスペースには、グローバルコントロールグループとトリートメントサンプルグループがそれぞれ最大1つずつあります。トリートメントサンプルグループは、グローバルコントロールレポートの設定方法に関係なく、同じユーザーグループです。

フィーチャーフラグからユーザーを除外する

グローバルコントロールグループ内のユーザーに対してフィーチャーフラグを有効にすることはできません。つまり、グローバルコントロールグループ内のユーザーは、フィーチャーフラグの実験にも参加できません。

グローバルコントロールグループからユーザーを除外する

グローバルコントロールグループから特定のユーザーを削除することはできませんが、除外設定を追加して、指定されたタグを持つキャンペーンやキャンバスがグローバルコントロールグループを使用しないようにすることができます。また、グローバルコントロールグループを無効にしてから再度有効にすることで、メンバーシップをシャッフルできます。ユーザーのシャッフルに最適な期間は、実行しているテストの種類によって異なりますが、月に1回以上シャッフルしないようにしてください。

グローバルコントロールグループの作成

ステップ1: グローバルコントロールグループの設定に移動する

ダッシュボードから、オーディエンス > グローバルコントロールグループに移動します。

ステップ2: 全ユーザーの一定割合をこのコントロールグループに割り当てる

コントロールグループの割合を入力し、保存を選択します。入力すると、Brazeはグローバルコントロール、トリートメント、およびトリートメントサンプルに該当するユーザー数の推定値を表示します。ワークスペースのユーザー数が多いほど、この推定値はより正確になることに留意してください。

グローバルコントロールグループのユーザー数は、初期設定後にワークスペースにユーザーが追加されると、この割合に比例するよう自動的に更新されます。さらに、グローバルコントロールグループの設定後に参加し、ランダムバケット番号を持つユーザーもグローバルコントロールグループに追加されます。多数のユーザーが追加された場合、グローバルコントロールグループのサイズは、ユーザー群全体に対して一定の割合を維持するよう拡大します。グローバルコントロールグループのサイズが拡大しても、以前からグループに含まれていたユーザーはそのまま残ります（グループを無効にして新しいグループを作成するなどの変更を行わない限り）。

割合のガイドラインについては、テストのベストプラクティスを参照してください。

ステップ3: 除外設定を割り当てる

タグを使用して、グローバルコントロールグループに除外設定を追加します。除外設定に含まれるタグを使用するキャンペーンやキャンバスは、グローバルコントロールグループを使用しません。これらのキャンペーンやキャンバスは、グローバルコントロールグループに含まれるユーザーを含め、ターゲットオーディエンスのすべてのユーザーに引き続き送信されます。

タグのドロップダウンには、現在少なくとも1つのアクティブなキャンペーンまたはキャンバスに適用されているタグのみが表示されることに注意してください。新しいタグを作成して除外設定で使用する場合は、まずキャンペーンまたはキャンバスに適用してください。

ステップ4: コントロールグループを保存する

この時点で、Brazeはユーザー群全体の選択した割合を構成するユーザーグループをランダムに生成します。保存すると、現在アクティブなすべてのキャンペーンおよび今後のキャンペーンとキャンバスは、除外設定のタグを含むキャンペーンやキャンバスを除き、このグループのユーザーには送信されなくなります。

グローバルコントロールグループの変更

グローバルコントロールグループを変更するには、現在のグループを無効にして新しいグループを作成する必要があります。たとえば、オーディエンスの10%をグローバルコントロールグループとして設定していて、そのサイズを5%に縮小したい場合は、現在のグローバルコントロールグループを無効にしてから、新しいグローバルコントロールグループを再度有効にする必要があります。

グローバルコントロールグループは、グローバルコントロールグループ設定タブからいつでも無効にできますが、無効にすると、このグループのユーザーはすぐにキャンペーンやキャンバスの対象となることに注意してください。

コントロールグループを無効にする前に、後で参照が必要になった場合に備えて、そのグループのユーザーのCSVをエクスポートしてください。コントロールグループを無効にすると、Brazeがそのグループを復元したり、どのユーザーがこのグループに属していたかを特定したりする方法はありません。

コントロールグループを無効にした後、新しいグループを保存できます。パーセンテージを入力して保存すると、Brazeはランダムに選択された新しいユーザーグループを生成します。以前と同じパーセンテージを入力した場合でも、Brazeはコントロールグループとトリートメントグループに対して新しいユーザーグループを生成します。

コントロールグループメンバーのエクスポート

グローバルコントロールグループに含まれるユーザーを確認したい場合は、CSVまたはAPIでグループのメンバーをエクスポートできます。

CSVエクスポートを実行するには、グローバルコントロールグループ設定タブに移動し、 エクスポートをクリックします。APIでエクスポートするには、/users/export/global_control_groupエンドポイントを使用します。

ユーザーがグローバルコントロールグループに含まれているかどうかを確認する

個々のユーザープロファイルのエンゲージメントタブにあるその他セクションに移動すると、グローバルコントロールグループのメンバーシップを確認できます。

レポート

グローバルコントロールグループレポートでは、コントロールグループとトリートメントサンプルを比較できます。トリートメントサンプルは、ランダムバケット番号方式を使用して生成された、コントロールグループとほぼ同数の非コントロールユーザーのランダムな選択です。

レポートの表示

ダッシュボードからグローバルコントロールグループのレポートを表示するには、分析 > グローバルコントロールグループレポートに移動します。

次に、レポートの実行に使用するパラメーター（セッションまたは特定のカスタムイベント）を選択し、レポートを実行を選択します。

レポートの設定

レポートを生成する際、トリートメントグループとコントロールグループ間で比較するイベント（セッションまたは任意のカスタムイベント）を選択します。次に、データを表示する期間を選択します。異なる期間で複数のコントロールグループ実験を保存している場合、レポートに複数の実験のデータを含めないようにしてください。

レポートのパーセンテージ指標は四捨五入されることに注意してください。たとえば、コンバージョン数がコントロールグループまたはトリートメントグループ全体に対して非常に低い割合の場合、コンバージョン率は0%に丸められることがあります。

このレポートには、コントロールからの変化指標に対する信頼度パーセンテージも表示されます。コントロールとトリートメントのコンバージョン率が同一の場合、信頼度は0%となることが予想されます。これは、2つのグループ間でパフォーマンスに差がある確率が0%であることを示しています。

グループサイズ

2024年5月以前は、グローバルコントロールグループはユーザーアーカイブから除外されていましたが、トリートメントサンプルグループは除外されていませんでした。2024年5月以降は、両方のグループがユーザーアーカイブから除外されます。これにより、トリートメントサンプルグループとグローバルコントロールグループのサイズが大幅に異なる場合があります。次にグローバルコントロールグループをリセットすると、この差異は解消され、同様のグループサイズが表示されます。

レポート指標

指標	定義	計算方法
コントロールからの変化	トリートメントグループとコントロールグループのコンバージョン率間のリフトを計算します。	((トリートメントコンバージョン率 – コントロールコンバージョン率) ÷ コントロールコンバージョン率) * 100
増分リフト	トリートメントグループとコントロールグループ間の合計イベント数の差です。この指標は「トリートメントグループはどれだけ多くのコンバージョンイベントを達成したか？」という質問に答えることを目的としています。	トリートメントの合計イベント数 – コントロールの合計イベント数
増分リフト率	トリートメントに起因する（自然なユーザー行動ではなく）トリートメントの合計イベントの割合です。増分リフト（数値）をトリートメントグループの合計イベント数で割って計算されます。	増分リフト（数値） ÷ トリートメントグループの合計イベント数
コンバージョン率	選択した期間中に、コントロールグループまたはトリートメントグループのユーザーが選択したイベントを完了した推定割合です。期間中のイベント数を合計し、グループ内の各日のユーザー数の合計で割って計算されます。新しいユーザーがグローバルコントロールグループに入るとグループサイズが定期的に変動するため、これは近似値にすぎません。また、イベントはユニークイベントではなく合計イベントです。コンバージョン数が非常に少なく、コントロールグループまたはトリートメントグループが非常に大きい場合、コンバージョン率は0%に丸められることがあります。イベント数が非常に多い場合（たとえば、1人のユーザーが1日に複数回イベントを実行する場合など）、コンバージョン率は100%を超えることがあります。	該当期間中のそれらのユーザーのイベント数の合計 ÷ グループ内の各日のユーザー数の合計
推定グループサイズ	選択した期間中のコントロールグループとトリートメントグループの推定ユーザー数です。	レポートに選択した期間中にコントロールグループとトリートメントグループが達した最大メンバーシップサイズです。
合計イベント数	選択した期間中に選択したイベントが発生した合計回数です。これはユニークではありません（たとえば、ユーザーが期間中にイベントを2回実行した場合、イベントは2回カウントされます）。	選択した期間中の各日にイベントが発生した回数の合計です。
ユーザーあたりのイベント数	選択した期間中に各グループのユーザーがコンバージョンイベントを完了した推定平均回数です。	合計イベント数 ÷ 推定グループサイズ

トラブルシューティング

グローバルコントロールグループの設定やレポートの確認を行う際に、以下のエラーが発生する場合があります。

問題	トラブルシューティング
グローバルコントロールグループを指定する際に入力したパーセンテージを保存できない。	この問題は、整数以外の値、または1～15（両端を含む）の範囲外の整数を入力した場合に発生します。
グローバルコントロールの設定ページで「Braze is not able to update your Global Control Group」エラーが表示される。	これは通常、このページの一部のコンポーネントが変更されたことを示しており、Brazeアカウントの別のユーザーが操作を行ったことが原因である可能性があります。この場合、ページを更新して再試行してください。
グローバルコントロールグループレポートにデータがない。	グローバルコントロールグループを保存せずにグローバルコントロールグループレポートにアクセスした場合、レポートにデータは表示されません。グローバルコントロールグループを作成して保存し、再度お試しください。
コンバージョン率が0%になっている、またはイベントがゼロ以上発生しているにもかかわらずグラフが表示されない。	コンバージョン数が非常に少なく、コントロールグループまたはトリートメントグループが非常に大きい場合、コンバージョン率が0%に丸められ、グラフに表示されないことがあります。これは、イベント合計数の指標を確認することで検証できます。増分リフト率の指標を使用して、2つのグループの効果を比較することもできます。
表示するデータの期間によって、コンバージョン率（またはその他の指標）が大きく変動する。	短い期間のデータを表示している場合、指標が日ごとや週ごとに変動する可能性があります。少なくとも1か月間の指標を表示してください。

注意すべき点

ランダムバケット番号の重複

グローバルコントロールグループはランダムバケット番号を使用して形成されるため、ランダムバケット番号のセグメントフィルターを使用した他のテストを実行している場合、作成したセグメントとグローバルコントロールグループのユーザーの間に重複が生じる可能性があることに注意してください。

重複するメールアドレス

異なる外部ユーザーIDを持つ2人のユーザーが同じメールアドレスを持ち、一方がコントロールグループに含まれ、もう一方が含まれていない場合、コントロールグループに含まれていないユーザーがメールの受信対象となった時点で、そのメールアドレスにメールが送信されます。この場合、両方のユーザープロファイルに、そのメールを含むキャンペーンまたはキャンバスを受信したことが記録されます。

グローバルコントロールグループとメッセージ固有のコントロールグループ

グローバルコントロールグループと、キャンペーン固有またはキャンバス固有のコントロールグループの両方を使用することが可能です。キャンペーン固有またはキャンバス固有のコントロールグループを使用すると、特定のメッセージの効果を測定できます。

グローバルコントロールグループのユーザーは、タグの例外が設定されたメッセージ以外のすべてのメッセージの受信が保留されます。キャンペーンまたはキャンバスにコントロールを追加すると、Brazeはグローバルトリートメントグループの一部を、その特定のキャンペーンまたはキャンバスの受信から除外します。つまり、グローバルコントロールグループのメンバーが特定のキャンペーンまたはキャンバスの受信対象でない場合、そのキャンペーンまたはキャンバスのコントロールグループには含まれません。

開発者コンソールのグローバルコントロールグループセグメント

APIキーページの追加のAPI識別子セクションに、複数のグローバルコントロールセグメントが表示される場合があります。これは、グローバルコントロールグループが有効化または無効化されるたびに、新しいグローバルコントロールグループが形成されるためです。その結果、「Global Control Group」というラベルが付いた複数のセグメントが作成されます。

これらのセグメントのうち、アクティブなのは1つだけであり、/users/export/global_control_groupエンドポイントを使用してクエリするか、ダッシュボードからエクスポートできます。ダッシュボードからのエクスポートでは、このグローバルコントロールグループを構成するサブセグメントが明示的に示されます。

テストのベストプラクティス

最適なコントロールグループのサイズ

覚えておくべき2つの主なルールがあります。

1. コントロールグループは1000ユーザー以上にする必要があります。
2. コントロールグループはオーディエンス全体の10%以下にする必要があります。

オーディエンス全体が10,000人未満の場合は、1000人以上のグループを作成するためにパーセンテージを引き上げる必要があります。この場合、パーセンテージは15%を超えないようにしてください。ワークスペース全体のサイズが小さいほど、統計的に厳密なテストを実施することが難しくなる点に留意してください。

• コントロールグループのサイズを検討する際に考慮すべきトレードオフとして、行動分析の信頼性を確保するためにはコントロールグループに十分な数の顧客が必要です。しかし、コントロールグループが大きくなるほど、キャンペーンを受け取る顧客が少なくなります。エンゲージメントやコンバージョンの促進にキャンペーンを活用している場合、これはデメリットとなります。
• オーディエンス全体に対する理想的なパーセンテージは、オーディエンス全体の規模によって異なります。オーディエンス全体が大きいほど、パーセンテージは小さくできます。一方、オーディエンスが小さい場合は、コントロールグループにより大きなパーセンテージが必要です。

実験期間

理想的な期間を選択する

コントロールグループのメンバーシップを再シャッフルするまでの実験期間は、テスト内容とユーザーのベースライン行動によって異なります。判断に迷う場合は、1四半期（3か月）から始めるのが良いですが、1か月未満にすべきではありません。

実験に適切な期間を決定するには、どのような質問に答えたいかを検討してください。たとえば、セッション数に違いがあるかどうかを確認したい場合、ユーザーが自然にどのくらいの頻度でセッションを行っているかを考えてください。ユーザーが毎日セッションを行うブランドは、月に数回しかセッションを行わないユーザーを持つブランドよりも短い実験期間で済みます。

また、カスタムイベントに関心がある場合、ユーザーがそのカスタムイベントをトリガーする頻度が低い場合は、セッションを調べる実験よりも長い期間が必要になることがあります。

実験を途中で終了しないようにする

実験を開始する前に実施期間を決定し、事前に決めたポイントに達してから実験を終了して最終結果を収集してください。有望なデータが見られたからといって実験を早期に終了すると、バイアスが生じます。

価値のある指標について考える

最も関心のある指標のベースライン行動を検討してください。年次でのみ更新されるサブスクリプションプランの購入率に関心がありますか？それとも、測定したいイベントについて顧客が毎週の習慣を持っていますか？メッセージングによってユーザーが行動を変えるまでにどのくらいの時間がかかるかを考えてください。実験の実施期間を決定したら、実験を早期に終了したり最終結果を早めに記録したりしないようにしてください。そうしないと、結果にバイアスがかかる可能性があります。