グローバルコントロールグループ

グローバルコントロールグループを使用すると、全ユーザーのうち一定の割合をCampaignsやCanvasesを一切受信しないグループとして指定でき、メッセージング施策の全体的な影響を長期的に分析できます。

メッセージを受信するユーザーと受信しないユーザーの行動を比較することで、マーケティングCampaignsやCanvasesがセッションやカスタムイベントの向上にどのように貢献しているかをより深く理解できます。

グローバルコントロールグループの仕組み

グローバルコントロールグループでは、全ユーザーの一定割合をコントロールグループとして設定できます。保存すると、グループ内のユーザーはCampaignsやCanvasesを一切受信しなくなります。

グローバルコントロールグループへのユーザーのランダム割り当て

Brazeはランダムバケット番号の複数の範囲をランダムに選択し、選択されたバケットに含まれるユーザーを対象とします。他の目的でランダムバケット番号を現在使用している場合は、注意事項を確認してください。

グローバルコントロールグループが生成されると、該当するランダムバケット番号を持つすべてのユーザーがグループに含まれます。さらに、この時点以降に参加した新規ユーザー（グローバルコントロールグループの生成後に獲得されたユーザー）で、これらのランダムバケット番号を持つユーザーもグローバルコントロールグループに追加されます。同様に、多くのユーザーが削除された場合、削除されたユーザーの一定割合がこのグループに含まれているため、グローバルコントロールグループのサイズが縮小することが予想されます。これにより、グループのサイズはユーザー群全体に対する一定の割合として維持されます。

レポート用のトリートメントグループへのユーザーのランダム割り当て

Brazeはアップリフトのレポート用にトリートメントグループも作成します。トリートメントグループは、グローバルコントロールグループに含まれないユーザーからランダムに選択されたグループで、グローバルコントロールグループと同じランダムバケット番号方式を使用して生成されます。

トリートメントグループのサイズはグローバルコントロールグループと同程度ですが、まったく同じサイズになる可能性は低いです。レポートでは、Brazeはコントロールグループのユーザーとトリートメントサンプルのユーザーの行動を測定します。各ワークスペースには、グローバルコントロールグループとトリートメントサンプルグループがそれぞれ最大1つずつ存在します。トリートメントサンプルグループは、グローバルコントロールレポートの設定方法に関係なく、同じユーザーグループです。

フィーチャーフラグからのユーザーの除外

グローバルコントロールグループ内のユーザーに対してフィーチャーフラグを有効にすることはできません。つまり、グローバルコントロールグループ内のユーザーはフィーチャーフラグの実験にも参加できません。

グローバルコントロールグループからのユーザーの除外

グローバルコントロールグループから特定のユーザーを削除することはできませんが、除外設定を追加して、指定されたタグを持つCampaignsやCanvasesがグローバルコントロールグループを使用しないようにすることができます。また、グローバルコントロールグループを無効にして再度有効にすることで、メンバーシップをシャッフルすることもできます。ユーザーのシャッフルの理想的な期間は、実行しているテストの種類によって異なりますが、月に1回以上シャッフルしないようにしてください。

グローバルコントロールグループの作成

ステップ 1: グローバルコントロールグループ設定に移動する

ダッシュボードから、オーディエンス > グローバルコントロールグループに移動します。

ステップ 2: 全ユーザーの一定割合をこのコントロールグループに割り当てる

コントロールグループの割合を入力し、Saveを選択します。入力すると、Brazeはグローバルコントロール、トリートメント、およびトリートメントサンプルに含まれるユーザー数の推定値を表示します。ワークスペース内のユーザー数が多いほど、この推定値はより正確になります。

グローバルコントロールグループのユーザー数は、初期設定後にワークスペースにユーザーが追加されると、この割合に比例するように自動的に更新されます。さらに、グローバルコントロールグループの設定後に参加し、該当するランダムバケット番号を持つユーザーもグローバルコントロールグループに追加されます。多くのユーザーが追加された場合、グローバルコントロールグループのサイズはユーザー群全体に対する一定の割合を維持するために拡大します。グローバルコントロールグループのサイズが拡大しても、以前からグループに含まれていたユーザーは引き続きグループに残ります（グループを無効にして新しいグループを作成するなどの変更を行わない限り）。

割合のガイドラインについては、テストのベストプラクティスを参照してください。

ステップ 3: 除外設定を割り当てる

タグを使用して、グローバルコントロールグループに除外設定を追加します。除外設定に含まれるタグを使用するCampaignsやCanvasesは、グローバルコントロールグループを使用しません。これらのCampaignsやCanvasesは、グローバルコントロールグループ内のユーザーを含む、ターゲットオーディエンスのすべてのユーザーに引き続き送信されます。

ステップ 4: コントロールグループを保存する

この時点で、Brazeは全ユーザー群の選択された割合を構成するランダムに選択されたユーザーグループを生成します。保存すると、現在アクティブなすべてのCampaignsおよび将来のCampaignsとCanvasesは、除外設定のタグを含むCampaignsやCanvasesを除き、このグループのユーザーに送信されなくなります。

グローバルコントロールグループの変更

グローバルコントロールグループを変更するには、無効にして新しいグループを作成する必要があります。たとえば、オーディエンスの10%のグローバルコントロールグループを設定し、そのサイズを5%に縮小したい場合は、現在のグローバルコントロールグループを無効にして、新しいグローバルコントロールグループを再度有効にする必要があります。

グローバルコントロールグループは、グローバルコントロールグループ設定タブからいつでも無効にできますが、無効にするとこのグループのユーザーがすぐにCampaignsやCanvasesの対象になることに注意してください。

コントロールグループを無効にする前に、後で参照する必要がある場合に備えて、そのグループのユーザーのCSVをエクスポートしてください。コントロールグループを無効にすると、Brazeがグループを復元したり、どのユーザーがこのグループに含まれていたかを特定したりする方法はありません。

コントロールグループを無効にした後、新しいグループを保存できます。割合を入力して保存すると、Brazeはランダムに選択された新しいユーザーグループを生成します。以前と同じ割合を入力した場合でも、Brazeはコントロールグループとトリートメントグループに新しいユーザーグループを生成します。

コントロールグループメンバーのエクスポート

グローバルコントロールグループに含まれるユーザーを確認したい場合は、CSVまたはAPIでグループのメンバーをエクスポートできます。

CSVエクスポートを実行するには、グローバルコントロールグループ設定タブに移動し、 Exportをクリックします。APIでエクスポートするには、/users/export/global_control_groupエンドポイントを使用します。

ユーザーがグローバルコントロールグループに含まれているかどうかの確認

個々のユーザーのプロファイルのEngagementタブにあるMiscellaneousセクションに移動すると、グローバルコントロールグループのメンバーシップを確認できます。

レポート

グローバルコントロールグループレポートでは、グループをトリートメントサンプルと比較できます。トリートメントサンプルは、コントロール以外のユーザーからランダムに選択されたもので、コントロールとほぼ同数のユーザーで構成され、ランダムバケット番号方式を使用して生成されます。

レポートの表示

グローバルコントロールグループのレポートをダッシュボードから表示するには、分析 > グローバルコントロールグループレポートに移動します。

次に、レポートを実行するパラメーター（セッションまたは特定のカスタムイベント）を選択し、Run Reportを選択します。

レポートの設定

レポートを生成する際、トリートメントグループとコントロールグループ間で比較するイベント（セッションまたは任意のカスタムイベント）を選択します。次に、データを表示する期間を選択します。異なる期間に複数のコントロールグループ実験を保存した場合は、レポートに複数の実験のデータを含めないようにしてください。

レポートの割合指標は四捨五入されることに注意してください。たとえば、コンバージョン数がコントロールグループまたはトリートメントグループ全体に対して非常に小さい割合の場合、コンバージョン率は0%に丸められることがあります。

このレポートには、コントロールからの変化指標に対する信頼度の割合も表示されます。コントロールとトリートメントのコンバージョン率が同一の場合、信頼度0%が予想されます。これは、2つのグループ間でパフォーマンスに差がある確率が0%であることを示しています。

グループサイズ

2024年5月以前は、グローバルコントロールグループはユーザーアーカイブから除外されていましたが、トリートメントサンプルグループは除外されていませんでした。2024年5月以降は、両方のグループがユーザーアーカイブから除外されます。これにより、トリートメントサンプルグループとグローバルコントロールグループのサイズが大幅に異なる場合があります。次回グローバルコントロールグループをリセットすると、この不一致は解消され、同程度のグループサイズが表示されます。

レポート指標

指標	定義	計算方法
コントロールからの変化	トリートメントグループとコントロールグループのコンバージョン率間のアップリフトを計算します。	((トリートメントのコンバージョン率 – コントロールのコンバージョン率) ÷ コントロールのコンバージョン率) * 100
増分アップリフト	トリートメントグループとコントロールグループ間の合計イベント数の差。この指標は「トリートメントグループはどれだけ多くのコンバージョンイベントを達成したか？」という質問に答えることを目的としています。	トリートメントの合計イベント数 – コントロールの合計イベント数
増分アップリフト率	トリートメントの合計イベントのうち、トリートメントに起因する割合（自然なユーザー行動との比較）。増分アップリフト（数値）をトリートメントグループの合計イベント数で割って計算されます。	増分アップリフト（数値） ÷ トリートメントグループの合計イベント数
コンバージョン率	選択した期間中に、コントロールグループまたはトリートメントグループのユーザーが選択したイベントを完了した推定割合。期間中のイベント数を合計し、グループ内の各日のユーザー数の合計で割って計算されます。新しいユーザーがグローバルコントロールグループに参加するためグループサイズが定期的に変動し、イベントはユニークイベントではなく合計イベントであるため、これは近似値にすぎません。コンバージョン数が非常に少なく、コントロールグループまたはトリートメントグループが非常に大きい場合、コンバージョン率は0%に丸められることがあります。イベント数が非常に多い場合（たとえば、1人のユーザーが1日に複数回イベントを実行する場合）、コンバージョン率は100%を超えることがあります。	その期間中のユーザーのイベント数の合計 ÷ グループ内の各日のユーザー数の合計
推定グループサイズ	選択した期間中のコントロールグループとトリートメントグループの推定ユーザー数。	レポートに選択した期間中にコントロールグループとトリートメントグループが達した最大メンバーシップサイズ。
合計イベント数	選択した期間中に選択したイベントが発生した合計回数。これはユニークではありません（たとえば、ユーザーが期間中にイベントを2回実行した場合、イベントは2回カウントされます）。	選択した期間中の各日にイベントが発生した回数の合計。
ユーザーあたりのイベント数	選択した期間中に各グループのユーザーがコンバージョンイベントを完了した推定平均回数。	合計イベント数 ÷ 推定グループサイズ。

トラブルシューティング

グローバルコントロールグループの設定やレポートの表示中に、以下のエラーが発生する場合があります。

問題	トラブルシューティング
グローバルコントロールグループを指定する際に入力した割合を保存できない。	この問題は、整数以外の値、または1から15（両端を含む）の範囲外の整数を入力した場合に発生します。
グローバルコントロール設定ページで「Brazeはグローバルコントロールグループを更新できません」というエラーが表示される。	これは通常、このページの一部のコンポーネントが変更されたことを示しており、Brazeアカウントの別のユーザーによるアクションが原因である可能性があります。この場合、ページを更新して再試行してください。
グローバルコントロールグループレポートにデータがない。	グローバルコントロールグループを保存せずにグローバルコントロールグループレポートにアクセスした場合、レポートにデータは表示されません。グローバルコントロールグループを作成して保存し、再試行してください。
コンバージョン率が0%、またはイベントが0件以上発生しているにもかかわらずグラフが表示されない。	コンバージョン数が非常に少なく、コントロールグループまたはトリートメントグループが非常に大きい場合、コンバージョン率は0%に丸められ、グラフに表示されないことがあります。合計イベント数の指標を確認することで検証できます。増分アップリフト率の指標を使用して、2つのグループの効果を比較できます。
コンバージョン率（またはその他の指標）が、データを表示する期間によって大幅に変動する。	短い期間でデータを表示している場合、指標が日ごとや週ごとに変動する可能性があります。少なくとも1か月以上の期間で指標を表示してください。

注意事項

ランダムバケット番号の重複

グローバルコントロールグループはランダムバケット番号を使用して形成されるため、ランダムバケット番号のSegmentフィルターを使用して他のテストを実行している場合、作成したSegmentsとグローバルコントロールグループのユーザー間で重複が発生する可能性があることに注意してください。

重複するメールアドレス

異なる外部ユーザーIDを持つ2人のユーザーが同じメールアドレスを持ち、一方がコントロールグループに含まれ、もう一方が含まれていない場合、コントロールグループ外のユーザーがメールの対象となった際に、そのメールアドレスにメールが送信されます。この場合、両方のユーザープロファイルに、そのメールを含むCampaignまたはCanvasを受信したことが記録されます。

グローバルコントロールグループとメッセージ固有のコントロールグループ

グローバルコントロールグループと、Campaign固有またはCanvas固有のコントロールグループの両方を使用することが可能です。Campaign固有またはCanvas固有のコントロールグループを使用すると、特定のメッセージの影響を測定できます。

グローバルコントロールグループのユーザーは、タグの例外を持つメッセージ以外のすべてのメッセージの受信が保留されます。CampaignやCanvasにコントロールを追加すると、Brazeはグローバルトリートメントグループの一部をその特定のCampaignやCanvasの受信から除外します。つまり、グローバルコントロールグループのメンバーが特定のCampaignやCanvasの対象でない場合、そのCampaignやCanvasのコントロールグループには含まれません。

要約すると、グローバルコントロールグループのユーザーは、エントリ前にCampaignまたはCanvasのオーディエンスからフィルタリングされます。CampaignまたはCanvasにエントリしたユーザーのうち、一定の割合がコントロールバリアントに割り当てられます。

開発者コンソールのグローバルコントロールグループSegments

APIキーページのAdditional API Identifiersセクションに、複数のGlobal Control Segmentsが表示される場合があります。これは、グローバルコントロールグループが有効または無効にされるたびに、新しいグローバルコントロールグループが形成されるためです。これにより、「Global Control Group」というラベルの付いた複数のSegmentsが作成されます。

これらのSegmentsのうち、アクティブなものは1つだけで、/users/export/global_control_groupエンドポイントを使用してクエリするか、ダッシュボードからエクスポートできます。ダッシュボードからのエクスポートでは、このグローバルコントロールグループを構成するサブSegmentsが具体的に示されます。

テストのベストプラクティス

最適なコントロールグループサイズ

覚えておくべき2つの主要なルール：

1. コントロールグループは1000ユーザー以上である必要があります。
2. コントロールグループはオーディエンス全体の10%以下である必要があります。

合計オーディエンスが10,000未満の場合は、1000ユーザー以上のグループを作成するために割合を増やす必要があります。この場合、割合を15%以上に増やさないでください。ワークスペース全体のサイズが小さいほど、統計的に厳密なテストを実行することが難しくなることに注意してください。

• コントロールグループのサイズを検討する際のトレードオフとして、行動分析が信頼できるものになるためには、コントロールグループに十分な数の顧客が必要です。ただし、コントロールグループが大きいほど、Campaignsを受信する顧客が少なくなります。これは、Campaignsを使用してエンゲージメントやコンバージョンを促進している場合にはデメリットとなります。
• 合計オーディエンスに対する理想的な割合は、合計オーディエンスの規模によって異なります。合計オーディエンスが大きいほど、割合は小さくできます。オーディエンスが小さい場合は、コントロールグループにより大きな割合が必要です。

実験期間

理想的な期間の選択

コントロールグループのメンバーシップをシャッフルする前に実験をどのくらいの期間実行するかは、テストの内容とユーザーのベースライン行動によって異なります。確信が持てない場合は、1四半期（3か月）から始めるのが良いですが、1か月未満にすべきではありません。

実験の適切な期間を決定するには、どのような質問に答えたいかを考えてください。たとえば、セッションに違いがあるかどうかを確認したい場合は、ユーザーが自然にどのくらいの頻度でセッションを行うかを考えてください。ユーザーが毎日セッションを行うブランドは、月に数回しかセッションを行わないブランドよりも短い実験を実行できます。

または、カスタムイベントに関心がある場合、ユーザーがそのカスタムイベントをトリガーする頻度が低い場合は、セッションを調べる実験よりも長い期間実験を実行する必要があるかもしれません。

実験を途中で終了しないようにする

実験を開始する前に実行期間を決定し、この事前に決定した時点に達した後にのみ実験を終了して最終結果を収集してください。実験を早期に終了したり、有望なデータが見られるたびに終了したりすると、バイアスが生じます。

価値のある指標について考える

最も関心のある指標のベースライン行動を考慮してください。年間ベースでのみ更新されるサブスクリプションプランの購入率に関心がありますか？それとも、測定したいイベントについて顧客に週次の習慣がありますか？メッセージングによってユーザーが行動を変えるまでにどのくらいの時間がかかるかを考えてください。実験の実行期間を決定した後は、実験を早期に終了したり、最終結果を早期に記録したりしないでください。そうしないと、結果にバイアスがかかる可能性があります。