Skip to content

フィーチャーフラグ実験

フィーチャーフラグ実験では、コンバージョン率を最適化するためにアプリケーションの変更をA/Bテストできます。マーケターはフィーチャーフラグを使って、新機能がコンバージョン率にプラスまたはマイナスの影響を与えるかどうか、あるいはどのフィーチャーフラグプロパティのセットが最適かを判断できます。

前提条件

実験でユーザーデータを追跡するには、ユーザーがフィーチャーフラグを操作したときにアプリが記録する必要があります。これはフィーチャーフラグインプレッションと呼ばれます。テスト対象の機能をユーザーが見た、または見た可能性がある場合は、コントロールグループに属している場合であっても、必ずフィーチャーフラグインプレッションを記録してください。

フィーチャーフラグインプレッションの記録について詳しくは、「フィーチャーフラグの作成」を参照してください。

1
2
3
4
5
6
7

const featureFlag = braze.getFeatureFlag("my-new-feature");
braze.logFeatureFlagImpression("my-new-feature");
if (featureFlag?.enabled) {
   return <NewFeature />
} else {
   return <ExistingFeature />
}

1
2
3
4
5
6
7

FeatureFlag featureFlag = braze.getFeatureFlag("my-new-feature");
braze.logFeatureFlagImpression("my-new-feature");
if (featureFlag != null && featureFlag.getEnabled()) {
  return new NewFeature();
} else {
  return new ExistingFeature();
}

1
2
3
4
5
6
7

val featureFlag = braze.getFeatureFlag("my-new-feature")
braze.logFeatureFlagImpression("my-new-feature")
if (featureFlag?.enabled == true) {
  return NewFeature()
} else {
  return ExistingFeature()
}

フィーチャーフラグ実験の作成

ステップ1：実験を作成する

  1. メッセージング > キャンペーンに移動し、+ キャンペーンを作成を選択します。
  2. フィーチャーフラグ実験を選択します。
  3. キャンペーンにわかりやすく意味のある名前を付けます。

ステップ2：実験バリアントを追加する

次に、バリエーションを作成します。各バリアントについて、有効化または無効化するフィーチャーフラグを選択し、割り当てられたプロパティを確認します。

フィーチャーの影響をテストするには、バリアントを使用してトラフィックを2つ以上のグループに分割します。1つのグループに「My control group」と名前を付け、そのフィーチャーフラグを無効にします。

フィーチャーフラグ実験は、合計9つのグループ（1つのコントロールグループと最大8つのバリアント）をサポートしています。

ステップ3：プロパティを上書きする（任意）

特定のキャンペーンバリアントを受け取るユーザー向けに最初に設定したデフォルトプロパティを上書きすることができます。

追加のデフォルトプロパティを編集、追加、または削除するには、メッセージング > フィーチャーフラグからフィーチャーフラグ自体を編集します。バリアントが無効な場合、SDKは指定されたフィーチャーフラグに対して空のプロパティオブジェクトを返します。

「実験バリアント」セクションで、変数キー「link」が「/sales」で上書きされている画面。

ステップ4：ターゲットユーザーを選択する

セグメントまたはフィルターを使用して、ターゲットユーザーを選択します。たとえば、Received Feature Flag Variant フィルターを使用して、すでにA/Bテストを受け取ったユーザーをリターゲティングすることができます。

フィーチャーフラグ実験の「ターゲット」ページで、フィルターグループの検索バーに「Received Feature Flag Variant」がハイライトされている画面。

ステップ5：バリアントを配分する

実験のパーセンテージ配分を選択します。ベストプラクティスとして、実験を開始した後は配分を変更しないでください。

ステップ6：コンバージョンを割り当てる

Brazeでは、キャンペーンを受け取った後にユーザーが特定のアクション（コンバージョンイベント）を実行する頻度を追跡できます。ユーザーが指定されたアクションを実行した場合にコンバージョンがカウントされる最大30日間のウィンドウを指定します。

ステップ7：確認して開始する

実験の最後の構築が完了したら、その詳細を確認し、Launch Experiment を選択します。

結果の確認

フィーチャーフラグ実験が完了したら、実験のインプレッションデータを確認できます。メッセージング > キャンペーンに移動し、フィーチャーフラグ実験を含むキャンペーンを選択します。

キャンペーン分析

キャンペーン分析では、実験のパフォーマンスの概要を確認できます。たとえば以下のような情報があります。

  • インプレッションの合計数
  • ユニークインプレッションの数
  • 1次コンバージョン率
  • メッセージによって生成された合計収益
  • 推定オーディエンス

また、配信、オーディエンス、コンバージョンに関する実験の設定も確認できます。

フィーチャーフラグ実験のパフォーマンス

フィーチャーフラグ実験のパフォーマンスでは、さまざまなディメンションにわたってメッセージがどの程度パフォーマンスを発揮したかを確認できます。表示される具体的な指標は、選択したメッセージングチャネルや、多変量テストを実行しているかどうかによって異なります。各バリアントに関連付けられたフィーチャーフラグの値を確認するには、プレビューを選択します。
New Stuff!