Skip to content

実験パス

実験パスを使用すると、ユーザージャーニーの任意のポイントで複数のキャンバスパスを相互に、またコントロールグループと比較テストできます。このコンポーネントを使用してパスのパフォーマンスをトラッキングし、キャンバスジャーニーについて十分な情報に基づいた意思決定を行うことができます。

ユーザージャーニーに実験パスステップを含めると、作成した異なるパス(またはオプションのコントロールグループ)にユーザーがランダムに割り当てられます。選択したパーセンテージに従ってオーディエンスの一部が異なるパスに割り当てられるため、異なるメッセージやパスを相互にテストし、どれが最も効果的かを判断できます。

パス1、パス2、コントロールに分岐する実験パスステップ。

前提条件

実験パスを使用するには、キャンバスにコンバージョンイベントが含まれている必要があります。キャンバスの起動後にコンバージョンイベントを追加することはできませんが、起動済みのキャンバスを複製してコンバージョンイベントを追加することで、実験パスを追加できます。

ユースケース

実験パスは、配信、頻度、メッセージコピー、チャネルの組み合わせのテストに最適です。

  • 配信: 異なる時間遅延を使用して送信されたメッセージ、ユーザーアクションに基づくメッセージ(アクションパス)、およびインテリジェントタイミングを使用したメッセージの結果を比較します。

  • 頻度: 特定の期間にわたって複数のメッセージングフローをテストします。たとえば、2つの異なるオンボーディング頻度をテストできます。
    • 頻度1: ユーザーの最初の2週間で2つのメッセージを送信
    • 頻度2: ユーザーの最初の2週間で3つのメッセージを送信

    離脱ユーザーをターゲティングする場合、1週間に2つの奪還メッセージを送信する効果と、1つだけ送信する効果を比較テストできます。

  • メッセージコピー: 標準的なA/Bテストと同様に、異なるメッセージコピーをテストして、どの文言がより高いコンバージョン率をもたらすかを確認できます。

  • チャネルの組み合わせ: 異なるメッセージチャネルの組み合わせの効果をテストします。たとえば、メールのみの使用と、メールとプッシュを組み合わせた場合の影響を比較できます。

実験パスの作成

実験パスコンポーネントを作成するには、まずキャンバスにステップを追加します。サイドバーからコンポーネントをドラッグ&ドロップするか、ステップの下部にあるプラスボタンをクリックして実験パスを選択します。

このコンポーネントのデフォルト設定では、パス1パス2の2つのデフォルトパスがあり、オーディエンスの50%がそれぞれのパスに送られます。コンポーネントをクリックして実験設定パネルを展開すると、コンポーネントの設定オプションが表示されます。

ステップ1:パスの数とオーディエンスの配分を選択する

パスを追加をクリックして最大4つのパスを追加でき、コントロールグループを追加にチェックを入れるとオプションのコントロールグループも追加できます。各パスのパーセンテージボックスを使用して、各パスおよびコントロールグループに割り当てるオーディエンスの割合を指定できます。指定するパーセンテージの合計は100%になる必要があります。利用可能なすべてのパス(およびコントロール)を同じパーセンテージにすばやく設定するには、パスを均等に配分をクリックします。

また、コントロールグループの動作として、コントロールグループのユーザーがキャンバスを続行するか、コンバージョントラッキングウィンドウの終了後にキャンバスから退出するかを選択できます。オプションで、この実験パスがテストする内容を他のメンバーに説明するための説明を追加したり、メモしておくと役立つ追加情報を含めたりすることもできます。

パスを追加し、各パスのユーザーの割合を設定できる実験設定。

ステップ2:勝者パスをオンにする(オプション)

実験を最適化するには、勝者パスをオンにします。勝者パスでは、最初にオーディエンスの一部でパスをテストします。実験が終了すると、Brazeは残りのユーザーおよびその後のユーザーを最もパフォーマンスの高いパスに送ります。

ステップ3:パスを作成する

最後に、下流のパスを構築する必要があります。完了を選択してキャンバスビルダーに戻ります。各パスの下にあるプラスボタンをクリックし、通常のキャンバスツールを使用してジャーニーの作成を開始し、準備ができたらキャンバスを起動します。

実験パスコンポーネントから分岐する各パスにステップを追加する様子。

パスとその下流のステップは、作成後にキャンバスから削除できない点にご注意ください。ただし、起動後はパス間のオーディエンス配分を自由に変更できます。たとえば、キャンバスの起動から1日後に、分析に基づいて1つのパスが他のパスよりも優れていると判断した場合、そのパスを100%に設定し、他のパスを0%に設定できます。また、必要に応じて、複数のパスにユーザーを送り続けることもできます。

パフォーマンスのトラッキング

キャンバス分析ページから実験パスを選択すると、詳細テーブルが開き、バリアントの分析タブと同じ形式でパス間の詳細なパフォーマンスとコンバージョン統計を比較できます。また、テーブルをCSVでエクスポートし、選択したパスまたはコントロールに対する指標のパーセント変化を比較することもできます。

各パスの各ステップは、通常のキャンバスステップと同様に、キャンバス分析ビューで統計を表示します。ただし、個々のステップの分析と実験パスの分析ではコンバージョンの測定方法が異なることに留意してください。

  • 実験パス分析は、ユーザーが実験パスステップに入った時点からコンバージョンをトラッキングします。すべてのパスが同じ出発点を共有するため、パス間のパフォーマンス比較にはこのビューが推奨されます。
  • 個々のステップ分析(メッセージステップ分析など)は、ユーザーがその特定のステップを受信した時点(例: メッセージが送信された時点)からコンバージョンをトラッキングします。

これらのコンバージョンウィンドウは開始点が異なるため、同じパスでも異なるコンバージョン率が表示される場合があります。特に実験ステップと下流のメッセージの間に遅延がある場合に顕著です。パス間の最も信頼性の高い比較には、実験パス分析を使用してください。

勝者パスのパフォーマンス

勝者パスを使用すると、時間の経過とともにパフォーマンスをトラッキングし、後続のユーザーを最もパフォーマンスの高いパスに自動的に送ることができます。詳細については、勝者パスの分析を参照してください。

勝者指標と実験パスに表示される分析は異なる場合があります。

  • 勝者パスに設定したコンバージョンイベントによって、Brazeが実験ウィンドウ中にパスを比較し勝者を選択する方法が決まります。
  • 実験パス分析は、1次コンバージョンイベントを含むキャンバスの他の部分と同じキャンバスコンバージョンイベントフレームワークに従います(1次コンバージョンイベントを含む)。そのため、ダッシュボードで強調される指標が勝者指標と一致しない場合があります。
  • プッシュの場合、直接開封合計開封は異なります。詳細については、影響を受けた開封を参照してください。

追加設定

実験パスは、各ステップに入り、割り当てられたパス内でコンバージョンしたユーザーを記録します。これにより、キャンバス設定で指定されたすべてのコンバージョンイベントがトラッキングされます。追加設定タブで、この実験でコンバージョンをトラッキングする日数(1~30日)を入力します。ここで指定する時間枠は、(キャンバス設定で選択した)コンバージョンイベントが実験でトラッキングされる期間を決定します。キャンバス設定で指定したイベントごとのコンバージョンウィンドウはこのステップのトラッキングには適用されず、このコンバージョンウィンドウに置き換えられます。

コンバージョンウィンドウは、下流のメッセージ送信時ではなく、ユーザーが実験パスステップに入った時点で開始されます。パスに遅延ステップやインテリジェントタイミングなどの遅延が含まれている場合、それらの遅延がコンバージョンウィンドウの一部を消費します。

よくある質問

実験の分割が均等に見えるのにパスごとの送信数が異なるのはなぜですか?

下流の「送信数」は、実験パスでの割合の分割だけでなく、各パスのステップ、遅延、チャネルの適格性、コンテンツに依存します。たとえば、異なる遅延、インテリジェントタイミングの送信時間、または購読ステータスによって、パスの割り当てが均等であってもメッセージを受信するユーザー数が変わることがあります。パスの結果を比較するには、共通のエントリポイントからのコンバージョンを測定する実験パスの分析を使用してください。

実験のコンバージョンウィンドウはどのくらい続きますか?

追加設定のコンバージョンウィンドウ(1〜30日間)は、ユーザーが実験パスステップに入った時点で開始されます。下流の遅延ステップやインテリジェントタイミングの待機時間もこのウィンドウにカウントされます。詳細については、パフォーマンスのトラッキングを参照してください。

New Stuff!