Skip to content

実験パス

実験パスを使用すると、ユーザージャーニーの任意のポイントで複数のキャンバスパスを相互に、またコントロールグループと比較テストできます。このコンポーネントを使用してパスのパフォーマンスをトラッキングし、キャンバスジャーニーについて十分な情報に基づいた意思決定を行うことができます。

ユーザージャーニーに実験パスステップを含めると、作成した異なるパス(またはオプションのコントロールグループ)にユーザーがランダムに割り当てられます。選択したパーセンテージに従ってオーディエンスの一部が異なるパスに割り当てられるため、異なるメッセージやパスを相互にテストし、どれが最も効果的かを判断できます。

パス1、パス2、コントロールに分岐する実験パスステップ。

前提条件

実験パスを使用するには、キャンバスにコンバージョンイベントが含まれている必要があります。キャンバスの起動後にコンバージョンイベントを追加することはできませんが、起動済みのキャンバスを複製してコンバージョンイベントを追加することで、実験パスを追加できます。

ユースケース

実験パスは、配信、ケイデンス、メッセージコピー、チャネルの組み合わせのテストに最適です。

  • 配信: 異なる時間遅延で送信されたメッセージ、ユーザーアクションに基づくメッセージ(アクションパス)、インテリジェントタイミングを使用したメッセージの結果を比較します。

  • ケイデンス: 特定の期間にわたって複数のメッセージングフローをテストします。たとえば、2つの異なるオンボーディングケイデンスをテストできます:
    • ケイデンス1:ユーザーの最初の2週間で2通のメッセージを送信
    • ケイデンス2:ユーザーの最初の2週間で3通のメッセージを送信

    離脱ユーザーをターゲットにする場合、1週間に2通のウィンバックメッセージを送信する場合と1通だけ送信する場合の効果を比較テストできます。

  • メッセージコピー: 標準的なA/Bテストと同様に、異なるメッセージコピーをテストして、どの文言がより高いコンバージョン率をもたらすかを確認できます。

  • チャネルの組み合わせ: 異なるメッセージチャネルの組み合わせの効果をテストします。たとえば、メールのみの使用と、メールとプッシュを組み合わせた場合の影響を比較できます。

実験パスの作成

実験パスコンポーネントを作成するには、まずキャンバスにステップを追加します。サイドバーからコンポーネントをドラッグ&ドロップするか、ステップの下部にあるプラスボタンをクリックして実験パスを選択します。

このコンポーネントのデフォルト設定では、パス1パス2の2つのデフォルトパスがあり、オーディエンスの50%がそれぞれのパスに送られます。コンポーネントをクリックして実験設定パネルを展開すると、コンポーネントの設定オプションが表示されます。

ステップ 1: パスの数とオーディエンス配分を選択する

パスを追加をクリックして最大4つのパスを追加でき、コントロールグループを追加にチェックを入れてオプションのコントロールグループを追加できます。各パスのパーセンテージボックスを使用して、各パスとコントロールグループに送るオーディエンスのパーセンテージを指定できます。指定したパーセンテージの合計は100%になる必要があります。利用可能なすべてのパス(およびコントロール)を同じパーセンテージにすばやく設定したい場合は、パスを均等に配分をクリックします。

また、コントロールグループの動作として、コントロールグループのユーザーがキャンバスを続行するか、コンバージョントラッキング時間枠の後に退出するかを選択できます。オプションで、この実験パスがテストする内容を他のメンバーに説明するための説明を追加したり、メモしておくと役立つ追加情報を含めたりすることもできます。

パスを追加し、各パスのユーザーのパーセンテージを配分できる実験設定。

ステップ 2: 勝者パスまたはパーソナライズ済みパスを有効にする(オプション)

勝者パスまたはパーソナライズ済みパスを有効にして実験を最適化できます。どちらのオプションも、最初にオーディエンスの一部でパスをテストします。実験が終了すると、残りのユーザーおよびその後のユーザーは、全体で最もパフォーマンスの高いパス(勝者パス)または各ユーザーにとって最もパフォーマンスの高いパス(パーソナライズ済みパス)に送られます。

ステップ 3: パスを作成する

最後に、下流のパスを構築する必要があります。完了を選択してキャンバスビルダーに戻ります。各パスの下にあるプラスボタンをクリックして、通常のキャンバスツールを使用してジャーニーの作成を開始し、準備ができたらキャンバスを起動します。

実験パスコンポーネントから分岐する各パスにステップを追加する。

パスとその下流のステップは、作成後にキャンバスから削除できないことに注意してください。ただし、起動後は必要に応じてパス間のオーディエンス配分を変更できます。たとえば、キャンバスの起動から1日後に、分析に基づいて1つのパスが他のパスよりも優れていると判断した場合、そのパスを100%に設定し、他のパスを0%に設定できます。または、必要に応じて、複数のパスにユーザーを送り続けることもできます。

パフォーマンスのトラッキング

キャンバス分析ページから実験パスを選択すると、バリアントの分析タブと同じ詳細テーブルが開き、パス間の詳細なパフォーマンスとコンバージョン統計を比較できます。テーブルをCSVでエクスポートしたり、選択したパスまたはコントロールに対する関心のある指標のパーセント変化を比較したりすることもできます。

各パスの各ステップは、他のキャンバスステップと同様にキャンバス分析ビューに統計を表示します。ただし、個々のステップの分析と実験パスの分析ではコンバージョンの測定方法が異なることに注意してください:

  • 実験パスの分析は、ユーザーが実験パスステップに入った時点からコンバージョンをトラッキングします。すべてのパスが同じ開始点を共有するため、パス間のパフォーマンスを比較するにはこのビューが推奨されます。
  • 個々のステップの分析(メッセージステップの分析など)は、ユーザーがその特定のステップを受信した時点(たとえば、メッセージが送信された時点)からコンバージョンをトラッキングします。

これらのコンバージョン時間枠は開始点が異なるため、同じパスでも異なるコンバージョン率を示す場合があります。特に、実験ステップと下流のメッセージの間に遅延がある場合に顕著です。パス間の最も信頼性の高い比較には、実験パスの分析を使用してください。

勝者パスとパーソナライズ済みパスのパフォーマンス

勝者パスを活用して、一定期間にわたってパフォーマンスをトラッキングし、その後のユーザーを最もパフォーマンスの高いパスに自動的に送ることができます。実験で勝者パスまたはパーソナライズ済みパスが有効になっている場合の分析の詳細については、以下を参照してください:

勝者指標と実験パスに表示される分析は異なる場合があります:

  • 勝者パスまたはパーソナライズ済みパスに設定したコンバージョンイベントは、実験時間枠中にBrazeがパスを比較して勝者を選択する方法を決定します。
  • 実験パスの分析は、キャンバスの残りの部分と同じキャンバスのコンバージョンイベントフレームワークに従います。これには1次コンバージョンイベントも含まれます。そのため、ダッシュボードで強調される指標が勝者指標と一致しない場合があります。
  • プッシュの場合、直接開封数合計開封数は異なります。詳細については、影響を受けた開封を参照してください。

追加設定

実験パスは、各ステップに入り、割り当てられたパス内でコンバージョンしたユーザーを記録します。これにより、キャンバスの設定で指定されたすべてのコンバージョンイベントがトラッキングされます。追加設定タブで、この実験がコンバージョンをトラッキングする日数(1〜30日)を入力します。ここで指定する時間枠は、実験に対してコンバージョンイベント(キャンバスの設定で選択したもの)がトラッキングされる期間を決定します。キャンバスの設定で指定されたイベントごとのコンバージョン時間枠は、このステップのトラッキングには適用されず、このコンバージョン時間枠に置き換えられます。

コンバージョン時間枠は、下流のメッセージが送信された時点ではなく、ユーザーが実験パスステップに入った時点から開始されます。パスに遅延(遅延ステップやインテリジェントタイミングなど)が含まれている場合、それらの遅延はコンバージョン時間枠の一部を消費します。

New Stuff!