Decisioning Studio Goの測定

このガイドでは、組み込みのランダムコントロールを使用する方法と、現在の通常運用 (BAU) プログラムと比較する方法で、エージェントの効果を測定する方法について説明します。

Decisioning Studio Goでは、デフォルトで1つの比較が提供されます。エージェントとランダムコントロールの比較です。2つ目の比較として、エージェントと現在のプログラムの比較を自分で設定することもできます。このガイドでは、両方の比較に加えて、数値の読み方や、自社のデータウェアハウスにデータを取り込む方法についても説明します。

組み込みの比較: エージェントとランダムコントロール

すべてのエージェントは、オーディエンスを自動的に2つのグループに分割します。

• Decisioning Studioグループは、AIによって最適化されたコンテンツを受け取ります。
• ランダムコントロールグループは、同じスケジュールと制約の範囲内で、設定した同じオプションからランダムに選ばれた組み合わせを受け取ります。

両方のグループが同じオプションと同じスケジュールを使用するため、両者の差によってエージェントの意思決定の効果だけを切り分けることができます。これは、いつでも利用できる最もクリーンなリフトの指標です。追加の設定は必要ありません。

リフト指標

主要な指標は Unique Customers Who Clicked Daily (1日あたりのユニーククリック顧客数) です。これはクリックの総数ではなく、クリックしたユーザーの重複を除いた数です。リフトは、この指標におけるDecisioning Studioグループとランダムコントロールの差です。

エージェントは本物のクリックからのみ学習します。クリックがカウントされる前に、自動化されたアクティビティやオプトアウト関連のクリックを除外する検証フィルターを通過します。そのため、Decisioning Studioのクリック合計は、生のメールレポートより少なくなります。同じフィルタリングが両方のグループに等しく適用されるため、グループ間の比較は有効なままです。

コントロールグループのサイズを決める

コントロールの最小サイズは5%です。オーディエンスに合わせて調整してください。オーディエンスが小さいほど、統計的な意味を保つために比例して大きなコントロールが必要です。

通常運用プログラムと比較する

ランダムコントロールは、同じオプションからランダムに選ばれた組み合わせとエージェントを比較して測定します。現在のプログラムとエージェントを比較して測定するには、BAUとの比較を自分で設定してください。Decisioning Studio GoはBAUグループのオーケストレーションやレポートを行いません。この比較はご自身で組み立てる必要があります。

ステップ 1: オーディエンスをBAUグループとエージェントグループに分割する

次のいずれかの方法を使用できます。

• キャンバスの実験パスステップを使用して (推奨)、ユーザーをBAUパスまたはエージェントのセグメントに振り分けます。キャンバスの実験パスステップはクリーンなランダム分割であり、公平なテストを設定するための推奨される方法です。キャンバスでDecisioning Studio Goを使用するを参照してください。
• キャンバスの外でランダムバケット番号を使用して、同じオーディエンスからBAUグループとエージェントグループを切り出します。

ステップ 2: オーディエンスが分割に十分な大きさかを確認する

エージェントグループには、分割後かつランダムコントロールを割り当てた後に、少なくとも20,000人のユーザーが含まれている必要があります。オーディエンス全体が約40,000人以下の場合、BAUを50/50で分割すると、それぞれの半分がこの最小値を下回ります。規模は小さいものの対象となるオーディエンスの場合は、BAUの割合を小さくするか、BAUとの比較の代わりに組み込みのランダムコントロールを利用してください。

ステップ 3: テストを公平にする

BAUとの比較が意味を持つのは、2つのグループの違いが「誰が意思決定を行うか」だけである場合に限られます。ローンチ前に次の点を確認してください。

• 送信動作を同じにします。エージェントの送信頻度をBAUの頻度に合わせるか、BAUの平均に設定します。一方のグループがもう一方より頻繁に送信すると、意思決定ではなく送信量を測定することになります。
• BAUのクリエイティブをエージェントに読み込みます。すべての件名、行動喚起 (CTA)、画像をBAUグループとエージェントの両方で利用できるようにする必要があります。そうすることで、両方のグループが同じコンテンツを利用できるため、差は意思決定を反映したものになります。
• 両方のグループでクリックのカウント方法をそろえ、同じ条件で比較できるようにします。
• 測定期間中はBAUを一定に保ちます。テスト中にBAUを再最適化しないでください。

ステップ 4: 公平に評価できるまで待つ

トレーニング中のエージェントは、初期段階では成熟し最適化済みのBAUプログラムを下回るのが一般的です。この差は想定どおりです。比較する前に、エージェントがトレーニング完了になるまで待ってください。詳細については、ローンチ後に期待できることを参照してください。

自社のデータウェアハウスで結果を分析する

各送信では、users.messages.email.Send イベントの message_extras に識別子が書き込まれます。これらはすべてのワークスペースで自動的に書き込まれます。

データウェアハウスでこれらのフィールドを分析するには、次の手順に従います。

1. Currentsまたはデータエクスポートに、送信イベントの message_extras が含まれていることを確認します。
2. グループタグを持つ送信イベントを、user_id と dispatch_id で開封およびクリックと結合します。
3. 選択した指標を ds_go_agent_regime の値ごとに比較し、BAUとエージェントの分割を設定した場合はその分割ごとにも比較します。

レポートの読み方

• 終了日を2日前に設定します。レポートデータは約1日遅れるため、終了日を2日前にすると完全なデータを確認できます。
• ローンチ後、レポートにデータが反映されるまで数日待ちます。ローンチ直後にレポートが空に見えても想定どおりです。レポートはまだデータを収集しています。
• パフォーマンスビューとエージェントの好みビューを使用します。パフォーマンスには、ランダムコントロールと比較したリフトが表示されます。エージェントの好みには、エージェントが各バリアントを選択した頻度が表示されます。