ローンチ後に想定されること
エージェントは成果を出す前に学習します。このガイドでは、トレーニング期間、エージェントが現在どの段階にあるかを見分ける方法、そして誤った結論を導かずに初期結果を読み取る方法について説明します。
Decisioning Studio Go エージェントをローンチすると、エージェントはまず学習を行います。メールは初日から送信されますが、初期のトレーニング期間中、エージェントはまだ探索を続けています。この期間に何が通常の状態なのかを知っておくことが、エージェントに公平な機会を与えるか、実力を発揮する前に停止してしまうかの分かれ目になります。
トレーニングの段階
エージェントは5つの段階を経て進み、レポートには常に現在の段階が表示されます。
| 段階 | 起きていること | 対応すべきこと |
|---|---|---|
| ローンチ済み、未送信 | エージェントはアクティブですが、まだ最初の送信を行っていません。 | 最初の送信を待ちます。 |
| シグナル待ち | エージェントは送信を行っていますが、トレーニングを開始するのに十分な実際のクリックをまだ集めていません。 | プログラムがエンゲージメントを生み出していることを確認してください。この段階に長くとどまる場合、オーディエンスが小さすぎるか、エンゲージメントが低すぎる可能性があります。エージェントを前進させる2つの要素を参照してください。 |
| トレーニング中 | エージェントは十分なシグナルを得ており、組み合わせを積極的に探索しています。この段階ではパフォーマンスがランダムに近く見えることがあります。これは想定どおりです。 | まだ結果を読み取らないでください。エージェントの実行を続けます。 |
| 部分的にトレーニング済み | エージェントはパーソナライゼーションを行っていますが、結果はまだ最終的なものとして扱えるほど堅牢ではありません。 | 傾向の観察は始められますが、まだそれに基づいて判断しないでください。 |
| 完全にトレーニング済み | エージェントは完全にトレーニングされ、結果は堅牢です。 | この段階でリフトを読み取り、レポートし、判断を下します。 |
エージェントを前進させる2つの要素
信頼できる結果を得るには2つの条件が必要です。両方を満たす必要があります。
- 十分な実際のクリック。エージェントはクリックに基づいてトレーニングしますが、対象となるのは実際のクリックのみです。自動クリックやオプトアウト関連のクリックは最初に除外されます。実際のクリックが十分に蓄積されるとトレーニングが始まり、さらに高いしきい値に達すると結果が堅牢になります。エンゲージメントが低いオーディエンスや小規模なオーディエンスでは、これらのしきい値に達するまでに時間がかかります。
- 十分な時間。シグナルが強い場合でも、パーソナライゼーションが意味を持つのは、エージェントがおよそ最初の1週間半のトレーニングを経た後です。通常、数週間後に結果を評価できます。
シグナル待ちのままのエージェントには、より多くの実際のクリックが必要です。実行期間がかなり経過しても (たとえば10日後) エージェントがまだシグナル待ちの場合、十分な実際のクリックをまだ収集できていません。多くの場合、オーディエンスが推奨サイズより小さいか、あまりクリックしないことが原因です。待つよりも、オーディエンスを拡大するかエンゲージメントを高めるほうが、早く前進させることができます。
誤った結論を導かずに初期結果を読み取る
最もよくある間違いは、トレーニング中のエージェントを誤ったベンチマークと比較して判断することです。
- 初期の数値はエージェントを過小評価します。探索中のエージェントは、まだ学習していない選択肢を意図的に試しているため、パフォーマンスはランダムに近く見えます。これは学習のコストであり、エージェントのトレーニングが完了すると報われます。
- トレーニング中のエージェントは、通常、成熟したプログラムに後れを取ります。導入したばかりのエージェントを、数か月または数年かけてすでに最適化したプログラムと比較すると、エージェントは最初は劣って見えることがよくあります。この差は、エージェントがトレーニングを完了すると縮まります。比較する前に、エージェントが完全にトレーニング済みになるまで待ってください。
エージェントがまだトレーニング中の間は、結果を判断したり、オーディエンスのサイズを変更したり、コントロールの分割を変更したりしないでください。これらはいずれも、ノイズをシグナルとして読み取るか、進行中の学習を妨げることになります。コントロールの分割を変更したりセグメントを入れ替えたりすると、ユーザーがグループ間で再配分されることにもなります。詳細については、Decisioning Studio Go エージェントを設定するを参照してください。
エージェントが劣っているように見える場合の確認事項
エージェントが機能していないと結論づける前に、次の点を確認してください。
- 完全にトレーニング済みですか？そうでない場合、トレーニング期間の結果を見ています。待ってください。
- 何と比較していますか？明確な組み込みの比較は、エージェントとそのランダムコントロールとの比較です。成熟した通常運用のプログラムと比較している場合は、初期に差が出ることを想定してください。Decisioning Studio Goの測定を参照してください。
- オーディエンスは十分な実際のクリックを生み出していますか？シグナル待ちで止まっている場合や、トレーニング中からなかなか抜け出せない場合、オーディエンスが小さすぎるか、エンゲージメントが低すぎる可能性があります。
- クリエイティブには意味のある違いがありますか？エージェントにとってすべての選択肢が同じように見える場合、最適化できる余地はほとんどありません。クリエイティブの設定と管理を参照してください。
実行期間
エージェントは少なくとも30日間実行する計画を立て、理想的には常時稼働させてください。30日あれば、ほとんどのプログラムでトレーニングを終え、信頼できる結果を得るのに十分な時間があります。継続的に実行することで、エージェントは改善を続けることができます。季節ごとのキャンペーンには、新しいクリエイティブを入れ替えることで対応できます。
エージェントが完全にトレーニング済みになったら、リフトの読み取り方と現在のプログラムとの比較方法について、Decisioning Studio Goの測定を参照してください。