출시 후 예상되는 사항
에이전트는 성과를 내기 전에 먼저 학습합니다. 이 가이드에서는 교육 기간이 무엇인지, 에이전트가 현재 어느 단계에 있는지 확인하는 방법, 그리고 초기 결과를 잘못 해석하지 않는 방법을 설명합니다.
Decisioning Studio Go 에이전트를 출시하면 에이전트는 먼저 학습을 시작합니다. 이메일은 첫날부터 발송되지만, 초기 교육 기간 동안 에이전트는 아직 여러 조합을 탐색하는 중입니다. 이 기간에 어떤 현상이 정상인지 알고 있어야 에이전트에게 공정한 기회를 줄 수 있습니다. 그렇지 않으면 에이전트가 역량을 보여주기도 전에 꺼버리게 될 수 있습니다.
교육 단계
에이전트는 다섯 단계를 거치며, 리포트에는 항상 현재 단계가 표시됩니다.
| 단계 | 진행 상황 | 해야 할 일 |
|---|---|---|
| 출시됨, 아직 발송 전 | 에이전트는 활성 상태이지만 아직 첫 발송을 하지 않았습니다. | 첫 발송을 기다립니다. |
| 신호 대기 중 | 에이전트가 발송 중이지만 교육을 시작할 만큼 실제 클릭을 충분히 모으지 못했습니다. | 프로그램이 인게이지먼트를 만들어내고 있는지 확인합니다. 이 단계에 오래 머문다면 오디언스가 너무 작거나 인게이지먼트가 너무 낮을 수 있습니다. 에이전트를 앞으로 나아가게 하는 두 가지 요소를 참조하세요. |
| 교육 중 | 에이전트가 충분한 신호를 확보하고 조합을 활발하게 탐색하고 있습니다. 이 단계에서는 성능이 무작위에 가깝게 보일 수 있으며, 이는 예상된 현상입니다. | 아직 결과를 해석하지 마세요. 에이전트가 계속 실행되도록 둡니다. |
| 부분 교육 완료 | 에이전트가 개인화를 하고 있지만, 결과가 아직 최종으로 볼 만큼 견고하지 않습니다. | 추세를 지켜보기 시작해도 되지만, 아직 이를 근거로 결정을 내리지는 마세요. |
| 교육 완료 | 에이전트의 교육이 완료되었고 결과가 견고합니다. | 이 단계에서 리프트를 확인하고, 보고하고, 결정을 내립니다. |
에이전트를 앞으로 나아가게 하는 두 가지 요소
신뢰할 수 있는 결과를 얻으려면 다음 두 가지 조건을 모두 충족해야 합니다.
- 충분한 실제 클릭. 에이전트는 클릭을 기반으로 교육되지만, 실제 클릭만 사용합니다. 자동화된 클릭과 수신 거부 관련 클릭은 먼저 필터링됩니다. 실제 클릭이 충분히 쌓이면 교육이 시작되고, 더 높은 임계값에 도달하면 결과가 견고해집니다. 인게이지먼트가 낮거나 규모가 작은 오디언스는 이러한 임계값에 천천히 도달합니다.
- 충분한 시간. 신호가 강하더라도 에이전트가 처음 약 1주 반 정도 교육을 거친 후에야 개인화가 의미 있는 수준이 됩니다. 일반적으로 몇 주 후에 결과를 평가할 수 있습니다.
아직 신호 대기 중 단계에 있는 에이전트에게는 더 많은 실제 클릭이 필요합니다. 실행 기간이 꽤 지났는데도(예: 10일 후) 에이전트가 여전히 신호 대기 중 단계에 있다면, 아직 실제 클릭을 충분히 모으지 못한 것입니다. 오디언스가 권장 규모보다 작거나 클릭이 많지 않은 경우가 많습니다. 그냥 기다리기보다 오디언스를 늘리거나 인게이지먼트를 높이면 더 빠르게 다음 단계로 나아갈 수 있습니다.
초기 결과를 잘못 해석하지 않는 방법
가장 흔한 실수는 교육 중인 에이전트를 잘못된 기준과 비교해 평가하는 것입니다.
- 초기 수치는 에이전트를 과소평가합니다. 탐색하는 동안 에이전트는 아직 학습하지 않은 옵션을 의도적으로 시도하므로, 성능이 무작위에 가깝게 보입니다. 이는 학습에 드는 비용이며, 에이전트의 교육이 완료되면 그 효과가 나타납니다.
- 아직 교육 중인 에이전트는 보통 성숙한 프로그램보다 뒤처집니다. 새로 시작한 에이전트를 몇 달 또는 몇 년에 걸쳐 이미 최적화한 프로그램과 비교하면, 처음에는 에이전트가 더 나빠 보이는 경우가 많습니다. 이 격차는 에이전트가 교육을 마치면 좁혀집니다. 비교하기 전에 에이전트가 교육 완료 단계에 도달할 때까지 기다리세요.
에이전트가 아직 교육 중일 때는 결과를 판단하거나, 오디언스 규모를 조정하거나, 대조군 비율을 변경하지 마세요. 이러한 행동은 노이즈를 신호로 오해하게 하거나 진행 중인 학습을 방해합니다. 대조군 비율을 변경하거나 Segment를 교체하면 그룹 간에 사용자가 다시 섞이기도 합니다. 자세한 내용은 Decisioning Studio Go 에이전트 설정하기를 참조하세요.
에이전트의 성과가 뒤처지는 것처럼 보일 때 확인할 사항
에이전트가 제대로 작동하지 않는다고 결론 내리기 전에 다음을 확인하세요.
- 교육 완료 단계에 도달했나요? 그렇지 않다면 교육 기간의 결과를 보고 있는 것입니다. 기다리세요.
- 무엇과 비교하고 있나요? 가장 깔끔한 기본 비교 방식은 에이전트를 무작위 대조군과 비교하는 것입니다. 성숙한 기존 운영 프로그램과 비교한다면 초기에 격차가 있을 것으로 예상하세요. Decisioning Studio Go 측정하기를 참조하세요.
- 오디언스가 실제 클릭을 충분히 만들어내고 있나요? 신호 대기 중 단계에서 벗어나지 못하거나 교육 중 단계를 벗어나는 속도가 느리다면, 오디언스가 너무 작거나 인게이지먼트가 너무 낮을 수 있습니다.
- 크리에이티브 간에 의미 있는 차이가 있나요? 에이전트에게 모든 옵션이 비슷하게 보인다면 최적화할 여지가 거의 없습니다. 크리에이티브 설정 및 관리를 참조하세요.
실행 기간
에이전트는 최소 30일 동안 실행할 계획을 세우고, 가능하면 상시 실행하세요. 30일이면 대부분의 프로그램이 교육을 마치고 신뢰할 수 있는 결과를 얻기에 충분합니다. 계속 실행하면 에이전트가 꾸준히 개선될 수 있습니다. 새로운 크리에이티브로 교체하는 방식으로 시즌성 Campaign(캠페인)도 지원할 수 있습니다.
에이전트가 교육 완료 단계에 도달한 후 리프트를 확인하고 현재 프로그램과 비교하는 방법은 Decisioning Studio Go 측정하기를 참조하세요.