Decisioning Studio Go 측정
이 가이드에서는 기본 제공되는 무작위 대조군을 사용하는 방법과 현재 운영 중인 기존 방식(BAU) 프로그램과 비교하는 방법으로 에이전트의 영향을 측정하는 방법을 다룹니다.
Decisioning Studio Go는 기본적으로 에이전트와 무작위 대조군을 비교하는 한 가지 비교를 제공합니다. 여기에 더해 에이전트와 현재 프로그램을 비교하는 두 번째 비교를 직접 설정할 수 있습니다. 이 가이드에서는 두 가지 비교 방법과 함께 수치를 해석하는 방법, 그리고 데이터를 자체 웨어하우스로 가져오는 방법을 설명합니다.
기본 제공 비교: 에이전트 대 무작위 대조군
모든 에이전트는 오디언스를 자동으로 두 그룹으로 나눕니다.
- Decisioning Studio 그룹은 인공지능으로 최적화된 콘텐츠를 받습니다.
- 무작위 대조군은 구성한 것과 동일한 옵션 중에서 무작위로 선택된 조합을 동일한 스케줄과 제약 조건 내에서 받습니다.
두 그룹 모두 동일한 옵션과 동일한 스케줄을 사용하므로, 두 그룹 간의 차이를 통해 에이전트의 의사 결정 효과만을 분리해서 볼 수 있습니다. 이는 언제든지 사용할 수 있는 가장 명확한 향상도 측정 방법이며, 별도로 설정할 것이 없습니다.
향상도 지표
핵심 지표는 일별 클릭한 고유 고객 수(Unique Customers Who Clicked Daily)로, 전체 클릭 수가 아니라 클릭한 고유 사용자 수를 나타냅니다. 향상도는 이 지표에서 Decisioning Studio 그룹과 무작위 대조군 간의 차이입니다.
에이전트는 실제 클릭으로부터만 학습합니다. 클릭이 집계되기 전에 자동화된 활동과 수신 거부 관련 클릭을 걸러내는 검증 필터를 거칩니다. 이 때문에 Decisioning Studio의 클릭 합계는 원시 이메일 보고서보다 낮게 나타납니다. 동일한 필터링이 두 그룹에 똑같이 적용되므로 그룹 간 비교는 여전히 유효합니다.
대조군 크기 설정
대조군의 최소 크기는 5%입니다. 오디언스 규모에 맞게 조정하세요. 오디언스 규모가 작을수록 통계적 의미를 유지하려면 비례적으로 더 큰 대조군이 필요합니다.
| 오디언스 규모 | 권장 분할 비율(Decisioning Studio / 무작위 대조군) |
|---|---|
| 20,000 – 100,000 | 80 / 20 |
| 100,000 – 1,000,000 | 90 / 10 |
| 1,000,000 – 40,000,000 | 95 / 5 |
기존 방식(BAU) 프로그램과 비교
무작위 대조군은 동일한 옵션 중 무작위로 선택된 조합과 에이전트를 비교합니다. 현재 프로그램과 에이전트를 비교하려면 BAU 비교를 직접 설정해야 합니다. Decisioning Studio Go는 BAU 그룹을 조율하거나 보고하지 않으므로 이 비교는 직접 구성해야 합니다.
1단계: 오디언스를 BAU 그룹과 에이전트 그룹으로 나누기
다음 방법 중 하나를 사용할 수 있습니다.
- Canvas에서 실험 경로 단계를 사용하여(권장) 사용자를 BAU 경로 또는 에이전트의 세그먼트로 보냅니다. Canvas 실험 경로 단계는 깔끔한 무작위 분할을 제공하며, 공정한 테스트를 설정하는 데 권장되는 방법입니다. Canvas에서 Decisioning Studio Go 사용하기를 참조하세요.
- Canvas 외부에서 무작위 버킷 번호를 사용하여 동일한 오디언스에서 BAU 그룹과 에이전트 그룹을 나눕니다.
2단계: 오디언스가 분할하기에 충분히 큰지 확인하기
에이전트 그룹은 분할 후, 그리고 무작위 대조군을 할당한 후에도 최소 20,000명의 사용자를 포함해야 합니다. 전체 오디언스가 약 40,000명 이하인 경우 BAU를 50/50으로 분할하면 각 절반이 이 최소 기준에 미치지 못합니다. 규모는 작지만 여전히 조건을 충족하는 오디언스의 경우 BAU 비율을 더 작게 설정하거나, BAU 비교 대신 기본 제공 무작위 대조군을 활용하세요.
3단계: 공정한 테스트 만들기
BAU 비교는 두 그룹이 누가 결정을 내리는지에서만 차이가 있을 때 의미가 있습니다. 출시하기 전에 다음을 확인하세요.
- 발송 방식을 동일하게 유지합니다. 에이전트의 발송 빈도를 BAU 빈도에 맞추거나 BAU 평균으로 설정하세요. 한 그룹이 다른 그룹보다 더 자주 발송하면 의사 결정이 아니라 발송량을 측정하게 됩니다.
- BAU 크리에이티브를 에이전트에 로드합니다. 모든 제목란, 클릭 유도 문안(CTA), 이미지를 BAU 그룹과 에이전트 모두가 사용할 수 있어야 합니다. 이렇게 하면 두 그룹이 동일한 콘텐츠를 사용할 수 있으므로 차이는 의사 결정을 반영하게 됩니다.
- 두 그룹에서 클릭을 집계하는 방식을 일치시켜 동일한 기준으로 비교하세요.
- 측정 기간 동안 BAU를 일정하게 유지합니다. 테스트 중에는 BAU를 다시 최적화하지 마세요.
4단계: 공정한 결과를 얻을 때까지 기다리기
아직 교육 중인 에이전트는 초기에 이미 최적화된 성숙한 BAU 프로그램보다 뒤처지는 경우가 많습니다. 이러한 격차는 예상된 것입니다. 에이전트가 완전히 교육됨 상태가 될 때까지 기다린 후 비교하세요. 자세한 내용은 출시 후 예상되는 사항을 참조하세요.
자체 웨어하우스에서 결과 분석하기
각 발송은 users.messages.email.Send 이벤트의 message_extras에 식별자를 기록합니다. 이 식별자는 모든 워크스페이스에서 자동으로 기록됩니다.
| 필드 | 설명 |
|---|---|
ds_go_agent_id |
메시지를 보낸 에이전트 |
ds_go_agent_regime |
사용자가 속한 그룹(인공지능 기반 또는 무작위 대조군) |
ds_go_rec_id |
특정 결정(추천)의 ID |
웨어하우스에서 이 필드를 분석하려면 다음을 수행하세요.
- Currents 또는 데이터 내보내기에 발송 이벤트의
message_extras가 포함되어 있는지 확인합니다. - 그룹 태그가 포함된 발송 이벤트를
user_id및dispatch_id를 기준으로 열람 및 클릭 이벤트와 조인합니다. ds_go_agent_regime값별로, 그리고 BAU와 에이전트 분할을 설정한 경우 해당 분할별로 원하는 지표를 비교합니다.
보고서 해석 방법
- 종료일을 이틀 전으로 설정하세요. 보고 데이터는 약 하루 정도 지연되므로 종료일을 이틀 전으로 설정하면 완전한 데이터를 확인할 수 있습니다.
- 출시 후 보고서에 데이터가 채워질 때까지 며칠 기다리세요. 출시 직후 보고서가 비어 있어도 정상입니다. 보고서가 아직 데이터를 수집하는 중입니다.
- 성능 및 에이전트 선호도 보기를 사용하세요. 성능은 무작위 대조군과 비교한 향상도를 보여줍니다. 에이전트 선호도는 에이전트가 각 배리언트를 얼마나 자주 선택했는지 보여줍니다.