실험 경로에 사용된 개인화된 경로
개인화된 경로는 캠페인의 개인화된 배리언트와 유사하며, 전환 가능성에 따라 개별 사용자에 대한 캔버스 여정의 모든 지점을 개인화할 수 있습니다.
개인화된 경로 작동 방식
실험 경로 단계에서 개인화된 경로가 켜져 있는 경우 캔버스가 한 번만 보내도록 설정되어 있는지 또는 반복하도록 설정되어 있는지에 따라 동작이 약간 달라집니다:
- 단일 전송 캔버스: 사용자 그룹이 지연 그룹에 보류됩니다. 나머지 사용자들은 초기 테스트를 거쳐 사용자가 구성한 기간(최상의 결과를 위해 최소 24시간) 동안 유사 모델을 훈련합니다. 테스트가 끝나면 어떤 사용자 행동이 주어진 경로에서 전환 가능성이 높은지 학습하는 모델이 만들어집니다. 마지막으로, 지연 그룹의 각 사용자는 초기 테스트에서 유사 모델이 학습한 행동과 유사 모델을 기반으로 전환으로 이어질 가능성이 가장 높은 경로로 이동합니다.
- 반복, 액션 트리거 및 API 트리거 캔버스: 지정된 기간 동안 실험 경로를 입력하는 모든 사용자에 대해 초기 실험이 수행됩니다. 실험의 무결성을 유지하기 위해 사용자가 창이 종료되기 전에 여러 개의 메시지를 받는 경우 매번 동일한 배리언트에 할당됩니다. 실험 기간이 끝나면 각 사용자에게 전환으로 이어질 가능성이 가장 높은 경로로 이동합니다.
개인화된 경로 사용
1단계: 실험 경로 추가
캔버스에 실험 경로를 추가한 다음 개인화된 경로를 켭니다.
2단계: 개인화된 경로 설정 구성
당첨자를 결정할 전환 이벤트를 지정합니다. 사용 가능한 전환 이벤트가 없는 경우 캔버스 설정의 첫 번째 단계로 돌아가서 전환 이벤트를 할당합니다. 열기 또는 클릭이 있는 전환 이벤트를 선택하여 당첨자를 결정하는 경우, 열기 또는 클릭을 생성하는 경로의 첫 번째 메시지 단계만 당첨자 결정에 기여합니다. 경로의 후속 단계는 고려되지 않습니다.
그런 다음 실험 기간을 설정합니다. 실험 기간에서는 지연 그룹의 각 사용자에게 가장 적합한 경로를 선택하기 전에 사용자를 모든 경로로 전송할 기간을 결정합니다. 기간은 첫 번째 사용자가 단계에 들어가면 시작됩니다.
3단계: 폴백 결정
기본적으로 테스트 결과가 통계적으로 유의미한 승자를 결정하기에 충분하지 않은 경우, 모든 향후 사용자는 가장 성능이 좋은 단일 경로로 보내집니다.
또는 향후 모든 사용자에게 경로 혼합을 계속 보내기를 선택할 수도 있습니다.
이 옵션을 선택하면 실험 경로 분포에 지정된 비율에 따라 향후 사용자에게 경로 혼합을 보냅니다.
4단계: 경로를 추가하고 캔버스를 시작합니다.
하나의 실험 경로 구성 요소에는 최대 4개의 경로를 포함할 수 있습니다. 단, 단일 전송 캔버스의 경우 개인화된 경로가 켜져 있는 경우 최대 3개의 경로를 추가할 수 있습니다. 네 번째 경로는 Braze가 실험에 자동으로 추가하는 지연 그룹을 위해 예약해야 합니다.
필요에 따라 캔버스 설정을 완료한 다음 캔버스를 실행합니다. 첫 번째 사용자가 실험에 참여하면 캔버스에서 분석이 들어오는 것을 확인하고 실험의 성과를 추적할 수 있습니다.
실험 기간이 지나고 실험이 완료되면 Braze는 유사 모델의 추천을 기반으로 전환 가능성이 가장 높은 개인화된 경로로 지연 그룹에 속한 사용자를 보냅니다.
하나의 실험 경로에서 최대 4개의 경로를 테스트할 수 있습니다. 경로를 추가하고 필요에 따라 캔버스 설정을 완료한 다음 실행합니다.
첫 번째 사용자가 실험에 참여하면 캔버스에서 분석이 들어오는 것을 확인하고 실험의 성과를 추적할 수 있습니다.
실험 기간이 지나고 실험이 완료되면 이후 캔버스에 입장하는 모든 사용자는 전환으로 이어질 가능성이 가장 높은 경로로 이동하게 됩니다.
분석
개인화된 경로가 켜져 있는 경우 분석 보기가 두 개의 탭으로 분리됩니다: 초기 실험 및 개인화된 경로.
초기 실험 탭에는 실험 기간 동안 각 경로에 대한 메트릭이 표시됩니다. 지정된 전환 이벤트에 대해 모든 경로가 어떻게 수행되었는지에 대한 요약을 확인할 수 있습니다.
기본적으로 이 테스트는 사용자의 사용자 지정 이벤트와 경로 기본 설정 간의 연관성을 찾습니다. 이 분석은 커스텀 이벤트가 특정 경로에 대한 응답 가능성을 높이거나 낮추는지를 감지합니다. 그런 다음 이러한 관계를 사용하여 실험 기간이 지난 후 어떤 사용자에게 어떤 경로가 할당되는지 결정합니다.
사용자 지정 이벤트와 메시지 환경설정 간의 관계는 초기 실험 탭의 표에 표시되어 있습니다.
테스트에서 사용자 지정 이벤트와 경로 기본 설정 간에 의미 있는 관계를 찾을 수 없는 경우 테스트는 세션 기반 분석 방법으로 돌아갑니다.
폴백 분석 방법
세션 기반 분석 방법
대체 방법을 사용하여 개인화된 경로를 결정하는 경우 초기 실험 탭에 특정 특성의 조합에 따라 사용자가 선호하는 변형의 분석이 표시됩니다.
이러한 특성은 다음과 같습니다:
- 최근: 마지막으로 세션을 진행한 시기
- 빈도: 세션이 열리는 빈도
- 보유 기간: 사용자로 활동한 기간
최근성은 고객과의 마지막 상호작용이 얼마나 최근인지, 빈도는 얼마나 자주 참여하는지, 지속성은 고객과 소통한 전체 기간으로 생각하면 됩니다. 사용자 특성 표에 설명된 대로 이 세 가지를 기준으로 사용자를 ‘버킷’으로 그룹화한 다음, 어떤 버킷이 어떤 경로를 더 좋아하는지 확인합니다. 마지막으로 쇼핑한 시기, 쇼핑 빈도, 고객 가입 기간에 따라 사용자를 수백 가지의 다양한 목록으로 분류하는 것과 같습니다.
사용자에게 전달할 메시지를 선택할 때, Braze는 사용자가 어떤 버킷에 속하는지 살펴봅니다. 각 버킷은 사용자의 경로 선택에 뚜렷한 영향을 미칩니다. 과거의 행동을 기반으로 미래의 행동을 예측하는 방법인 로지스틱 회귀라는 통계적 방법을 사용하여 이러한 영향력을 정량화합니다. 이 방법은 초기 메시지 전송 중 사용자 상호작용을 설명합니다. 이 표는 각 버킷의 사용자가 어떤 경로로 참여하는 경향이 있는지만 표시하여 결과를 요약한 것입니다.
궁극적으로 Braze는 이 모든 데이터를 결합하여 각 사용자에 대한 맞춤형 메시지 경로를 선택함으로써 사용자에게 최대한 매력적이고 관련성 있는 메시지를 전달합니다.
각 버킷의 시간 간격은 캔버스별 사용자 데이터에 따라 결정되며, 캔버스마다 다를 수 있습니다.
개인화된 경로가 선택되는 방법
이 방법을 사용하면 개별 사용자의 추천 메시지는 특정 최근성, 빈도 및 사용 기간에 따른 효과의 합이 됩니다. 사용자 특성 표에 표시된 것처럼 최근성, 빈도 및 재직 기간은 버킷으로 나뉩니다. 각 버킷의 시간 범위는 각 개별 캔버스에 있는 사용자의 데이터에 따라 결정되며 캔버스마다 변경됩니다.
각 버킷은 각 경로에 대해 서로 다른 기여도 또는 “푸시”를 가질 수 있습니다. 각 버킷에 대한 푸시 강도는 로지스틱 회귀를 사용하여 초기 실험에서 사용자 응답을 통해 결정됩니다. 이 표는 각 버킷의 사용자가 어떤 경로로 참여하는 경향이 있는지만 표시하여 결과를 요약한 것입니다. 개별 사용자의 실제 개인화된 경로는 각 특성에 대해 하나씩 포함된 세 개의 버킷 효과의 합에 따라 달라집니다.
개인화된 경로 탭에는 지연 그룹의 사용자에게 가장 성과가 좋은 경로가 전송된 최종 실험의 결과가 표시됩니다.
이 페이지의 세 장의 카드는 예상 상승률, 전체 결과, 그리고 승리의 길만 보냈을 때의 예상 결과를 보여줍니다. 간혹 발생할 수 있는 상승이 없더라도 결과는 기존 A/B 테스트에서 우승 경로만 전송하는 것과 동일합니다.
- 예상 상승도: 모든 사용자를 전체적으로 가장 실적이 좋은 경로로 보내는 대신 개인화된 경로를 사용하여 선택한 전환 이벤트가 개선되었습니다.
- 전체 결과: 전환 이벤트를 기반으로 한 두 번째 전송 결과입니다.
- 예상 결과: 위닝 배리언트만 전송했을 경우 선택한 최적화 측정기준을 기반으로 한 두 번째 전송의 예상 결과입니다.
현지 시간 배송으로 맞춤 경로 사용
개인화된 경로가 있는 캔버스에서는 현지 시간 전달을 사용하지 않는 것이 좋습니다. 이는 첫 번째 사용자가 통과할 때 실험 기간이 시작되기 때문입니다. 매우 이른 시간대에 있는 사용자는 예상보다 훨씬 일찍 단계에 진입하여 실험 기간의 시작을 트리거할 수 있으며, 이로 인해 일반적인 시간대에 있는 대부분의 사용자가 캔버스에 진입하여 전환할 충분한 시간을 갖기 전에 실험이 종료될 수 있습니다.
또는 로컬 전달을 사용하려면 24-48시간 이상의 실험 기간을 사용하세요. 이렇게 하면 이른 시간대의 사용자가 캔버스에 들어가서 실험을 시작해도 실험 기간에 충분한 시간이 남아 있습니다. 이후 시간대의 사용자는 캔버스와 개인화된 경로가 있는 실험 단계에 들어가 실험 기간이 만료되기 전에 전환할 수 있는 충분한 시간을 가질 수 있습니다.
GitHub 에서 이 페이지를 편집합니다.