실험 경로의 개인화된 경로
개인화된 경로는 캠페인의 개인화된 배리언트와 유사하며, 전환 가능성에 따라 개별 사용자에 대한 캔버스 여정의 모든 지점을 개인화할 수 있습니다.
개인화된 경로의 작동 방식
실험 경로 단계에서 개인화된 경로가 켜져 있는 경우, 캔버스를 한 번 보내도록 설정했는지 또는 반복하도록 설정했는지에 따라 동작이 약간 달라집니다:
- 단일 전송 캔버스: 사용자 그룹이 지연 그룹에 보류됩니다. 나머지 사용자는 초기 테스트에 참여하여 사용자가 설정한 기간(최상의 결과를 위해 최소 24시간) 동안 예측 모델을 훈련합니다. 테스트가 끝나면 어떤 사용자 행동이 주어진 경로에서 전환 가능성이 높은지 학습하는 모델이 만들어집니다. 마지막으로, 지연 그룹의 각 사용자에게는 해당 사용자가 보이는 행동과 초기 테스트에서 예측 모델이 학습한 내용을 기반으로 전환 가능성이 가장 높은 경로가 전송됩니다.
- 반복, 동작 트리거 및 API 트리거 캔버스: 지정된 기간 동안 실험 경로를 입력한 모든 사용자에 대해 초기 실험이 수행됩니다. 실험의 통합성을 유지하기 위해 실험 기간이 끝나기 전에 사용자가 여러 메시지를 수신하는 경우 매번 동일한 배리언트에 할당됩니다. 실험 기간이 끝나면 각 사용자에게 전환 가능성이 가장 높은 경로로 이동합니다.
개인화된 경로 사용
1단계: 실험 경로 추가하기
캔버스에 실험 경로를 추가한 다음 개인화된 경로를 켭니다.
2단계: 개인화된 경로 설정 구성하기
당첨자를 결정할 전환 이벤트를 지정합니다. 사용 가능한 전환 이벤트가 없는 경우 캔버스 설정의 첫 번째 단계로 돌아가서 전환 이벤트를 할당합니다.
전환 이벤트로 열기 또는 클릭을 선택하는 경우 경로의 첫 번째 단계가 메시지 단계인지 확인하세요. Braze는 각 경로의 첫 번째 메시지 단계부터의 참여만 계산합니다. 경로가 다른 단계(예: 지연 또는 오디언스 경로 단계)로 시작하고 메시징이 나중에 오는 경우 해당 메시지는 성능/성과를 평가할 때 포함되지 않습니다.
그런 다음 실험 창을 설정합니다. 실험 기간에서는 지연 그룹의 각 사용자에게 가장 적합한 경로를 선택하기 전에 사용자를 모든 경로로 전송할 기간을 결정합니다. 첫 번째 사용자가 단계에 들어가면 창이 시작됩니다.
3단계: 대체 방법 결정하기
기본값으로 테스트 결과가 통계적으로 유의미한 승자를 결정하기에 충분하지 않은 경우, 향후 모든 사용자는 가장 성능이 좋은 단일 경로로 보내집니다.
또는 향후 모든 사용자에게 경로 혼합을 계속 보내기를 선택할 수도 있습니다.
이 옵션을 선택하면 실험 경로 분포에 지정된 비율에 따라 향후 사용자에게 경로 혼합을 보냅니다.
4단계: 경로를 추가하고 캔버스를 실행합니다.
하나의 실험 경로 컴포넌트에는 최대 4개의 경로를 포함할 수 있습니다. 단, 단일 전송 캔버스의 경우 개인화된 경로가 켜져 있는 경우 최대 3개의 경로를 추가할 수 있습니다. 네 번째 경로는 Braze가 실험에 자동으로 추가하는 지연 그룹을 위해 예약해야 합니다.
필요에 따라 캔버스 설정을 완료한 다음 실행합니다. 첫 번째 사용자가 실험에 참여하면 캔버스에서 분석이 들어오는 것을 확인하고 실험의 성능/성과를 추적할 수 있습니다.
실험 기간이 지나고 실험이 완료되면, Braze는 예측 모델의 추천에 따라 지연 그룹의 사용자를 개인화된 전환 가능성이 가장 높은 경로로 보냅니다.
하나의 실험 경로에서 최대 4개의 경로를 테스트할 수 있습니다. 경로를 추가하고 필요에 따라 캔버스 설정을 완료한 다음 실행합니다.
첫 번째 사용자가 실험에 참여하면 캔버스에서 분석이 들어오는 것을 확인하고 실험의 성능/성과를 추적할 수 있습니다.
실험 창이 지나고 실험이 완료되면 이후 캔버스에 들어오는 모든 사용자는 전환 가능성이 가장 높은 경로로 이동합니다.
분석
개인화된 경로가 켜져 있으면 분석 보기가 두 개의 탭으로 분리됩니다: 초기 실험 및 개인화된 경로.
초기 실험 탭에는 실험 기간 동안 각 경로에 대한 측정기준이 표시됩니다. 지정된 전환 이벤트에 대한 모든 경로의 성능/성과를 요약하여 확인할 수 있습니다.
각 사용자에게 가장 적합한 성능/성과를 내는 경로를 결정하기 위해 보낸 초기 실험 결과입니다. 표는 타겟 채널에 대한 다양한 측정기준을 기반으로 각 경로의 성능/성과를 보여줍니다.](/docs/ko/assets/img/experiment_step/experiment_personalized_analytics_tab1.png?c818da2ab55763e22b814179912681cd)
기본적으로 테스트는 사용자의 커스텀 이벤트와 경로 기본 설정 간의 연관성 또는 사용자가 가장 잘 반응하는 메시지 배리언트를 찾습니다. 이 분석은 커스텀 이벤트가 특정 경로에 대한 응답 가능성을 높이거나 낮추는지를 감지합니다. 그런 다음 이러한 관계를 사용하여 실험 기간이 지난 후 어떤 사용자에게 어떤 경로가 할당될지 결정합니다.
커스텀 이벤트와 경로 기본 설정 간의 관계는 초기 실험 탭의 표에 표시됩니다.
테스트에서 커스텀 이벤트와 경로 기본 설정 간에 의미 있는 관계를 찾을 수 없는 경우 테스트는 세션 기반 분석 방법으로 돌아갑니다.
Fallback analysis method
세션 기반 분석 방법
대체 방법을 사용하여 개인화된 경로를 결정하는 경우 초기 실험 탭에 특정 특성의 조합에 따라 사용자가 선호하는 배리언트의 분석이 표시됩니다.
이러한 특성은 다음과 같습니다:
- 최근: 마지막으로 세션을 진행한 시기
- 빈도: 세션이 있는 빈도
- 테뉴어: 사용자로 활동한 기간
최근성, 빈도, 재직 기간에 따라 세 가지 버킷에 속하는 사용자가 경로 1과 경로 2를 선호할 것으로 예측되는 사용자 특성 표입니다.](/docs/ko/assets/img/experiment_step/experiment_personalized_analytics_tab1_2.png?985be390a882c1aa247fb7ae80986258)
최근성은 회원님과 마지막으로 상호작용한 시점을, 빈도는 회원님의 참여 빈도를, 활동 기간은 회원님이 회원님과 함께한 전체 기간을 의미합니다. 사용자 특성 표에 설명된 대로 이 세 가지를 기준으로 사용자를 ‘버킷’으로 그룹화한 다음, 어떤 버킷이 어떤 경로를 더 좋아하는지 확인합니다. 마지막으로 쇼핑한 시기, 쇼핑 빈도, 고객 가입 기간에 따라 사용자를 수백 가지의 다양한 목록으로 분류하는 것과 같습니다.
사용자에게 전달할 메시지를 선택할 때 Braze는 사용자가 어떤 버킷에 속하는지 살펴봅니다. 각 버킷은 사용자의 경로 선택에 뚜렷한 영향을 미칩니다. 과거의 행동을 기반으로 미래의 행동을 예측하는 방법인 로지스틱 회귀라는 통계적 방법을 사용하여 이러한 영향력을 정량화합니다. 이 방법은 초기 메시지 전송 중 사용자 상호작용을 설명합니다. 이 표는 각 버킷의 사용자가 어떤 경로에 참여하는 경향이 있는지를 표시하여 결과를 요약한 것입니다.
궁극적으로 Braze는 이 모든 데이터를 결합하여 각 사용자에 대한 맞춤형 메시지 경로를 선택함으로써 사용자의 참여도와 관련성을 최대한 높일 수 있습니다.
각 버킷의 시간 간격은 캔버스별 사용자 데이터에 따라 결정되며, 캔버스마다 다를 수 있습니다.
개인화된 경로를 선택하는 방법
이 방법을 사용하면 개별 사용자의 추천 메시지는 특정 사용자의 최근성, 빈도 및 사용 기간에 따른 효과의 합으로 결정됩니다. 사용자 특성 표에 표시된 것처럼 최근성, 빈도 및 재직 기간은 버킷으로 나뉩니다. 각 버킷의 시간 범위는 각 개별 캔버스의 사용자 데이터에 따라 결정되며 캔버스마다 변경됩니다.
각 버킷은 각 경로에 대해 서로 다른 기여도 또는 ‘푸시’를 가질 수 있습니다. 각 버킷에 대한 푸시의 강도는 로지스틱 회귀를 사용하여 초기 실험에서 사용자 응답을 통해 결정됩니다. 이 표는 각 버킷의 사용자가 어떤 경로에 참여하는 경향이 있는지를 표시하여 결과를 요약한 것입니다. 개별 사용자의 실제 개인화된 경로는 각 특성에 대해 하나씩 있는 세 개의 버킷의 효과의 합에 따라 달라집니다.
개인화된 경로 탭에는 지연 그룹의 사용자에게 가장 성과가 좋은 경로로 전송된 최종 실험의 결과가 표시됩니다.
이 페이지의 세 장의 카드는 예상 상승률, 전체 결과, 그리고 승리의 길만 보냈을 때의 예상 결과를 보여줍니다. 간혹 발생할 수 있는 리프트가 없는 경우에도 결과는 기존 A/B 테스트에서 우승 경로만 전송하는 것과 동일합니다.
- 예상 리프트: 모든 사용자를 전체적으로 가장 성과가 좋은 경로로 보내는 대신 개인화된 경로를 사용함으로써 선택한 전환 이벤트의 성과가 향상되었습니다.
- 전체 결과: 전환 이벤트에 따른 두 번째 전송 결과입니다.
- 예상 결과: 위닝 배리언트만 전송했을 경우 선택한 최적화 측정기준에 따라 두 번째 전송의 예상 결과입니다.
캔버스에 대한 개인화된 경로 탭. 카드에는 예상 상승률, 전체 전환 수(개인화된 경로 포함), 예상 고유 열람 수(승리 경로 포함)가 표시됩니다.](/docs/ko/assets/img/experiment_step/experiment_personalized_analytics_tab2.png?6cb09b26792cb868834307281ddd11c8)
현지 시간 전달과 함께 개인화된 경로 사용
개인화된 경로가 있는 캔버스에서는 현지 시간 전달을 사용하지 않는 것이 좋습니다. 이는 첫 번째 사용자가 통과할 때 실험 창이 시작되기 때문입니다. 매우 이른 시간대에 있는 사용자는 예상보다 훨씬 일찍 단계에 진입하여 실험 기간의 시작을 트리거할 수 있으며, 이로 인해 일반적인 시간대에 있는 대부분의 사용자가 캔버스에 진입하여 전환할 충분한 시간을 갖기 전에 실험이 종료될 수 있습니다.
또는 현지 배송을 사용하려면 24-48시간 이상의 실험 기간을 사용하세요. 이렇게 하면 이른 시간대의 사용자가 캔버스에 들어가 실험을 트리거하여 시작해도 실험 창에 충분한 시간이 남아 있습니다. 이후 시간대의 사용자는 개인화된 경로가 있는 캔버스 및 실험 단계에 들어가 실험 기간이 만료되기 전에 전환할 수 있는 충분한 시간을 가질 수 있습니다.
GitHub 에서 이 페이지를 편집합니다.
