실험 경로

실험 경로를 사용하면 사용자 여정의 어느 지점에서든 여러 Canvas 경로를 서로 비교하고 대조군과 비교할 수 있습니다. 이 구성요소를 사용하면 경로 성능을 추적하여 Canvas 여정에 대해 정보에 기반한 결정을 내릴 수 있습니다.

사용자 여정에 실험 경로 단계를 포함하면, 생성한 여러 경로(또는 선택적 대조군)에 사용자를 무작위로 할당합니다. 오디언스의 일부가 선택한 비율에 따라 서로 다른 경로에 할당되므로, 서로 다른 메시지나 경로를 비교하여 어떤 것이 가장 효과적인지 판단할 수 있습니다.

사전 요구 사항

실험 경로를 사용하려면 Canvas에 전환 이벤트가 포함되어 있어야 합니다. Canvas가 시작된 후에는 전환 이벤트를 추가할 수 없지만, 시작된 Canvas를 복제하고 전환 이벤트를 추가하여 실험 경로를 추가할 수 있습니다.

사용 사례

실험 경로는 전달, 케이던스, 메시지 문구, 채널 조합을 테스트하는 데 가장 적합합니다.

• 전달: 서로 다른 시간 지연으로 전송된 메시지, 사용자 행동(작업 경로)에 기반한 메시지, 그리고 Intelligent Timing을 사용한 메시지 간의 결과를 비교하세요.
  
  
• 케이던스: 특정 기간 동안 여러 메시징 흐름을 테스트하세요. 예를 들어, 두 가지 온보딩 케이던스를 테스트할 수 있습니다:
  • 케이던스 1: 사용자의 첫 2주 동안 2개의 메시지 전송
  • 케이던스 2: 사용자의 첫 2주 동안 3개의 메시지 전송

  휴면 사용자를 타겟팅할 때, 일주일에 윈백 메시지를 2개 보내는 것과 1개만 보내는 것의 효과를 테스트할 수 있습니다.

• 메시지 문구: 표준 A/B 테스트와 마찬가지로, 다양한 메시지 문구를 테스트하여 어떤 표현이 더 높은 전환율을 이끌어내는지 확인할 수 있습니다.
  
  
• 채널 조합: 서로 다른 메시지 채널 조합의 효과를 테스트하세요. 예를 들어, 이메일만 사용하는 것과 이메일과 푸시를 결합하여 사용하는 것의 영향을 비교할 수 있습니다.

실험 경로 만들기

실험 경로 구성 요소를 만들려면 먼저 Canvas에 단계를 추가하세요. 사이드바에서 구성 요소를 끌어다 놓거나, 단계 하단의 더하기 버튼을 선택한 다음 Experiment Paths를 선택하세요.

이 구성 요소의 기본 구성에는 Path 1과 Path 2라는 두 개의 기본 경로가 있으며, 오디언스의 50%가 각 경로로 전송됩니다. 구성 요소를 선택하면 실험 설정 패널이 확장되어 구성 요소의 설정 옵션을 확인할 수 있습니다.

1단계: 경로 수 및 오디언스 분배 선택

Add Path를 선택하여 최대 4개의 경로를 추가할 수 있으며, Add a Control Group을 선택하여 선택적 대조군을 추가할 수 있습니다. 각 경로의 퍼센트 상자를 사용하여 각 경로와 대조군으로 이동할 오디언스의 비율을 지정할 수 있습니다. 제공된 백분율의 합계가 100%가 되어야 진행할 수 있습니다. 사용 가능한 모든 경로(및 대조군)를 동일한 비율로 빠르게 설정하려면 Distribute Paths Evenly를 선택하세요.

또한 대조군 동작 설정에서 대조군의 사용자가 Canvas를 계속 진행할지 또는 전환 추적 기간 이후 이탈할지 선택할 수 있습니다. 선택적으로 이 실험 경로가 테스트하려는 내용을 설명하거나 참고할 만한 추가 정보를 포함하는 설명을 추가할 수 있습니다.

2단계: 위닝 경로 활성화(선택 사항)

실험을 최적화하려면 위닝 경로를 활성화하세요. 위닝 경로는 처음에 오디언스의 일부로 경로를 테스트합니다. 실험이 종료된 후 Braze는 나머지 및 후속 사용자를 가장 성능이 좋은 경로로 전송합니다.

3단계: 경로 만들기

다음으로 하위 경로를 구성하세요. Done을 선택하고 Canvas 빌더로 돌아가세요. 각 경로 아래의 더하기 버튼을 선택하여 일반적인 Canvas 도구를 사용해 필요에 따라 여정을 구성하고, 준비가 되면 Canvas를 시작하세요.

경로와 하위 단계는 생성된 후에는 Canvas에서 제거할 수 없다는 점에 유의하세요. 그러나 시작된 후에는 필요에 따라 경로 간 오디언스 분배를 수정할 수 있습니다. 예를 들어, Canvas 시작 후 하루 뒤에 분석을 기반으로 하나의 경로가 나머지보다 우수하다고 판단되면, 해당 경로를 100%로 설정하고 나머지를 0%로 설정할 수 있습니다. 또는 필요에 따라 여러 경로로 사용자를 계속 전송할 수 있습니다.

성과 추적

Canvas 분석 페이지에서 실험 경로를 선택하면 경로 간 세부 성과 및 전환 통계를 비교할 수 있는 배리언트 분석 탭과 동일한 상세 테이블이 열립니다. CSV로 테이블을 내보낼 수도 있으며, 선택한 경로 또는 대조군 대비 관심 측정기준의 변화율을 비교할 수 있습니다.

각 경로의 모든 단계는 일반 캔버스 단계와 마찬가지로 Canvas 분석 뷰에서 통계를 표시합니다. 그러나 개별 단계 분석과 실험 경로 분석은 전환을 다르게 측정한다는 점에 유의하세요.

• 실험 경로 분석은 사용자가 실험 경로 단계에 진입한 시점부터 전환을 추적합니다. 모든 경로가 동일한 시작점을 공유하므로, 경로 간 성과를 비교할 때 이 뷰를 사용하는 것이 권장됩니다.
• 개별 단계 분석(예: 메시지 단계 분석)은 사용자가 해당 특정 단계를 수신한 시점(예: 메시지가 발송된 시점)부터 전환을 추적합니다.

이러한 전환 기간의 시작점이 다르기 때문에 동일한 경로에 대해 다른 전환율이 표시될 수 있으며, 특히 실험 단계와 하위 메시지 사이에 지연이 있는 경우 차이가 두드러집니다. 경로 간 가장 신뢰할 수 있는 비교를 위해 실험 경로 분석을 사용하세요.

위닝 경로 성과

위닝 경로를 사용하면 시간 경과에 따른 성과를 추적하고, 후속 사용자를 가장 성과가 좋은 경로로 자동으로 전송할 수 있습니다. 자세한 내용은 위닝 경로 분석을 참조하세요.

위닝 측정기준과 실험 경로에 표시되는 분석은 서로 다를 수 있습니다.

• Winning Path에 설정한 전환 이벤트는 Braze가 실험 기간 동안 경로를 비교하고 우승자를 선택하는 방식을 결정합니다.
• 실험 경로 분석은 여전히 나머지 Canvas와 동일한 Canvas 전환 이벤트 프레임워크를 따르며, 주요 전환 이벤트도 포함됩니다. 따라서 대시보드에서 강조되는 측정기준이 위닝 측정기준과 일치하지 않을 수 있습니다.
• 푸시의 경우, 직접 열람과 총 열람은 다릅니다. 자세한 내용은 영향받은 열람을 참조하세요.

추가 설정

실험 경로는 각 단계에 진입하고 할당된 경로에서 전환한 사용자를 기록합니다. 이는 Canvas 설정에서 지정한 모든 전환 이벤트를 추적합니다. 추가 설정 탭에서 이 실험이 전환을 추적할 기간을 1일에서 30일 사이로 입력하세요. 여기서 지정한 기간은 Canvas 설정에서 선택한 전환 이벤트가 실험에서 추적되는 기간을 결정합니다. Canvas 설정에서 지정한 이벤트별 전환 기간은 이 단계의 추적에 적용되지 않으며, 이 전환 기간으로 대체됩니다.

전환 기간은 하위 메시지가 발송되는 시점이 아니라, 사용자가 실험 경로 단계에 진입한 시점부터 시작됩니다. 경로에 지연 단계나 Intelligent Timing 같은 지연이 포함되어 있으면, 해당 지연이 전환 기간의 일부를 소모합니다.

자주 묻는 질문

실험 분할이 균등한데 경로별 발송 수가 다른 이유는 무엇인가요?

다운스트림 _발송 수_는 실험 경로의 비율 분할뿐만 아니라, 각 경로의 단계, 지연, 채널 적격 여부 및 콘텐츠에 따라 달라집니다. 예를 들어, 지연 시간, Intelligent Timing, 또는 구독 상태가 다르면 경로 할당이 균등하더라도 실제로 메시지를 수신하는 사용자 수가 달라질 수 있습니다. 경로 성과를 비교하려면 공통 진입 지점에서 전환을 측정하는 실험 경로 분석을 사용하세요.

실험 전환 기간은 얼마나 지속되나요?

추가 설정 전환 기간(1~30일)은 사용자가 실험 경로 단계에 진입하는 시점부터 시작됩니다. 다운스트림 지연 단계에서 소요되는 시간이나 Intelligent Timing을 기다리는 시간도 해당 기간에 포함됩니다. 자세한 내용은 성과 추적을 참조하세요.