다변량 및 A/B 테스트 FAQ

테스트 기본 사항

A/B 테스트와 다변량 테스트의 차이점은 무엇인가요?

A/B 테스트

A/B 테스트에서 마케터는 캠페인 내에서 단일 변수(예: 이메일 제목 또는 메시지 전송 시간)로 실험을 진행합니다. 여기에는 잠재 고객의 하위 집합을 무작위로 두 개 이상의 그룹으로 나누고 각 그룹에 서로 다른 변형을 제시하고 어떤 변형이 가장 높은 전환율을 보이는지 관찰하는 것이 포함됩니다. 일반적으로 가장 실적이 좋은 변형이 나머지 잠재고객에게 전송됩니다.

다변량 테스트

다변량 테스트는 A/B 테스트의 확장으로, 마케팅 담당자가 여러 변수를 한 번에 테스트하여 가장 효과적인 조합을 결정할 수 있습니다. 예를 들어 이메일 메시지의 제목, 텍스트와 함께 제공되는 이미지, CTA 버튼의 색상을 테스트해 볼 수 있습니다. 이러한 유형의 테스트를 사용하면 단일 실험 내에서 더 많은 변수와 변형 조합을 탐색하고 A/B 테스트보다 더 빠르고 포괄적으로 인사이트를 얻을 수 있습니다. 그러나 단일 실험 내에서 더 많은 변수와 조합을 테스트하려면 통계적으로 유의미한 결과를 얻으려면 더 많은 대상자가 필요합니다.

A/B 테스트 결과는 어떻게 계산되나요?

Braze는 피어슨 카이제곱 테스트를 통해 모든 변형을 서로 비교하여 하나의 변형이 다른 모든 변형을 통계적으로 유의 수준 p <0.05(95% 유의 수준)에서 우월한지 여부를 측정합니다. 이 중요도 임계값을 초과하는 모든 변형에 대해 가장 성능이 우수한 변형이 ‘승자’로 결정됩니다.

이는 0~100% 사이의 수치로 대조군과 비교한 배리언트의 성능만을 설명하는 신뢰도 점수와는 별개의 테스트입니다. 구체적으로, 이는 변형과 대조군 간의 전환율의 표준화된 차이가 우연보다 훨씬 크다는 확신을 나타냅니다.

테스트 실행 및 종료

초기 테스트는 언제 끝나나요?

단일 전송 캠페인에 당첨 변형을 사용하는 경우, 당첨 변형 전송 시간이 되면 테스트가 종료됩니다. Braze는 통계적으로 유의미한 차이로 가장 높은 전환율을 보이는 이형 상품이 승자로 간주합니다.

반복, 액션 기반 및 API 트리거 캠페인의 경우, 지능형 선택을 사용하여 각 변형의 실적 데이터를 지속적으로 추적하고 실적이 가장 우수한 변형에 대한 캠페인 트래픽을 지속적으로 최적화할 수 있습니다. 지능형 선택을 사용하면 사용자가 무작위 변형을 받는 실험 그룹을 명시적으로 정의하는 대신 Braze 알고리즘이 최고 성능의 변형을 지속적으로 개선하여 잠재적으로 최고 성능의 변형을 더 빠르게 선택할 수 있습니다.

반복 캠페인 또는 캔버스 입력 단계에서 메시지 변형을 수신한 사용자를 Braze는 어떻게 처리하나요?

사용자는 캠페인을 처음 받기 전에 특정 이형 상품에 무작위로 배정됩니다. 캠페인을 연속해서 수신할 때마다(또는 사용자가 캔버스 이형 상품을 다시 입력할 때마다) 이형 상품 비율을 수정하지 않는 한 동일한 이형 상품이 수신됩니다. 배리언트 비율이 변경되면 사용자가 다른 배리언트로 재분배될 수 있습니다. 사용자는 백분율이 다시 수정될 때까지 이러한 변형을 유지합니다. 사용자는 편집된 이형 상품에 대해서만 다시 배포됩니다.

예를 들어 세 가지 변형이 있는 캠페인이나 캔버스가 있다고 가정해 보겠습니다. 변형 A와 변형 B만 변경되거나 업데이트되는 경우, 변형 C의 변형 비율은 변경되지 않았으므로 변형 C의 사용자는 재배포되지 않습니다. 대조군은 배리언트 비율이 변하지 않으면 일관성을 유지합니다. 이전에 메시지를 받은 사용자는 나중에 메시지를 보낼 때 제어 그룹에 들어갈 수 없으며, 제어 그룹에 속한 사용자도 메시지를 받을 수 없습니다.

실험 경로는 어떻게 되나요?

실험에 따른 캔버스 경로도 변형이므로 동일하게 적용됩니다.

캠페인 및 캔버스에서 사용자를 재배포하는 조치를 취할 수 있나요?

캔버스에서 사용자를 재분배하는 유일한 방법은 실험 경로에서 무작위 경로를 사용하여 사용자가 캔버스에 다시 들어갈 때 항상 경로 할당을 무작위로 지정하는 것입니다. 그러나 이는 표준 실험이 아니며 대조군이 치료 사용자로 인해 오염될 수 있으므로 실험 결과가 무효화될 수 있습니다.

신뢰와 편견

시간이 지남에 따라 자신감이 증가하나요?

다른 모든 것이 일정하다면 신뢰도는 시간이 지남에 따라 증가합니다. 상수를 유지한다는 것은 테스트 도중에 종료되는 25% 할인 판매와 같이 이형 상품에 영향을 줄 수 있는 다른 마케팅 요인이 없다는 것을 의미합니다.

신뢰도는 Braze가 변형이 대조군과 다르다는 것을 얼마나 확신하는지를 측정한 것입니다. 더 많은 메시지를 전송할수록 테스트의 통계적 검정력이 증가하여 측정된 성능 차이가 무작위적인 우연에 의한 것이 아니라는 신뢰도가 높아집니다. 일반적으로 샘플 크기가 클수록 이형 상품과 대조 상품 간의 작은 성능 차이를 식별할 수 있는 신뢰도가 높아집니다.

대조군 및 테스트 그룹 할당으로 인해 테스트에 편향성이 발생할 수 있나요?

특정 캠페인이나 캔버스를 만들기 전 사용자의 속성이나 행동이 변형과 제어에 따라 체계적으로 달라질 수 있는 실질적인 방법은 없습니다.

사용자를 메시지 변형, 캔버스 변형 또는 각각의 대조 그룹에 할당하려면 먼저 무작위로 생성된 사용자 ID를 무작위로 생성된 캠페인 또는 캔버스 ID와 연결합니다. 다음으로, sha256 해싱 알고리즘을 적용하고 그 결과를 100으로 나눈 후 나머지를 유지합니다(100을 갖는 계수라고도 함). 마지막으로, 대시보드에서 선택한 이형 상품(및 선택적 제어)에 대한 할당 비율에 해당하는 슬라이스로 사용자를 정렬합니다.

대조군과 함께 속도 제한을 사용할 수 없는 이유는 무엇인가요?

현재 Braze는 대조군이 있는 A/B 테스트에서 속도 제한을 지원하지 않습니다. 이는 비율 제한이 변종과 같은 방식으로 대조군에는 적용되지 않아 편향이 발생하기 때문입니다. 대신 분석 및 캠페인 성과에 따라 각 변형을 수신할 사용자의 비율을 자동으로 조정하는 지능형 선택을 사용하는 것이 좋습니다.