성과 보고서

성과 보고서는 의사결정 에이전트가 대조군과 비교하여 어떤 성과를 보이는지 보여줍니다. 이 가이드에서는 보고서의 각 섹션이 무엇을 나타내는지, 측정기준이 어떻게 계산되는지, 그리고 결과를 어떻게 해석하는지 설명합니다.

보고서가 구성되는 방식

성능 보고서는 사용 사례에 맞게 완전히 커스터마이즈된 레이어로 구성됩니다. 팀과 협력하여 다음과 같이 진행합니다:

1. Braze가 액션의 기준을 정의합니다(예: 발송, 클릭, 구매 또는 전환).
2. Braze가 해당 액션을 일별로 측정하는 방법을 정의합니다(볼륨, 매출, 고유 사용자 등).
3. Braze가 확인하고자 하는 비즈니스 측정기준을 정의합니다(예: 전환율 또는 사용자당 매출).
4. 시간 규칙과 세분화가 적용됩니다.
5. Performance 탭에 결과가 표시됩니다.

대시보드에서 새로운 데이터가 생성되지는 않습니다. 해당 정의에 기반하여 저장된 일별 결과를 시각화합니다.

날짜 범위 및 비교 그룹

대시보드 상단에서 다음을 선택합니다:

• 날짜 범위: 보고서의 기간입니다.
• 비교 그룹: 비교할 그룹입니다(예: Decisioning Studio 대 Business as Usual).
• 집계: 차트 집계 설정입니다(일별, 7일 이동 평균 또는 30일 이동 평균).
• Segments: 적용된 Segments입니다. AI Decisioning 서비스 팀과 함께 커스텀 구성됩니다.
• 타임라인 이벤트: 구성된 타임라인 이벤트를 차트에 오버레이하여 성능에 영향을 줄 수 있는 변경 사항이나 이벤트를 이해하는 데 도움을 줄지 여부입니다.

이러한 선택에 따라 포함되는 날짜, 비교 대상 그룹, 추세선의 평활 방식, 그리고 보고 있는 모집단이 결정됩니다.

날짜 선택기에서 최근 날짜를 선택할 수 없는 경우, 구성된 데이터 지연으로 인해 해당 날짜가 비활성화되었을 가능성이 있습니다. 날짜 가용성을 제한할 수 있는 지연에는 두 가지 유형이 있습니다:

• 데이터 파이프라인 지연: 고객 데이터 플랫폼에서 Decisioning Studio로 데이터를 수집하고 처리하는 데 걸리는 시간입니다. 이를 통해 보고서에 완전하고 신뢰할 수 있는 데이터만 표시됩니다.
• 추천 활성화 지연: Decisioning Studio 엔진이 추천을 예측한 시점과 이를 Campaign에서 활성화하는 시점 사이의 시간입니다. 추천이 아직 활성화되지 않은 날짜는 보고서에 포함되지 않습니다.

이러한 지연은 사용 사례에 맞게 구성됩니다. 특정 보고 기간을 이해해야 하는 경우 AI Success 매니저에게 문의하세요.

KPI 카드

보고서 기본 측면에 있는 KPI 카드는 사용 사례에 맞게 구성된 핵심 성과 지표(KPI)를 보여줍니다. 예를 들면 다음과 같습니다.

• 고객당 증분 LTV
• 고객당 전환
• 고객당 탈퇴

각 카드는 선택한 전체 기간에 걸쳐 계산된 KPI를 나타냅니다. 이 값은 일일 평균이 아닌 전체 기간 값입니다. 예를 들어, “고객당 증분 LTV = 3.192”가 표시된다면, 이는 선택한 전체 기간의 성능을 반영한 것입니다.

KPI 추세 차트

차트를 사용하여 시간에 따른 추세, 성능 변화, 계절성 또는 타이밍 효과를 파악할 수 있습니다. KPI 카드를 사용하면 전체 기간에 걸친 종합적인 영향을 이해할 수 있습니다. 중앙 차트는 상단 카드와 동일한 KPI를 일별로 계산하여 보여줍니다. 각 점은 해당 일자의 KPI 값을 나타냅니다. 7일 롤링을 선택한 경우, 각 점은 롤링 평균을 반영하여 일별 변동성을 완화합니다.

차트와 KPI 카드는 서로 다른 내용을 보여주도록 설계되었습니다. 차트는 일별 성능을 보여줍니다(“매일 어떤 성과를 거두었는가?”). KPI 카드는 전체 기간 성능을 보여줍니다(“전체 기간에 걸쳐 어떤 성과를 거두었는가?”). 비율 측정기준의 경우, 두 가지는 서로 다른 질문에 답합니다.

다음과 같은 전환율 예시를 살펴보겠습니다:

• 1일차: 100명의 고객 중 10건의 전환 = 10%
• 2일차: 10명의 고객 중 2건의 전환 = 20%

차트는 두 값을 모두 보여줍니다. KPI 카드는 두 일자를 합산하여 재계산합니다(12건의 전환 / 110명의 고객 = 10.9%), 10%와 20%의 평균이 아닙니다.

상승 효과 차트

상승 효과 차트는 비교 그룹 간의 백분율 차이를 보여줍니다. 계산 방식은 다음과 같습니다: (기본 그룹 - 비교 그룹) / 비교 그룹. 이 값은 KPI 차트 값을 기반으로 동적으로 계산됩니다.

집계 테이블

보고서 하단의 테이블에는 선택한 날짜 범위에 대한 원시 합계가 표시됩니다. 예를 들면 다음과 같습니다:

• 총 증분 LTV
• 총 고객 수
• 도출된 KPI 값

이 섹션은 각 뷰 간의 관계를 보여줍니다:

• KPI 카드는 기간 수준의 계산입니다.
• 차트는 일별 계산입니다.
• 테이블은 KPI를 구성하는 기본 합계를 보여줍니다.

드라이버 트리

드라이버 트리는 KPI를 구성 요소 드라이버로 분해합니다. 예를 들어, 증분 LTV / 고객은 다음과 같이 분해될 수 있습니다:

• 전환 / 고객
• 전환당 매출

드라이버 트리는 대시보드의 나머지 부분과 동일한 KPI 정의를 사용하며 새로운 수학 공식을 도입하지 않습니다. 드라이버 트리는 성능을 이끄는 요인을 설명하는 데 도움을 줍니다. KPI 정의가 변경되면 차트, 카드, 상승 효과, 드라이버 트리가 모두 함께 업데이트됩니다.

자주 묻는 질문

Segments는 어떻게 작동하나요?

Segments를 사용하면 참여 수준, 고객 특성, 기기 유형 또는 기타 구성된 기능 등 정의된 그룹별로 성능을 분석할 수 있습니다.

Segment 멤버십은 사용 사례에 맞게 커스텀 구성되며 매일 계산됩니다. 이는 고객의 과거 Segment가 해당 날짜 기준의 상태를 반영한다는 의미입니다. 이후 행동이 변경되더라도 과거 날짜의 데이터는 변경되지 않습니다. 이를 통해 과거 데이터의 정확성이 유지되며, 리포트가 소급적으로 변경되는 것을 방지합니다.

Go 에이전트와 Pro 에이전트의 성능 리포트가 다른가요?

Go 사용 사례의 KPI는 자동으로 설정되고 표준화되어 있습니다. 모든 Go 사용 사례가 동일한 목표 측정기준인 고유 클릭을 사용하기 때문입니다.

특정 최근 날짜를 선택할 수 없는 이유는 무엇인가요?

날짜 선택기에서 가장 최근 날짜를 선택할 수 없는 경우가 있습니다. 이는 의도적인 동작입니다. 불완전하거나 불안정한 데이터가 표시되는 것을 방지하기 위해 리포트에 다음과 같은 제한이 적용될 수 있습니다:

• 데이터 파이프라인 지연: 고객 데이터 플랫폼에서 데이터를 수집하고 처리하는 데 걸리는 시간을 고려하여 구성됩니다. 이를 통해 특정 날짜의 모든 데이터가 완료된 후에야 리포트에 표시됩니다.
• 추천 활성화 지연: 추천이 생성된 시점과 Campaigns에서 활성화되는 시점 사이의 지연을 고려하여 구성됩니다. 추천이 아직 활성화되지 않은 날짜는 리포트에 표시되지 않습니다.
• 명시적으로 제외된 날짜: 리포트 설정에서 수동으로 제외한 날짜입니다.

특정 리포트 기간이나 데이터 가용성 규칙에 대한 자세한 내용은 AI Success Manager에게 문의하세요.

“볼륨”과 “비율” KPI의 차이점은 무엇인가요?

KPI는 일반적으로 두 가지 범주로 나뉩니다:

• 볼륨 측정기준(예: 총 전환 수, 총 매출, 총 클릭 수)은 “얼마나 발생했는가?”에 대한 답을 제공합니다.
• 비율 측정기준(예: 전환율, 사용자당 매출, 클릭률)은 “얼마나 효율적으로 발생했는가?”에 대한 답을 제공합니다.

볼륨과 비율은 서로 다른 이야기를 전달합니다. Campaign이 더 높은 볼륨을 달성하지만 효율성은 낮을 수 있으며, 그 반대의 경우도 마찬가지입니다. 결과를 해석할 때는 항상 어떤 유형의 KPI를 확인하고 있는지 확인하세요.

“고유”(또는 “고유값”)란 무엇을 의미하나요?

측정기준이 “고유”로 정의된 경우, 특정 식별자(일반적으로 고객)를 사용하여 개인이 중복 제거됩니다. 각 사람은 하루에 한 번만 집계됩니다.

“일별 고유”는 “전체 기간에 걸친 고유”와 다릅니다. 여러 날에 걸친 일별 고유 수를 합산하면, 동일한 개인이 두 번 이상 나타날 수 있습니다(참여한 날마다 한 번씩). 이는 의도적인 동작입니다.

설정에서 고유성이 어떻게 정의되었는지 이해해야 하는 경우 AI Success Manager에게 문의하세요.

이 리포트가 다른 시스템과 다를 수 있는 이유는 무엇인가요?

성능 리포트가 다른 대시보드(예: ESP, 분석 도구 또는 내부 BI 리포트)와 일치하지 않더라도 반드시 오류가 있는 것은 아닙니다. 시스템마다 다른 정의와 규칙을 적용하는 경우가 많습니다. 일반적인 이유는 다음과 같습니다:

• 기여도 규칙: 일부 측정기준은 기여도 로직을 적용하므로, 정의된 기준을 충족하는 활동만 집계됩니다. 다른 시스템이 기여도 로직 없이 모든 활동을 집계하는 경우 총합이 다를 수 있습니다.
• 머신 및 봇 참여 필터링: 알려진 머신 또는 봇 기반 참여(예: 자동 보안 스캔 또는 비인간 클릭)는 필터링되어 성능이 실제 사람의 행동을 반영하도록 합니다. 일부 플랫폼은 이러한 상호작용을 총합에 포함합니다.
• “고유”의 서로 다른 정의: 이 리포트에서 고유성은 일반적으로 일별로 적용됩니다. 다른 시스템은 전체 Campaign 기간에 걸쳐 고유성을 계산할 수 있습니다. 이는 서로 다른 비즈니스 질문이며 서로 다른 결과를 산출합니다.
• 날짜 범위 및 데이터 가용성 규칙: 리포트는 활성화 지연, 데이터 가용성 지연 또는 제외된 날짜를 적용할 수 있습니다. 다른 시스템은 매우 최근의 데이터나 불완전한 데이터를 포함하여 일시적인 불일치를 발생시킬 수 있습니다.
• 볼륨 대 비율 차이: 한 시스템은 총 볼륨(예: 총 전환 수)을 표시하고, 다른 시스템은 비율(예: 고객당 전환율)을 표시할 수 있습니다. 항상 동일한 유형의 측정기준을 비교하고 있는지 확인하세요.

차트의 숫자가 요약 카드와 일치하지 않는 이유는 무엇인가요?

차트와 요약 카드는 서로 다른 질문에 대한 답을 제공합니다:

• 차트: 일별 성능을 표시합니다. 각 포인트는 해당 개별 날짜에 대해 계산된 KPI를 반영합니다.
• 요약 카드: 전체 기간 성능을 표시합니다. 선택한 전체 날짜 범위에 걸쳐 KPI를 재계산합니다.

차트를 사용하여 일별 변동성, 타이밍 효과 및 시간에 따른 성능 변화를 파악하세요. 요약 카드를 사용하여 해당 기간 전체의 전반적인 영향을 파악하세요.

다음 전환율을 사용한 예시를 살펴보겠습니다:

• 1일차: 100명의 고객 중 10건의 전환 = 10%
• 2일차: 10명의 고객 중 2건의 전환 = 20%

차트는 1일차에 10%, 2일차에 20%를 표시합니다. 요약 카드는 양일을 합산하여 성능을 계산합니다: 110명의 고객 중 총 12건의 전환 = 10.9%. 10%와 20%의 평균을 구하지 않습니다.

“고유” 집계에 대한 권장 접근 방식은 무엇인가요?

고유 행동(예: 고유 클릭 사용자 또는 전환 사용자)을 측정할 때, 고유성은 일별로 적용됩니다. 예를 들어:

• 1일차: 클릭한 고객: A, B, C = 3 고유
• 2일차: 클릭한 고객: B, C, D = 3 고유

차트는 1일차에 3, 2일차에 3을 표시합니다. 양일에 걸쳐 3 + 3 = 6으로 볼 수 있습니다. 고객 B와 C는 하루에 한 번씩 집계되며, 이는 의도적인 동작입니다.

이 구성은 “여러 날에 걸쳐 얼마나 많은 고유 고객 참여가 발생했는가?”라는 질문에 답합니다. “전체 기간 동안 최소 한 번 이상 참여한 개별 고객은 몇 명인가?”라는 질문에 대한 답은 아닙니다.

목표가 기간 수준의 고유성(전체 Campaign 또는 분기에 걸친 고유 개인)인 경우, 이는 다른 모델링 접근 방식이 필요합니다. 이를 설계하는 방법에 대한 안내는 AI Success Manager에게 문의하세요.