예측 분석

예측을 작성하고 학습한 후에는 예측 분석 페이지에 액세스할 수 있습니다. 이 페이지에서는 가능성 점수 또는 카테고리를 기준으로 타겟팅할 사용자를 결정하는 데 도움이 됩니다.

예측 학습이 완료되고 이 페이지가 채워지면 세그먼트 또는 캠페인에서 필터를 사용하여 모델의 결과물을 사용할 수 있습니다. 타겟팅 대상과 이유를 결정하는 데 도움이 필요한 경우 이 페이지에서 모델의 과거 정확도와 비즈니스 목표에 따라 도움을 받을 수 있습니다.

분석 구성 요소

• 가능성 점수
• 사용자 타겟팅
• 예측 품질
• 예상 결과
• 이벤트 상관관계 표

가능성 점수

예측 대상에 포함된 사용자에게는 0에서 100 사이의 가능성 점수가 할당됩니다. 점수가 높을수록 이벤트를 수행할 가능성이 높아집니다.

다음은 가능성 점수에 따라 사용자를 분류하는 방법입니다:

• 낮음: 0에서 50 사이
• 중간: 50~75
• 높음: 75~100

점수 및 해당 카테고리는 예측 생성 페이지에서 선택한 일정에 따라 업데이트됩니다. 동일한 크기의 20개의 버킷 또는 각 가능성 카테고리에서 가능성 점수를 받은 사용자 수가 페이지 상단의 차트에 표시됩니다.

오디언스 빌더로 사용자 타겟팅하기

전체 예측 대상에 대한 가능성 점수 분포가 페이지 상단에 표시됩니다. 오른쪽에 있는 버킷의 사용자는 점수가 높을수록 이벤트를 수행할 가능성이 높습니다. 왼쪽에 있는 버킷의 사용자는 이벤트를 수행할 가능성이 낮습니다. 차트 아래의 슬라이더를 사용하면 사용자 섹션을 선택하고 해당 사용자를 타겟팅했을 때 어떤 결과가 나올지 예상할 수 있습니다.

슬라이더 핸들을 다른 위치로 이동하면 패널의 왼쪽 절반에 있는 막대가 선택한 모집단의 일부를 사용하여 전체 예측 대상 중 얼마나 많은 사용자를 타겟팅할 수 있는지 알려줍니다.

예상 결과

차트 아래 패널의 오른쪽 절반에는 선택한 예측 대상 중 이벤트를 수행할 것으로 예상되는 사용자 수와 수행하지 않을 것으로 예상되는 사용자 수에 대한 예상 타겟팅 정확도 추정치가 두 가지 방식으로 표시됩니다.

선택된 사용자 중 이벤트를 수행할 것으로 예상되는 수

예측이 완벽하게 정확한 것은 아니며, 앞으로도 예측은 불가능하므로 Braze가 이벤트를 수행할 모든 미래의 사용자를 식별할 수는 없습니다. 가능성 점수는 정보에 입각한 신뢰할 수 있는 예측의 집합과 같습니다. 진행률 표시줄은 예측 오디언스에서 예상되는 ‘진성 긍정’ 중 얼마나 많은 오디언스가 선택된 오디언스를 타겟팅할 수 있는지를 나타냅니다. 메시지를 보내지 않더라도 이 정도의 사용자가 이벤트를 수행할 것으로 예상합니다.

이벤트를 수행하지 않을 것으로 예상되는 선택된 사용자 수

모든 머신러닝 모델은 오류를 일으킵니다. 선택 항목에 가능성이 높은 점수를 받았지만 실제로 이벤트를 수행하지 않는 사용자가 있을 수 있습니다. 아무런 조치를 취하지 않으면 이벤트가 수행되지 않습니다. 어차피 타겟이 될 것이므로 이는 오류 또는 “오탐”입니다. 이 두 번째 진행률 표시줄의 전체 너비는 이벤트를 수행하지 않을 것으로 예상되는 사용자 수를 나타내며, 채워진 부분은 현재 슬라이더 위치를 사용하여 잘못 타겟팅할 사용자 수입니다.

이 정보를 사용하여 얼마나 많은 오탐을 포착할지, 얼마나 많은 오탐이 표적이 되는 것을 받아들일 수 있는지, 오류로 인한 비즈니스의 비용이 얼마인지 결정할 것을 권장합니다. 가치 있는 프로모션을 보내는 경우, 차트 왼쪽을 선호하여 비구매자(오탐)만을 타겟팅할 수 있습니다. 또는 차트 오른쪽을 선호하는 사용자 섹션을 선택하여 자주 구매하는 구매자(진성 구매자)가 다시 구매하도록 유도할 수도 있습니다.

예측 품질

모델의 정확도를 측정하기 위해 예측 품질 메트릭은 이 특정 머신 러닝 모델이 얼마나 효과적인지 보여줍니다. 이 예측이 이벤트 수행자와 비이벤트 수행자를 얼마나 잘 구분하는지 측정하는 척도입니다. 예측 품질이 100이면 이벤트를 수행할 사람과 수행하지 않을 사람을 오류 없이 완벽하게 알고 있다는 뜻이고(절대 이런 일은 일어나지 않습니다!), 0이면 무작위로 추측한다는 뜻입니다. 메트릭에 대해 자세히 알아보려면 예측 품질을 참조하세요.

다양한 범위의 예측 품질에 대해 권장하는 사항은 다음과 같습니다:

예측 품질 범위(%)	추천
60 - 100	훌륭합니다. 최고 수준의 정확도입니다. 오디언스 정의를 변경하더라도 추가 이점이 없을 수 있습니다.
40 - 60	좋아요. 이 모델은 정확한 예측을 산출하지만, 다른 오디언스 설정을 적용하면 결과가 향상될 수도 있습니다.
20 - 40	공정합니다. 이 모델은 어느 정도의 정확도와 가치를 제공하지만, 다른 오디언스 정의를 적용해 보고 성과가 향상되는지 확인하는 것이 좋습니다.
0 - 20	불쌍합니다. 기존의 오디언스 정의를 변경한 다음, 다시 시도해보는 것이 좋습니다.

예측은 2주마다 다시 학습되고 예측 품질 지표와 함께 업데이트되어 가장 최근의 사용자 행동 패턴에 대한 예측을 최신 상태로 유지합니다. 이 재교육이 마지막으로 이루어진 시간은 예측 목록 페이지와 예측의 분석 페이지에 표시됩니다.

예측을 처음 만들 때 예측 품질은 예측 작성을 클릭할 때 쿼리되는 과거 데이터를 기반으로 합니다. 그 후 2주마다 예측 점수와 실제 결과를 비교하여 예측 품질을 도출합니다.

이벤트 상관관계 표

이 분석은 예측 대상의 이벤트와 상관 관계가 있는 사용자 속성 또는 행동을 표시합니다. 평가되는 속성은 나이, 국가, 성별, 언어입니다. 분석되는 행동에는 세션, 구매, 총 지출 금액, 사용자 지정 이벤트, 지난 30일 동안 받은 캠페인 및 캔버스 단계가 포함됩니다.

테이블은 왼쪽과 오른쪽으로 나뉘어 각각 이벤트 수행 가능성이 높고 낮음에 따라 나뉩니다. 각 행에 대해 왼쪽 열에 있는 행동 또는 속성을 가진 사용자가 이벤트를 수행할 가능성이 높거나 낮은 비율이 오른쪽 열에 표시됩니다. 이 수치는 해당 행동 또는 속성을 가진 사용자의 가능성 점수를 전체 예측 대상에서 이벤트를 수행할 가능성으로 나눈 비율입니다.

이 표는 예측이 재학습될 때만 업데이트되며 사용자 가능성 점수가 업데이트될 때는 업데이트되지 않습니다.