예측 기반 이벤트 분석

예측이 구축되고 학습이 완료되면 예측 기반 분석 페이지에 액세스할 수 있습니다. 이 페이지에서는 가능성 점수 또는 카테고리를 기준으로 어떤 사용자를 타겟팅할지 결정할 수 있습니다.

예측 기반 이벤트 분석 정보

예측 학습이 완료되고 이 페이지가 채워지면 세그먼트 또는 캠페인에서 필터를 사용하여 모델의 결과물을 사용할 수 있습니다. 타겟팅 대상과 이유를 결정하는 데 도움이 필요하다면 이 페이지에서 모델의 과거 정확도 및 비즈니스 목표를 기반으로 도움을 받을 수 있습니다.

이것이 예측 기반 이벤트 분석을 구성하는 구성 요소입니다:

• 가능성 점수
• 예측 품질
• 예상 정확도
• 이벤트 상관관계 표

전체 예측 오디언스에 대한 가능성 점수 분포가 페이지 상단에 표시됩니다. 오른쪽에 있는 버킷의 사용자가 점수가 높을수록 이벤트를 수행할 가능성이 높습니다. 왼쪽에 있는 버킷의 사용자는 이벤트의 성능/성과가 낮을 가능성이 높습니다. 차트 아래의 슬라이더를 사용하면 사용자 섹션을 선택하고 해당 사용자를 타겟팅했을 때 어떤 결과가 나올지 예측할 수 있습니다.

슬라이더 핸들을 다른 위치로 이동하면 패널의 왼쪽 절반에 있는 막대가 선택한 모집단의 일부를 사용하여 전체 예측 대상 집단 중 얼마나 많은 사용자를 타겟팅할 수 있는지 알려줍니다.

!

가능성 점수

예측 오디언스에 속한 사용자에게는 0에서 100 사이의 가능성 점수가 할당됩니다. 점수가 높을수록 이벤트의 성능/성과를 달성할 가능성이 높아집니다.

다음은 가능성 점수에 따라 사용자를 분류하는 방법입니다:

• 낮음: 0에서 50 사이
• 중간: 50~75
• 높음: 75~100

점수 및 해당 카테고리는 예측 생성 페이지에서 선택한 일정에 따라 업데이트됩니다. 동일한 크기의 20개 버킷 또는 각 가능성 카테고리에서 가능성 점수를 받은 사용자 수가 페이지 상단의 차트에 표시됩니다.

예상 정확도

차트 아래 패널의 오른쪽 절반에는 선택한 예측 오디언스 중 이벤트를 수행할 것으로 예상되는 사용자 수와 그렇지 않을 것으로 예상되는 사용자 수의 두 가지 방법으로 선택한 오디언스 부분을 타겟팅할 때의 예상 정확도를 추정하여 표시합니다.

선택한 오디언스 및 예상 정확도가 Braze 대시보드에 표시됩니다.](/docs/ko/assets/img/purchasePrediction/purchaseEstimatedResults.png?3b7f2f721713732b8b4866464102fe39)

예상 성능/성과

예상 정확도를 사용하여 이벤트를 수행할 것으로 예상되는 선택된 사용자 수를 확인할 수 있습니다.

예측은 완벽하게 정확하지 않으며, 그 어떤 예측도 완벽할 수 없으므로 Braze가 이벤트를 수행할 미래의 모든 사용자를 식별할 수는 없습니다. 가능성 점수는 정보에 입각한 신뢰할 수 있는 예측의 집합과 같습니다. 진행률 표시줄에는 예측 오디언스에서 예상되는 ‘진성 반응’ 중 선택한 오디언스를 타겟팅할 수 있는 ‘진성 반응’의 수가 표시됩니다. 메시지를 보내지 않아도 이 수만큼의 사용자가 이벤트에 참여할 것으로 예상합니다.

성능/성과가 기대되지 않음

예상 정확도를 사용하여 이벤트를 수행하지 않을 것으로 예상되는 선택된 사용자 수를 확인할 수 있습니다.

모든 머신 러닝 모델은 오류를 발생시킵니다. 선택 항목에 가능성이 높은 점수를 받았지만 실제로 이벤트를 수행하지 않는 사용자가 있을 수 있습니다. 아무런 조치를 취하지 않으면 이벤트가 성능/성과를 내지 않습니다. 어차피 타겟팅될 것이므로 이는 오류 또는 “오탐”입니다. 이 두 번째 진행률 표시줄의 전체 너비는 이벤트를 수행하지 않을 것으로 예상되는 사용자 수를 나타내며, 채워진 부분은 현재 슬라이더 위치를 사용하여 잘못 타겟팅할 사용자 수입니다.

이 정보를 사용하여 얼마나 많은 오탐을 포착할지, 얼마나 많은 오탐이 타겟팅되는 것을 받아들일 수 있는지, 비즈니스에 미치는 오류 비용은 얼마인지 결정할 것을 권장합니다. 가치 있는 프로모션을 보내는 경우, 차트 왼쪽을 선호하여 비구매자(오탐)만을 타겟팅할 수 있습니다. 또는 차트 오른쪽을 선호하는 사용자 섹션을 선택하여 자주 구매하는 구매자(진성 구매자)가 다시 구매하도록 유도할 수도 있습니다.

예측 품질

To measure the accuracy of your model, the Prediction Quality metric will show you how effective this particular machine learning model appears to be when tested on historical data. Braze pulls data according to the groups you specified in the model creation page. The model is trained on one data set (the “training” set) and then tested on a new, separate data set (the “test” set).

The prediction will be trained again every two weeks and updated alongside the Prediction Quality metric to keep your predictions updated on the most recent user behavior patterns. Additionally, each time this occurs, the last two weeks of predictions will be tested against actual user outcomes. The Prediction Quality will then be calculated based on these real outcomes (rather than estimates). This is an automatic backtest (that is, testing a predictive model on historical data) to ensure the prediction is accurate in real-world scenarios. The last time this retraining and backtesting occurred will be displayed on the Predictions page and an individual prediction’s analytics page. Even a preview prediction will perform this backtest once after its creation. This way, you can be sure of the accuracy of your customized prediction even with the free version of the feature.

Prediction quality example

For example, if 20% of your users usually churn on average, and you pick a random subset of 20% of your users and label them as churned at random (whether they truly are or not), you’d expect to correctly identify only 20% of the actual churners. That’s random guessing. If the model were to only do that well, the lift would be 1 for this case.

If the model, on the other hand, allowed you to message 20% of the users and, in doing so capture all the “true” churners and no one else, the lift would be 100% / 20% = 5. If you chart this ratio for every proportion of the likeliest churners you could message, you get the Lift Curve.

Another way to think of lift quality (and also Prediction Quality) is how far along the way between random guessing (0%) and perfection (100%) the prediction’s lift curve is at identifying churners on the test set. For the original paper on lift quality, see Measuring lift quality in database marketing.

How it’s measured

Our measure of Prediction Quality is lift quality. Generally, “lift” refers to the increased ratio or percentage of a successful outcome, such as a conversion. In this case, the successful outcome is correctly identifying a user who would have churned. Lift quality is the average lift the prediction provides across all possible audience sizes for messaging the test set. This approach measures how much better than random guessing the model is. With this measure, 0% means the model is no better than randomly guessing about who will churn, and 100% indicates perfect knowledge of who will churn.

Recommended ranges

Here’s what we recommend for various ranges of Prediction Quality:

Prediction Quality Range (%)	Recommendation
60 - 100	Excellent. Top tier accuracy. Changing the audience definitions is unlikely to provide additional benefit.
40 - 60	Good. This model will produce accurate predictions, but trying different audience settings may achieve even better results.
20 - 40	Fair. This model can provide accuracy and value, but consider trying different audience definitions to see if they increase performance.
0 - 20	Poor. We recommend you change your audience definitions and try again.

이벤트 상관관계 표

이 분석은 예측 오디언스의 이벤트와 상관 관계가 있는 사용자 속성 또는 행동을 표시합니다. 평가되는 속성은 연령, 국가, 성별, 언어입니다. 분석되는 행동에는 세션, 구매, 총 지출 금액, 커스텀 이벤트, 지난 30일 동안 받은 캠페인 및 캔버스 단계가 포함됩니다.

테이블은 왼쪽과 오른쪽으로 나뉘어 각각 이벤트의 성능/성과가 더 높거나 낮습니다. 각 행에 대해 왼쪽 열에 있는 행동 또는 속성을 가진 사용자가 이벤트를 수행할 가능성이 높거나 낮은 비율을 오른쪽 열에 표시합니다. 이 수치는 해당 행동 또는 속성을 가진 사용자의 가능성 점수를 전체 예측 오디언스에서 이벤트 성능/성과를 수행할 가능성으로 나눈 비율입니다.

이 표는 예측이 재학습될 때만 업데이트되며 사용자 가능성 점수가 업데이트될 때는 업데이트되지 않습니다.