예측 품질

모델의 정확도를 측정하기 위해 예측 품질 메트릭은 이 특정 머신 러닝 모델이 과거 데이터에서 테스트될 때 얼마나 효과적인지 보여줍니다. Braze는 모델 생성 페이지에서 지정한 그룹에 따라 데이터를 가져옵니다. 모델은 하나의 데이터 세트(“훈련” 세트)에서 훈련된 후 새로운 별도의 데이터 세트(“테스트” 세트)에서 테스트됩니다.

우리의 예측 품질 측정은 리프트 품질입니다. 아마도 전환과 같은 성공적인 결과의 비율 또는 백분율로 증가를 측정하는 “리프트”에 익숙할 것입니다. 이 경우 성공적인 결과는 이탈할 사용자를 올바르게 식별하는 것입니다. 리프트 품질은 테스트 세트에 메시징하기 위한 모든 가능한 오디언스 크기에서 예측이 제공하는 평균 리프트입니다. 이 접근 방식은 모델이 무작위 추측보다 얼마나 더 나은지 측정합니다. 이 측정값에서 0%는 모델이 누가 고객이탈할지 무작위로 추측하는 것보다 나을 게 없다는 것을 의미하고, 100%는 누가 고객이탈할지에 대한 완벽한 지식을 나타냅니다.

다양한 범위의 _예측 품질_에 대해 다음을 권장합니다:

예측 품질 범위 (%)	추천
60 - 100	훌륭해요. 최고 수준의 정확도입니다. 오디언스 정의를 변경하더라도 추가 이점이 없을 수 있습니다.
40 - 60	좋아. 이 모델은 정확한 예측을 산출하지만, 다른 오디언스 설정을 적용하면 결과가 향상될 수도 있습니다.
20 - 40	공정한. 이 모델은 어느 정도의 정확도와 가치를 제공하지만, 다른 오디언스 정의를 적용해 보고 성과가 향상되는지 확인하는 것이 좋습니다.
0 - 20	가난한. 기존의 오디언스 정의를 변경한 다음, 다시 시도해보는 것이 좋습니다.

예측은 2주마다 다시 훈련되고 예측 품질 지표와 함께 업데이트되어 최신 사용자 행동 패턴에 대한 예측을 최신 상태로 유지합니다. 또한, 이러한 일이 발생할 때마다 지난 2주간의 예측을 실제 사용자 결과와 비교하여 테스트할 것입니다. 그 _예측 품질_은(는) 이러한 실제 결과(추정치가 아닌)를 기반으로 계산됩니다. 이것은 예측 모델을 역사적 데이터에 테스트하는 자동 백테스트로, 예측이 실제 시나리오에서 정확한지 확인하기 위한 것입니다. 이 재교육 및 백테스트가 발생한 마지막 시간은 예측 페이지와 개별 예측의 분석 페이지에 표시됩니다. 예측 이 방법을 사용하면 기능의 무료 버전으로도 맞춤형 예측의 정확성을 확신할 수 있습니다.

예측 Quality details

예를 들어, 사용자의 20%가 평균적으로 고객이탈하는 경우, 사용자의 20%를 무작위로 선택하고 무작위로 고객이탈로 표시하면(실제로 그렇든 아니든), 실제 고객이탈자의 20%만 정확하게 식별할 수 있을 것입니다. 그건 무작위 추측이야. 모델이 그렇게만 잘한다면, 이 경우 리프트는 1이 될 것입니다.

모델이 반면에 사용자의 20%에게 메시지를 보낼 수 있게 하고, 그렇게 함으로써 모든 “진짜” 이탈자를 포착하고 다른 사람은 포착하지 않는다면, 리프트는 100% / 20% = 5가 될 것입니다. 가장 가능성이 높은 이탈자 비율을 메시지로 보낼 수 있는 모든 비율에 대해 이 비율을 차트로 작성하면 Lift Curve를 얻을 수 있습니다.

리프트 품질(및 예측 품질)을 생각하는 또 다른 방법은 예측의 리프트 곡선이 테스트 세트에서 이탈자를 식별하는 데 있어 무작위 추측(0%)과 완벽(100%) 사이의 어느 정도에 있는지입니다. 리프트 품질에 대한 원본 논문은 데이터베이스 마케팅에서 리프트 품질 측정을 참조하십시오.