예측 품질

모델의 정확도를 측정하기 위해 예측 품질 측정기준은 과거 데이터에 대해 테스트했을 때 특정 머신 러닝 모델이 얼마나 효과적인지 보여줍니다. Braze는 모델 생성 페이지에서 지정한 그룹에 따라 데이터를 가져옵니다. 모델은 하나의 데이터 세트(“학습” 세트)에서 학습된 다음 새로운 별도의 데이터 세트(“테스트” 세트)에서 테스트됩니다.

_예측 품질_을 측정하는 척도는 리프트 품질입니다. 전환과 같은 성공적인 결과의 증가를 비율 또는 백분율로 측정하는 “상승도”에 익숙하실 것입니다. 이 경우 성공적인 결과는 이탈할 가능성이 있는 사용자를 정확하게 식별하는 것입니다. 상승도 품질은 테스트 세트의 메시징에 대해 예측이 가능한 모든 오디언스 규모에 걸쳐 제공하는 평균 상승도입니다. 이 접근 방식은 무작위로 추측하는 것보다 모델이 얼마나 더 나은지 측정합니다. 이 측정값에서 0%는 모델이 누가 이탈할지 무작위로 추측하는 것보다 낫지 않음을 의미하며, 100%는 누가 이탈할지 완벽하게 알고 있음을 나타냅니다.

다양한 범위의 _예측 품질_에 대해 다음을 권장합니다.

예측 품질 범위(%)	추천
60 - 100	훌륭합니다. 최고 수준의 정확도입니다. 오디언스 정의를 변경하더라도 추가 이점이 없을 수 있습니다.
40 - 60	좋습니다. 이 모델은 정확한 예측을 산출하지만, 다른 오디언스 설정을 적용하면 결과가 향상될 수도 있습니다.
20 - 40	보통입니다. 이 모델은 어느 정도의 정확도와 가치를 제공하지만, 다른 오디언스 정의를 적용해 보고 성과가 향상되는지 확인하는 것이 좋습니다.
0 - 20	미흡합니다. 기존의 오디언스 정의를 변경한 다음, 다시 시도해보는 것이 좋습니다.

예측은 2주마다 다시 학습되고 예측 품질 측정기준과 함께 업데이트되어 최신 사용자 행동 패턴에 대한 예측을 최신 상태로 유지합니다. 또한 이런 일이 발생할 때마다 지난 2주간 예측한 결과를 실제 사용자 결과와 비교하여 테스트합니다. 그런 다음 _예측 품질_은 이러한 실제 결과(추정치가 아닌)를 기반으로 계산됩니다. 이는 실제 시나리오에서 예측이 정확한지 확인하기 위한 자동 백테스트(즉, 과거 데이터에 대한 예측 모델 테스트)입니다. 이 재교육 및 백테스트가 마지막으로 수행된 시간은 예측 페이지와 개별 예측 분석 페이지에 표시됩니다. 미리보기 예측도 생성 후 이 백테스트를 한 번 수행합니다. 이렇게 하면 무료 버전의 기능을 사용하더라도 맞춤 예측의 정확성을 확신할 수 있습니다.

예측 품질 세부 정보

예를 들어, 평균적으로 20%의 사용자가 이탈하는 경우, 20%의 사용자 중 무작위로 하위 집합을 선택하여 (실제 이탈 여부와 상관없이) 무작위로 이탈한 것으로 표시하면 실제 이탈자 중 20%만 정확하게 식별할 수 있을 것으로 예상할 수 있습니다. 무작위 추측입니다. 모델이 그 정도만 잘 수행한다면 이 경우 리프트는 1이 될 것입니다.

반면에 이 모델에서 20%의 사용자에게만 메시지를 보낼 수 있고, 그 과정에서 “진짜” 이탈자만 포착하고 다른 이탈자는 포착하지 못한다면 상승률은 100%/20% = 5가 됩니다. 메시지를 보낼 가능성이 높은 이탈 고객의 모든 비율에 대해 이 비율을 차트화하면 이탈률 곡선을 얻을 수 있습니다.

상승도 품질(및 예측 품질)을 생각하는 또 다른 방법은 테스트 세트에서 이탈자를 식별할 때 예측의 상승도 곡선이 무작위 추측(0%)과 완벽함(100%) 사이에서 얼마나 멀리 떨어져 있는지를 나타내는 것입니다. 리프트 품질에 대한 원본 논문은 데이터베이스 마케팅에서 리프트 품질 측정하기를 참조하세요.