Análise preditiva de churn

Depois que sua previsão tiver sido criada e treinada, você terá acesso à página Prediction Analytics. Esta página o ajuda a decidir quais usuários você deve segmentar com base em sua Churn Risk Score ou categoria.

Sobre a análise preditiva de rotatividade

Assim que a previsão terminar de ser treinada e essa página for preenchida, você poderá simplesmente usar filtros em segmentos ou campanhas para começar a usar os resultados do modelo. Mas, se você quiser ajuda para decidir quem e por que segmentar, esta página pode ajudar com base na precisão histórica do modelo e em suas próprias metas de negócios.

Esses são os componentes que compõem a análise preditiva de rotatividade:

• Churn Score e categoria
• Qualidade da previsão
• Precisão estimada
• Tabela de correlação de rotatividade

A distribuição das pontuações para todo o público da previsão é exibida na parte superior da página em um gráfico que pode ser visualizado por categoria ou por pontuação. Os usuários em compartimentos mais à direita têm pontuações mais altas e são mais propensos a cancelar. Os usuários em compartimentos mais à esquerda têm menos probabilidade de mudar. O controle deslizante abaixo do gráfico permitirá que você selecione uma faixa de usuários e estime quais seriam os resultados da segmentação de usuários no intervalo selecionado de Churn Risk Score ou categoria.

À medida que você mover o controle deslizante, a barra na metade esquerda do painel inferior informará quantos usuários de todo o público-alvo da previsão serão direcionados.

!

Pontuação e categoria de rotatividade

Os usuários do público-alvo da previsão receberão um Churn Risk Score entre 0 e 100. Quanto maior a pontuação, maior a probabilidade de rotatividade.

• Os usuários com pontuações entre 0 e 50 serão rotulados na categoria de baixo risco.
• Os usuários com pontuações entre 50 e 75 e entre 75 e 100 serão rotulados nas categorias Médio Risco e Alto Risco, respectivamente.

As pontuações e as categorias correspondentes serão atualizadas de acordo com a programação que você escolheu na página de criação do modelo. O número de usuários com pontuações de rotatividade em cada um dos 20 grupos de tamanho igual é exibido no gráfico na parte superior da página. Isso pode ajudá-lo a determinar como é o risco de rotatividade na população de acordo com essa previsão.

Qualidade da previsão

To measure the accuracy of your model, the Prediction Quality metric will show you how effective this particular machine learning model appears to be when tested on historical data. Braze pulls data according to the groups you specified in the model creation page. The model is trained on one data set (the “training” set) and then tested on a new, separate data set (the “test” set).

The prediction will be trained again every two weeks and updated alongside the Prediction Quality metric to keep your predictions updated on the most recent user behavior patterns. Additionally, each time this occurs, the last two weeks of predictions will be tested against actual user outcomes. The Prediction Quality will then be calculated based on these real outcomes (rather than estimates). This is an automatic backtest (that is, testing a predictive model on historical data) to ensure the prediction is accurate in real-world scenarios. The last time this retraining and backtesting occurred will be displayed on the Predictions page and an individual prediction’s analytics page. Even a preview prediction will perform this backtest once after its creation. This way, you can be sure of the accuracy of your customized prediction even with the free version of the feature.

Prediction quality example

For example, if 20% of your users usually churn on average, and you pick a random subset of 20% of your users and label them as churned at random (whether they truly are or not), you’d expect to correctly identify only 20% of the actual churners. That’s random guessing. If the model were to only do that well, the lift would be 1 for this case.

If the model, on the other hand, allowed you to message 20% of the users and, in doing so capture all the “true” churners and no one else, the lift would be 100% / 20% = 5. If you chart this ratio for every proportion of the likeliest churners you could message, you get the Lift Curve.

Another way to think of lift quality (and also Prediction Quality) is how far along the way between random guessing (0%) and perfection (100%) the prediction’s lift curve is at identifying churners on the test set. For the original paper on lift quality, see Measuring lift quality in database marketing.

How it’s measured

Our measure of Prediction Quality is lift quality. Generally, “lift” refers to the increased ratio or percentage of a successful outcome, such as a conversion. In this case, the successful outcome is correctly identifying a user who would have churned. Lift quality is the average lift the prediction provides across all possible audience sizes for messaging the test set. This approach measures how much better than random guessing the model is. With this measure, 0% means the model is no better than randomly guessing about who will churn, and 100% indicates perfect knowledge of who will churn.

Recommended ranges

Here’s what we recommend for various ranges of Prediction Quality:

Prediction Quality Range (%)	Recommendation
60 - 100	Excellent. Top tier accuracy. Changing the audience definitions is unlikely to provide additional benefit.
40 - 60	Good. This model will produce accurate predictions, but trying different audience settings may achieve even better results.
20 - 40	Fair. This model can provide accuracy and value, but consider trying different audience definitions to see if they increase performance.
0 - 20	Poor. We recommend you change your audience definitions and try again.

Precisão estimada

Na metade direita do painel abaixo do gráfico, mostramos estimativas da precisão esperada da segmentação dessa faixa do público-alvo da previsão. Com base nos dados sobre os usuários do público-alvo da previsão no passado e na precisão aparente do modelo para discriminar entre usuários que cancelam e não cancelam com base nesses dados anteriores, essas barras de progresso estimam uma mensagem potencial futura usando o público-alvo destacado com o controle deslizante:

!

• Quantos usuários selecionados deverão se desligar
• Quantos usuários selecionados não devem se desligar

Com base nessas informações, recomendamos que você decida quantos churners deseja capturar e qual é o custo de um erro falso positivo para a sua empresa. Se estiver enviando uma promoção valiosa, convém manter o mínimo de não-churners direcionados e, ao mesmo tempo, obter o máximo de churners verdadeiros esperados que o modelo permitir. Ou, se você for menos sensível a falsos positivos e os usuários receberem mensagens adicionais, poderá enviar mais mensagens ao público-alvo para capturar mais churners esperados e ignorar os erros prováveis.

Espera-se que os usuários mudem

Essa é uma estimativa de quantos churners reais serão direcionados corretamente. É claro que não conhecemos o futuro perfeitamente, portanto, não sabemos exatamente quais usuários do público-alvo da previsão serão desativados no futuro. Mas a previsão é uma inferência confiável. Com base no desempenho anterior, essa barra de progresso indica quantos do total de churners “reais” ou “verdadeiros” esperados no público-alvo de previsão (com base em taxas de churn anteriores) serão direcionados com a seleção de direcionamento atual. Esperamos que esse número de usuários se desfaça se você não os direcionar com nenhuma mensagem extra ou incomum.

Espera-se que os usuários não se afastem

Essa é uma estimativa de quantos usuários que não teriam feito churn serão incorretamente direcionados. Todos os modelos de aprendizado de máquina cometem erros. Pode haver usuários em sua seleção que tenham um Churn Risk Score alto, mas que não acabem se desligando. Eles não se afastariam mesmo que você não tomasse nenhuma medida. Eles serão alvos de qualquer forma, portanto, isso é um erro ou “falso positivo”. A largura total dessa segunda barra de progresso representa o número esperado de usuários que não se desligarão, e a parte preenchida representa aqueles que serão direcionados incorretamente usando a posição atual do controle deslizante.

Tabela de correlação de rotatividade

Essa análise exibe todos os atributos ou comportamentos do usuário que estão correlacionados com a rotatividade de usuários no público-alvo da previsão histórica. As tabelas são divididas em esquerda e direita para maior e menor probabilidade de rotatividade, respectivamente. Para cada linha, a proporção pela qual os usuários com o comportamento ou o atributo na coluna da esquerda têm maior ou menor probabilidade de rotatividade é exibida na coluna da direita. Esse número é a proporção da probabilidade de rotatividade de usuários com esse comportamento ou atributo dividida pela probabilidade de rotatividade de todo o público-alvo da previsão.

Essa tabela é atualizada somente quando a previsão é treinada novamente e não quando os Churn Risk Scores do usuário são atualizados.