Skip to content

Análises preditivas de churn

Depois que sua previsão for construída e treinada, você terá acesso à página de análises de previsão. Esta página ajuda você a decidir quais usuários deve segmentar com base em seu Pontução de risco de churn ou categoria.

Sobre análises preditivas de churn

Assim que a previsão estiver concluída e esta página estiver populada, você pode começar a usar filtros em segmentos ou campanhas para começar a usar os resultados do modelo. Mas, se você quiser ajuda para decidir quem direcionar e por quê, esta página pode ajudar com base na precisão histórica do modelo e nos seus próprios objetivos de negócios.

Esses são os componentes que compõem as análises preditivas de churn:

A distribuição das pontuações para todo o público de previsão é exibida no topo da página em um gráfico que você pode visualizar, por categoria ou por pontuação. Usuários em grupos mais à direita têm pontuações mais altas e são mais propensos a churn. Usuários em grupos mais à esquerda são menos propensos a churn. O controle deslizante abaixo do gráfico permitirá que você selecione um grupo de usuários e estime quais seriam os resultados do direcionamento de usuários na faixa selecionada de Pontuação de Risco de Churn ou categoria.

À medida que você move o controle deslizante, a barra na metade esquerda do painel inferior informará quantos usuários do público total de previsão seriam alvo.

Pontuação e categoria de churn

Os usuários no público de previsão receberão uma pontuação de risco de churn entre 0 e 100. Quanto maior a pontuação, maior a probabilidade de churn.

  • Usuários com pontuações entre 0 e 50 serão rotulados na categoria Baixo Risco.
  • Usuários com pontuações entre 50 e 75, e 75 e 100 serão rotulados nas categorias Médio Risco e Alto Risco, respectivamente.

As pontuações e as categorias correspondentes serão atualizadas de acordo com o cronograma que você escolheu na página de criação do modelo. O número de usuários com pontuações de churn em cada um dos 20 grupos de tamanho igual é exibido no gráfico no topo da página. Isso pode ajudar você a determinar como é o risco de churn em toda a população de acordo com esta previsão.

Qualidade da previsão

Para medir a precisão do seu modelo, a métrica de Qualidade da Previsão mostrará quão eficaz este modelo específico de machine learning parece ser quando testado em dados históricos. O Braze extrai os dados de acordo com os grupos que você especificou na página de criação do modelo. O modelo é treinado em um conjunto de dados (o conjunto de “treinamento”) e, em seguida, testado em um conjunto de dados novo e separado (o conjunto de “teste”).

A previsão será treinada novamente a cada duas semanas e atualizada juntamente com a métrica Prediction Quality (Qualidade da previsão ) para manter suas previsões atualizadas sobre os padrões mais recentes de comportamento do usuário. Além disso, sempre que isso ocorrer, as duas últimas semanas de previsões serão testadas em relação aos resultados reais dos usuários. A qualidade da previsão será então calculada com base nesses resultados reais (em vez de estimativas). Trata-se de um backtest automático (ou seja, testar um modelo de previsão em dados históricos) para garantir que a previsão seja precisa em cenários do mundo real. A última vez em que esse retreinamento e backtesting ocorreram será exibida na página Previsões e na página de análises preditivas de uma previsão individual. Mesmo uma previsão prévia realizará esse backtest uma vez após sua criação. Dessa forma, você pode ter certeza da precisão de sua previsão personalizada, mesmo com a versão gratuita do recurso.

Prediction quality example

Por exemplo, se 20% dos seus usuários costumam ter churn, em média, e você escolhe um subconjunto aleatório de 20% dos seus usuários e os rotula como “com churn” aleatoriamente (sejam eles realmente com churn ou não), você espera identificar corretamente apenas 20% dos usuários com churn reais. Isso é uma suposição aleatória. Se o modelo tivesse apenas esse desempenho, a elevação seria 1 para esse caso.

Se o modelo, por outro lado, permitisse o envio de mensagens para 20% dos usuários e, ao fazê-lo, capturasse todos os “verdadeiros” usuários com churn e mais ninguém, o aumento seria de 100% / 20% = 5. Se você traçar essa razão para cada proporção dos usuários com churn mais prováveis para quem poderia enviar mensagens, obterá a curva de elevação.

Outra maneira de pensar na qualidade da elevação (e também na qualidade da previsão) é a distância entre a adivinhação aleatória (0%) e a perfeição (100%) da curva de elevação da previsão na identificação de churners no conjunto de teste. Para obter o artigo original sobre qualidade de elevação, consulte Measuring lift quality in database marketing.

Como é medido

Nossa medida de qualidade de previsão é a qualidade de elevação. Em geral, “lift” refere-se ao aumento da proporção ou porcentagem de um resultado bem-sucedido, como uma conversão. Nesse caso, o resultado bem-sucedido é a identificação correta de um usuário que teria churn. A qualidade da elevação é a elevação média que a previsão fornece em todos os tamanhos possíveis de público para o envio de mensagens ao conjunto de teste. Essa abordagem mede o quanto o modelo é melhor do que a adivinhação aleatória. Com essa medida, 0% significa que o modelo não é melhor do que adivinhar aleatoriamente quem vai ter churn, e 100% indica conhecimento perfeito de quem vai ter churn.

Faixas recomendadas

Aqui está o que recomendamos para vários intervalos de Qualidade da Previsão:

Precisão estimada

Na metade direita do painel abaixo do gráfico, mostramos estimativas da precisão esperada do direcionamento deste segmento do público de previsão. Com base em dados sobre usuários no público de previsão no passado, e a aparente precisão do modelo para discriminar entre usuários que desistem e não desistem nesses dados passados, essas barras de progresso estimam para uma mensagem potencial futura usando o público destacado com o controle deslizante:

  • Quantos usuários selecionados deverão fazer churn
  • Quantos usuários selecionados não devem churnar

Usando essas informações, incentivamos você a decidir quantos dos clientes que cancelaram você deseja capturar e qual é o custo de um erro falso positivo para o seu negócio. Se você está enviando uma promoção importante, pode querer manter os não-desistentes direcionados ao mínimo enquanto obtém o máximo de desistentes verdadeiros esperados que o modelo permitir. Ou, se você for menos sensível a falsos positivos e os usuários receberem envio de mensagens extra, você pode enviar mensagens para mais do público para capturar mais churners esperados e ignorar os prováveis erros.

Espera-se que os usuários desistam

Essa é uma estimativa de quantos churners reais serão direcionados corretamente. Claro, não conhecemos o futuro perfeitamente, então não sabemos exatamente quais usuários do público de previsão irão sofrer churn no futuro. Mas a previsão é uma inferência confiável. Com base na performance passada, esta barra de progresso indica quantos do total de “churners” “atuais” ou “verdadeiros” esperados no público de previsão (com base nas taxas de churn anteriores) serão direcionados com a seleção de direcionamento atual. Esperaríamos esse número de usuários com churn se você não os direcionar com qualquer envio de mensagens extra ou incomum.

Espera-se que os usuários não churnem

Essa é uma estimativa de quantos usuários que não teriam feito churn serão direcionados incorretamente. Todos os modelos de machine learning cometem erros. Pode haver usuários em sua seleção que tenham uma alta pontuação de risco de churn, mas que não acabem com churn. Eles não sofrerão churn mesmo que você não faça nada. Eles serão segmentados de qualquer maneira, então isso é um erro ou “falso positivo.” A largura total dessa segunda barra de progresso representa o número esperado de usuários que não churnarão, e a parte preenchida representa aqueles que serão direcionados incorretamente usando a posição atual do controle deslizante.

Tabela de correlação de churn

Esta análise exibe quaisquer atributos ou comportamentos de usuário que estão correlacionados com o churn de usuário no público de previsão histórica. As tabelas são divididas em esquerda e direita para mais e menos propensos a churn, respectivamente. Para cada linha, a razão pela qual os usuários com o comportamento ou atributo na coluna da esquerda são mais ou menos propensos a churn é exibida na coluna da direita. Este número é a razão da probabilidade de churn de usuários com este comportamento ou atributo dividida pela probabilidade de churn de todo o público de previsão.

Esta tabela é atualizada apenas quando a previsão é re-treinada e não quando os Scores de Risco de Churn do usuário são atualizados.
Github   Editar esta página no GitHub
New Stuff!