Análise preditiva de eventos
Depois que sua previsão for construída e treinada, você terá acesso à página de análises de previsão. Esta página ajuda você a decidir quais usuários você deve segmentar com base em sua pontuação de probabilidade ou categoria.
Sobre a análise preditiva de eventos
Assim que a previsão terminar de treinar e esta página estiver populada, você pode começar a usar filtros em segmentos ou Campaigns para começar a usar os resultados do modelo. Se você deseja ajuda para decidir quem direcionar e por quê, esta página pode ajudar com base na precisão histórica do modelo e nos seus próprios objetivos de negócios.
Estes são os componentes que compõem a análise preditiva de eventos:
A distribuição das pontuações de probabilidade para todo o público de previsão é exibida no topo da página em um gráfico. Usuários em buckets mais à direita têm pontuações mais altas e são mais propensos a realizar o evento. Usuários em buckets mais à esquerda são menos propensos a realizar o evento. O controle deslizante abaixo do gráfico permitirá que você selecione uma seção de usuários e estime quais seriam os resultados de direcionar esses usuários.
À medida que você move os controles deslizantes para diferentes posições, a barra na metade esquerda do painel informará quantos usuários do público total de previsão seriam direcionados usando a parte da população que você selecionou.
Pontuação de probabilidade
Usuários na população de previsão receberão uma pontuação de probabilidade entre 0 e 100. Quanto maior a pontuação, maior a probabilidade de realizar o evento.
A seguir está como um usuário é categorizado dependendo de sua pontuação de probabilidade:
- Baixo: entre 0 e 50
- Médio: entre 50 e 75
- Alto: entre 75 e 100
As pontuações e as categorias correspondentes serão atualizadas de acordo com o cronograma que você escolheu na página de Criação de Previsão. O número de usuários com pontuações de probabilidade em cada um dos 20 intervalos de tamanho igual ou em cada uma das categorias de probabilidade é exibido no gráfico no topo da página.
Acessando pontuações de probabilidade no nível do usuário
Para visualizar a pontuação de probabilidade de um único usuário, procure esse usuário no dashboard e acesse Engajamento > Previsões para ver sua pontuação. Para acessar pontuações e categorias para vários usuários de uma só vez, crie um segmento usando os filtros Pontuação de probabilidade de evento ou Categoria de probabilidade de evento e, em seguida, exporte os usuários desse segmento. Ao exportar, você pode incluir as pontuações de probabilidade nos dados exportados.
Embora tanto Predictive Events quanto Predictive Churn atribuam pontuações aos usuários, existem diferenças importantes:
- Predictive Events (previsões de compra): Consideram todos os usuários na população de previsão, independentemente de já terem realizado o evento-alvo anteriormente. Por exemplo, uma previsão de compra pode identificar usuários propensos a fazer sua primeira compra.
- Predictive Churn: Considera apenas usuários que já realizaram o evento personalizado. As previsões de churn identificam usuários que já realizaram alguma ação anteriormente e que provavelmente deixarão de fazê-la. Um usuário que nunca fez login não pode ser considerado em “churn” se não fizer login.
Ao exportar pontuações de risco de churn de um segmento, essas pontuações refletem o modelo de previsão de churn, que difere dos modelos de previsão de compras ou outros eventos.
Precisão estimada
Na metade direita do painel abaixo do gráfico, mostramos estimativas da precisão esperada do direcionamento da parte do público de previsão que você selecionou de duas maneiras: quantos usuários selecionados devem realizar o evento e quantos não devem.
Espera-se que realizem o evento
Você pode usar a precisão estimada para verificar quantos usuários selecionados devem realizar o evento.
A previsão não é perfeitamente precisa, e nenhuma previsão jamais é, o que significa que a Braze não será capaz de identificar todos os futuros usuários que realizarão o evento. As pontuações de probabilidade são como um conjunto de previsões informadas e confiáveis. A barra de progresso indica quantos dos “verdadeiros positivos” esperados na população de previsão serão direcionados com o público selecionado. Observe que esperamos que esse número de usuários realize o evento mesmo que você não envie uma mensagem para eles.
Não se espera que realizem o evento
Você pode usar a precisão estimada para verificar quantos usuários selecionados provavelmente não realizarão o evento.
Todos os modelos de machine learning cometem erros. Pode haver usuários em sua seleção que tenham uma pontuação de alta probabilidade, mas que não acabem realmente realizando o evento. Eles não realizariam o evento se você não tomasse nenhuma ação. Eles serão direcionados de qualquer maneira, então isso é um erro ou “falso positivo”. A largura total desta segunda barra de progresso representa o número esperado de usuários que não realizarão o evento, e a parte preenchida são aqueles que serão incorretamente direcionados usando a posição atual do controle deslizante.
Usando essas informações, incentivamos você a decidir quantos dos verdadeiros positivos você deseja capturar, quantos falsos positivos você pode aceitar serem direcionados e qual é o custo dos erros para o seu negócio. Se você está enviando uma promoção valiosa, pode querer direcionar apenas para não compradores (falsos positivos) favorecendo o lado esquerdo do gráfico. Ou, você pode querer incentivar os compradores que frequentemente compram (verdadeiros positivos) a fazê-lo novamente, selecionando uma seção de usuários que favorece o lado direito do gráfico.
Qualidade da previsão
Para medir a precisão do seu modelo, a métrica de Qualidade da Previsão mostrará quão eficaz esse modelo específico de machine learning parece ser quando testado em dados históricos. A Braze extrai os dados de acordo com os grupos que você especificou na página de criação do modelo. O modelo é treinado em um conjunto de dados (o conjunto de “treinamento”) e, em seguida, testado em um conjunto de dados novo e separado (o conjunto de “teste”).
A previsão será treinada novamente a cada duas semanas e atualizada juntamente com a métrica Qualidade da Previsão para manter suas previsões atualizadas com os padrões mais recentes de comportamento do usuário. Além disso, sempre que isso ocorrer, as duas últimas semanas de previsões serão testadas em relação aos resultados reais dos usuários. A Qualidade da Previsão será então calculada com base nesses resultados reais (em vez de estimativas). Trata-se de um backtest automático (ou seja, testar um modelo preditivo em dados históricos) para garantir que a previsão seja precisa em cenários do mundo real. A última vez em que esse retreinamento e backtesting ocorreram será exibida na página Predictions e na página de análise de dados de uma previsão individual. Mesmo uma previsão prévia realizará esse backtest uma vez após sua criação. Dessa forma, você pode ter certeza da precisão da sua previsão personalizada, mesmo com a versão gratuita do recurso.
Exemplo de qualidade da previsão
Por exemplo, se 20% dos seus usuários costumam ter churn em média, e você escolhe um subconjunto aleatório de 20% dos seus usuários e os rotula como “com churn” aleatoriamente (sejam eles realmente com churn ou não), você espera identificar corretamente apenas 20% dos usuários com churn reais. Isso é uma suposição aleatória. Se o modelo tivesse apenas esse desempenho, o lift seria 1 para esse caso.
Se o modelo, por outro lado, permitisse o envio de mensagens para 20% dos usuários e, ao fazê-lo, capturasse todos os “verdadeiros” usuários com churn e mais ninguém, o lift seria de 100% / 20% = 5. Se você traçar essa razão para cada proporção dos usuários com churn mais prováveis para quem poderia enviar mensagens, obterá a curva de lift.
Outra maneira de pensar na qualidade do lift (e também na Qualidade da Previsão) é a distância entre a suposição aleatória (0%) e a perfeição (100%) da curva de lift da previsão na identificação de usuários com churn no conjunto de teste. Para consultar o artigo original sobre qualidade de lift, veja Measuring lift quality in database marketing.
Como é medido
Nossa medida de Qualidade da Previsão é a qualidade de lift. De modo geral, “lift” refere-se ao aumento da proporção ou porcentagem de um resultado bem-sucedido, como uma conversão. Nesse caso, o resultado bem-sucedido é a identificação correta de um usuário que teria churn. A qualidade do lift é o lift médio que a previsão fornece em todos os tamanhos possíveis de público para o envio de mensagens ao conjunto de teste. Essa abordagem mede o quanto o modelo é melhor do que a suposição aleatória. Com essa medida, 0% significa que o modelo não é melhor do que adivinhar aleatoriamente quem vai ter churn, e 100% indica conhecimento perfeito de quem vai ter churn.
Faixas recomendadas
Veja o que recomendamos para as diversas faixas de Qualidade da Previsão:
| Faixa de qualidade da previsão (%) | Recomendação |
|---|---|
| 60 - 100 | Excelente. Precisão exemplar. É improvável que a alteração das definições de público traga benefícios adicionais. |
| 40 - 60 | Bom. Este modelo produzirá previsões precisas, mas pode valer a pena testar outras configurações de público para obter resultados ainda melhores. |
| 20 - 40 | Razoável. Este modelo pode proporcionar precisão e valor, mas experimente diferentes definições de público para ver se o desempenho melhora. |
| 0 - 20 | Fraco. Recomendamos alterar suas definições de público e tentar novamente. |
Tabela de correlação de eventos
Esta análise exibe atributos ou comportamentos de usuários que estão correlacionados com eventos na população de previsão. Os atributos avaliados são idade, país, gênero e idioma. Comportamentos analisados incluem sessões, compras, total de dólares gastos, eventos personalizados e Campaigns e etapas do Canvas recebidos nos últimos 30 dias.
As tabelas são divididas em esquerda e direita para mais e menos propensos a realizar o evento, respectivamente. Para cada linha, a razão pela qual os usuários com o comportamento ou atributo na coluna da esquerda são mais ou menos propensos a realizar o evento é exibida na coluna da direita. Esse número é a razão entre as pontuações de probabilidade de usuários com esse comportamento ou atributo dividida pela probabilidade de realizar o evento de toda a população de previsão.
Esta tabela é atualizada apenas quando a previsão é re-treinada e não quando as pontuações de probabilidade do usuário são atualizadas.
Os dados de correlação para pré-visualização das previsões serão parcialmente ocultos. Uma compra é necessária para revelar esta informação. Entre em contato com o seu gerente de conta para saber mais.
Solução de problemas
Não é possível criar uma previsão
Se você não conseguir criar uma previsão para um evento personalizado, isso pode ser devido ao tamanho insuficiente da amostra. A Braze estima o número de usuários que realizaram o evento e, se um número suficiente de usuários não tiver realizado o evento, a amostra pode não fornecer dados suficientes para treinar o modelo. Nesse caso, o sistema pode extrapolar para nenhum usuário, impedindo a criação da previsão.
Para criar uma previsão bem-sucedida, certifique-se de que um número suficiente de usuários na sua população de previsão tenha realizado o evento personalizado de destino. O limite exato varia, mas eventos com uso muito baixo na sua base de usuários podem não fornecer dados suficientes para um treinamento confiável do modelo.