Análises preditivas de eventos
Depois que sua previsão for construída e treinada, você terá acesso à página de análises de previsão. Esta página ajuda você a decidir quais usuários você deve segmentar com base em sua pontuação de probabilidade ou categoria.
Sobre análises preditivas de eventos
Assim que a previsão terminar de treinar e esta página estiver populada, você pode começar a usar filtros em segmentos ou campanhas para começar a usar os resultados do modelo. Se você deseja ajuda para decidir quem direcionar e por quê, esta página pode ajudar com base na precisão histórica do modelo e nos seus próprios objetivos de negócios.
Esses são os componentes que compõem as análises preditivas de eventos:
A distribuição dos escores de probabilidade para todo o público de previsão é exibida no topo da página. Usuários em {buckets} mais à direita têm pontuações mais altas e são mais propensos a realizar o evento. Usuários em buckets mais à esquerda são menos propensos a realizar o evento. O controle deslizante abaixo do gráfico permitirá que você selecione uma seção de usuários e estime quais seriam os resultados de direcionamento desses usuários.
À medida que você move os controles deslizantes para diferentes posições, a barra na metade esquerda do painel informará quantos usuários do público total de previsão seriam alvo usando a parte da população que você selecionou.
Pontuação de probabilidade
Usuários no público de previsão receberão uma pontuação de probabilidade entre 0 e 100. Quanto maior a pontuação, maior a probabilidade de realizar o evento.
A seguir está como um usuário é categorizado dependendo de sua pontuação de probabilidade:
- Baixo: entre 0 e 50
- Médio: entre 50 e 75
- Alto: entre 75 e 100
As pontuações e as categorias correspondentes serão atualizadas de acordo com o cronograma que você escolheu na página de Criação de Previsão. O número de usuários com pontuações de probabilidade em cada um dos 20 intervalos de tamanho igual ou em cada uma das categorias de probabilidade é exibido no gráfico no topo da página.
Precisão estimada
Na metade direita do painel abaixo do gráfico, mostramos estimativas da precisão esperada do direcionamento da parte do público de previsão que você selecionou de duas maneiras: quantos usuários selecionados devem realizar o evento e quantos não devem.
Espera-se que tenha performance
É possível usar a precisão estimada para verificar quantos usuários selecionados devem realizar o evento.
A previsão não é perfeitamente precisa, e nenhuma previsão jamais é, o que significa que a Braze não será capaz de identificar todos os futuros usuários para realizar o evento. As pontuações de probabilidade são como um conjunto de previsões informadas e confiáveis. A barra de progresso indica quantos dos “verdadeiros positivos” esperados no público de previsão serão alvejados com o público selecionado. Observe que esperamos que este número de usuários realize o evento mesmo que você não envie uma mensagem para eles.
Não se espera que tenha performance
É possível usar a precisão estimada para verificar quantos usuários selecionados deverão não realizar o evento.
Todos os modelos de machine learning cometem erros. Pode haver usuários em sua seleção que tenham uma pontuação de alta probabilidade, mas que não acabem realmente realizando o evento. Eles não realizariam o evento se você não tomasse nenhuma ação. Eles serão segmentados de qualquer maneira, então isso é um erro ou “falso positivo.” A largura total desta segunda barra de progresso representa o número esperado de usuários que não realizarão o evento, e a parte preenchida são aqueles que serão incorretamente alvejados usando a posição atual do controle deslizante.
Usando essas informações, incentivamos você a decidir quantos dos verdadeiros positivos você deseja capturar, quantos falsos positivos você pode aceitar serem direcionados e qual é o custo dos erros para o seu negócio. Se você está enviando uma promoção valiosa, pode querer direcionar apenas para não-compradores (falsos positivos) favorecendo o lado esquerdo do gráfico. Ou, você pode querer incentivar os compradores que frequentemente compram (verdadeiros positivos) a fazê-lo novamente, selecionando uma seção de usuários que favorece o lado direito do gráfico.
Qualidade da previsão
Para medir a precisão do seu modelo, a métrica de Qualidade da Previsão mostrará quão eficaz este modelo específico de machine learning parece ser quando testado em dados históricos. O Braze extrai os dados de acordo com os grupos que você especificou na página de criação do modelo. O modelo é treinado em um conjunto de dados (o conjunto de “treinamento”) e, em seguida, testado em um conjunto de dados novo e separado (o conjunto de “teste”).
A previsão será treinada novamente a cada duas semanas e atualizada juntamente com a métrica Prediction Quality (Qualidade da previsão ) para manter suas previsões atualizadas sobre os padrões mais recentes de comportamento do usuário. Além disso, sempre que isso ocorrer, as duas últimas semanas de previsões serão testadas em relação aos resultados reais dos usuários. A qualidade da previsão será então calculada com base nesses resultados reais (em vez de estimativas). Trata-se de um backtest automático (ou seja, testar um modelo de previsão em dados históricos) para garantir que a previsão seja precisa em cenários do mundo real. A última vez em que esse retreinamento e backtesting ocorreram será exibida na página Previsões e na página de análises preditivas de uma previsão individual. Mesmo uma previsão prévia realizará esse backtest uma vez após sua criação. Dessa forma, você pode ter certeza da precisão de sua previsão personalizada, mesmo com a versão gratuita do recurso.
Prediction quality example
Por exemplo, se 20% dos seus usuários costumam ter churn, em média, e você escolhe um subconjunto aleatório de 20% dos seus usuários e os rotula como “com churn” aleatoriamente (sejam eles realmente com churn ou não), você espera identificar corretamente apenas 20% dos usuários com churn reais. Isso é uma suposição aleatória. Se o modelo tivesse apenas esse desempenho, a elevação seria 1 para esse caso.
Se o modelo, por outro lado, permitisse o envio de mensagens para 20% dos usuários e, ao fazê-lo, capturasse todos os “verdadeiros” usuários com churn e mais ninguém, o aumento seria de 100% / 20% = 5. Se você traçar essa razão para cada proporção dos usuários com churn mais prováveis para quem poderia enviar mensagens, obterá a curva de elevação.
Outra maneira de pensar na qualidade da elevação (e também na qualidade da previsão) é a distância entre a adivinhação aleatória (0%) e a perfeição (100%) da curva de elevação da previsão na identificação de churners no conjunto de teste. Para obter o artigo original sobre qualidade de elevação, consulte Measuring lift quality in database marketing.
Como é medido
Nossa medida de qualidade de previsão é a qualidade de elevação. Em geral, “lift” refere-se ao aumento da proporção ou porcentagem de um resultado bem-sucedido, como uma conversão. Nesse caso, o resultado bem-sucedido é a identificação correta de um usuário que teria churn. A qualidade da elevação é a elevação média que a previsão fornece em todos os tamanhos possíveis de público para o envio de mensagens ao conjunto de teste. Essa abordagem mede o quanto o modelo é melhor do que a adivinhação aleatória. Com essa medida, 0% significa que o modelo não é melhor do que adivinhar aleatoriamente quem vai ter churn, e 100% indica conhecimento perfeito de quem vai ter churn.
Faixas recomendadas
Aqui está o que recomendamos para vários intervalos de Qualidade da Previsão:
| Qualidade da Previsão Faixa (%) | Recomendação |
|---|---|
| 60 - 100 | Excelente. Precisão exemplar. É improvável que a alteração das definições de público traga mais benefícios. |
| 40 - 60 | Bom. Este modelo produzirá previsões precisas, mas pode valer a pena testar outras configurações de público para tentar obter resultados melhores. |
| 20 - 40 | Justo. Este modelo pode proporcionar precisão e benefícios, mas experimente diferentes definições de público para ver se a performance melhora. |
| 0 - 20 | Pobre. Recomendamos alterar suas definições de público e tentar novamente. |
Tabela de correlação de eventos
Esta análise exibe atributos ou comportamentos de usuários que estão correlacionados com eventos no público de previsão. Os atributos avaliados são Idade, País, Gênero e Idioma. Comportamentos que são analisados incluem sessões, compras, total de dólares gastos, eventos personalizados, e campanhas e passos de canva recebidos nos últimos 30 dias.
As tabelas são divididas em esquerda e direita para mais e menos propensas a realizar o evento, respectivamente. Para cada linha, a razão pela qual os usuários com o comportamento ou atributo na coluna da esquerda são mais ou menos propensos a realizar o evento é exibida na coluna da direita. Este número é a razão entre as pontuações de probabilidade de usuários com esse comportamento ou atributo dividida pela probabilidade de realizar o evento de todo o público de previsão.
Esta tabela é atualizada apenas quando a previsão é re-treinada e não quando as pontuações de probabilidade do usuário são atualizadas.
Os dados de correlação para prévia das previsões serão parcialmente ocultos. Uma compra é necessária para revelar esta informação. Entre em contato com o seu gerente de conta para saber mais.
Editar esta página no GitHub