Análise preditiva de eventos

Depois que sua previsão tiver sido criada e treinada, você terá acesso à página Prediction Analytics. Essa página o ajuda a decidir quais usuários você deve segmentar com base na pontuação ou categoria de probabilidade.

Sobre a análise preditiva de eventos

Assim que a previsão terminar o treinamento e essa página for preenchida, você poderá começar a usar filtros em segmentos ou campanhas para começar a usar os resultados do modelo. Se você quiser ajuda para decidir quem segmentar e por quê, esta página pode ajudar com base na precisão histórica do modelo e em suas próprias metas de negócios.

Esses são os componentes que compõem a análise preditiva de eventos:

• Pontuação de probabilidade
• Qualidade da previsão
• Precisão estimada
• Tabela de correlação de eventos

A distribuição das pontuações de probabilidade para todo o público da previsão é exibida na parte superior da página. Os usuários em grupos mais à direita têm pontuações mais altas e têm maior probabilidade de realizar o evento. Os usuários em grupos mais à esquerda têm menos probabilidade de realizar o evento. O controle deslizante abaixo do gráfico permitirá que você selecione uma seção de usuários e estime quais seriam os resultados da segmentação desses usuários.

À medida que você mover as alças do controle deslizante para diferentes posições, a barra na metade esquerda do painel informará quantos usuários de todo o público-alvo da previsão seriam direcionados usando a parte da população que você selecionou.

!

Pontuação de probabilidade

Os usuários do público-alvo da previsão receberão uma pontuação de probabilidade entre 0 e 100. Quanto maior a pontuação, maior a probabilidade de realizar o evento.

Veja a seguir como um usuário é categorizado de acordo com sua pontuação de probabilidade:

• Baixa: entre 0 e 50
• Média: entre 50 e 75
• Alta: entre 75 e 100

As pontuações e as categorias correspondentes serão atualizadas de acordo com a programação que você escolheu na página Criação de previsão. O número de usuários com pontuações de probabilidade em cada um dos 20 grupos de tamanho igual ou em cada uma das categorias de probabilidade é exibido no gráfico na parte superior da página.

Precisão estimada

Na metade direita do painel abaixo do gráfico, mostramos estimativas da precisão esperada da segmentação da parte do público-alvo da previsão que você selecionou de duas maneiras: quantos usuários selecionados devem realizar o evento e quantos não devem.

!O público selecionado e a precisão estimada mostrados no painel do Braze.

Espera-se que o desempenho

Você pode usar a precisão estimada para verificar quantos usuários selecionados devem realizar o evento.

A previsão não é perfeitamente precisa, e nenhuma previsão é, o que significa que o Braze não conseguirá identificar todos os futuros usuários que realizarão o evento. As pontuações de probabilidade são como um conjunto de previsões informadas e confiáveis. A barra de progresso indica quantos dos “verdadeiros positivos” esperados no público-alvo da previsão serão direcionados com o público-alvo selecionado. Observe que esperamos que esse número de usuários realize o evento mesmo que você não envie uma mensagem a eles.

Não se espera que tenha desempenho

Você pode usar a precisão estimada para verificar quantos usuários selecionados não devem realizar o evento.

Todos os modelos de aprendizado de máquina cometem erros. Pode haver usuários na sua seleção que tenham uma pontuação de probabilidade alta, mas que não acabem realizando o evento. Eles não realizariam o evento se você não tomasse nenhuma providência. Eles serão alvos de qualquer forma, portanto, isso é um erro ou “falso positivo”. A largura total dessa segunda barra de progresso representa o número esperado de usuários que não realizarão o evento, e a parte preenchida representa aqueles que serão direcionados incorretamente usando a posição atual do controle deslizante.

Usando essas informações, recomendamos que você decida quantos dos verdadeiros positivos deseja capturar, quantos falsos positivos pode aceitar como alvo e qual é o custo dos erros para a sua empresa. Se você estiver enviando uma promoção valiosa, talvez queira segmentar apenas os que não compram (falsos positivos), favorecendo o lado esquerdo do gráfico. Ou, talvez você queira incentivar os compradores que compram com frequência (verdadeiros positivos) a fazê-lo novamente, selecionando uma seção de usuários que favoreça o lado direito do gráfico.

Qualidade da previsão

To measure the accuracy of your model, the Prediction Quality metric will show you how effective this particular machine learning model appears to be when tested on historical data. Braze pulls data according to the groups you specified in the model creation page. The model is trained on one data set (the “training” set) and then tested on a new, separate data set (the “test” set).

The prediction will be trained again every two weeks and updated alongside the Prediction Quality metric to keep your predictions updated on the most recent user behavior patterns. Additionally, each time this occurs, the last two weeks of predictions will be tested against actual user outcomes. The Prediction Quality will then be calculated based on these real outcomes (rather than estimates). This is an automatic backtest (that is, testing a predictive model on historical data) to ensure the prediction is accurate in real-world scenarios. The last time this retraining and backtesting occurred will be displayed on the Predictions page and an individual prediction’s analytics page. Even a preview prediction will perform this backtest once after its creation. This way, you can be sure of the accuracy of your customized prediction even with the free version of the feature.

Prediction quality example

For example, if 20% of your users usually churn on average, and you pick a random subset of 20% of your users and label them as churned at random (whether they truly are or not), you’d expect to correctly identify only 20% of the actual churners. That’s random guessing. If the model were to only do that well, the lift would be 1 for this case.

If the model, on the other hand, allowed you to message 20% of the users and, in doing so capture all the “true” churners and no one else, the lift would be 100% / 20% = 5. If you chart this ratio for every proportion of the likeliest churners you could message, you get the Lift Curve.

Another way to think of lift quality (and also Prediction Quality) is how far along the way between random guessing (0%) and perfection (100%) the prediction’s lift curve is at identifying churners on the test set. For the original paper on lift quality, see Measuring lift quality in database marketing.

How it’s measured

Our measure of Prediction Quality is lift quality. Generally, “lift” refers to the increased ratio or percentage of a successful outcome, such as a conversion. In this case, the successful outcome is correctly identifying a user who would have churned. Lift quality is the average lift the prediction provides across all possible audience sizes for messaging the test set. This approach measures how much better than random guessing the model is. With this measure, 0% means the model is no better than randomly guessing about who will churn, and 100% indicates perfect knowledge of who will churn.

Recommended ranges

Here’s what we recommend for various ranges of Prediction Quality:

Prediction Quality Range (%)	Recommendation
60 - 100	Excellent. Top tier accuracy. Changing the audience definitions is unlikely to provide additional benefit.
40 - 60	Good. This model will produce accurate predictions, but trying different audience settings may achieve even better results.
20 - 40	Fair. This model can provide accuracy and value, but consider trying different audience definitions to see if they increase performance.
0 - 20	Poor. We recommend you change your audience definitions and try again.

Tabela de correlação de eventos

Essa análise exibe atributos ou comportamentos do usuário que estão correlacionados com eventos no público-alvo da previsão. Os atributos avaliados são Idade, País, Gênero e Idioma. Os comportamentos analisados incluem sessões, compras, total de dólares gastos, eventos personalizados e campanhas e etapas do Canvas recebidas nos últimos 30 dias.

As tabelas são divididas em esquerda e direita, para maior e menor probabilidade de realizar o evento, respectivamente. Para cada linha, a proporção pela qual os usuários com o comportamento ou atributo na coluna da esquerda têm maior ou menor probabilidade de realizar o evento é exibida na coluna da direita. Esse número é a proporção das pontuações de probabilidade dos usuários com esse comportamento ou atributo dividida pela probabilidade de realizar o evento em todo o público da previsão.

Essa tabela é atualizada somente quando a previsão é retreinada e não quando as pontuações de probabilidade do usuário são atualizadas.