Análises preditivas de eventos
Depois que sua previsão for construída e treinada, você terá acesso à página de análises de previsão. Esta página ajuda você a decidir quais usuários você deve segmentar com base em sua pontuação de probabilidade ou categoria.
Sobre análises preditivas de eventos
Assim que a previsão terminar de treinar e esta página estiver populada, você pode começar a usar filtros em segmentos ou campanhas para começar a usar os resultados do modelo. Se você deseja ajuda para decidir quem direcionar e por quê, esta página pode ajudar com base na precisão histórica do modelo e nos seus próprios objetivos de negócios.
Esses são os componentes que compõem as análises preditivas de eventos:
A distribuição dos escores de probabilidade para todo o público de previsão é exibida no topo da página. Usuários em {buckets} mais à direita têm pontuações mais altas e são mais propensos a realizar o evento. Usuários em buckets mais à esquerda são menos propensos a realizar o evento. O controle deslizante abaixo do gráfico permitirá que você selecione uma seção de usuários e estime quais seriam os resultados de direcionamento desses usuários.
À medida que você move os controles deslizantes para diferentes posições, a barra na metade esquerda do painel informará quantos usuários do público total de previsão seriam alvo usando a parte da população que você selecionou.
Pontuação de probabilidade
Usuários no público de previsão receberão uma pontuação de probabilidade entre 0 e 100. Quanto maior a pontuação, maior a probabilidade de realizar o evento.
A seguir está como um usuário é categorizado dependendo de sua pontuação de probabilidade:
- Baixo: entre 0 e 50
- Médio: entre 50 e 75
- Alto: entre 75 e 100
As pontuações e as categorias correspondentes serão atualizadas de acordo com o cronograma que você escolheu na página de Criação de Previsão. O número de usuários com pontuações de probabilidade em cada um dos 20 intervalos de tamanho igual ou em cada uma das categorias de probabilidade é exibido no gráfico no topo da página.
Precisão estimada
Na metade direita do painel abaixo do gráfico, mostramos estimativas da precisão esperada do direcionamento da parte do público de previsão que você selecionou de duas maneiras: quantos usuários selecionados devem realizar o evento e quantos não devem.
Espera-se que tenha performance
É possível usar a precisão estimada para verificar quantos usuários selecionados devem executar o evento.
A previsão não é perfeitamente precisa, e nenhuma previsão jamais é, o que significa que a Braze não será capaz de identificar todos os futuros usuários para realizar o evento. As pontuações de probabilidade são como um conjunto de previsões informadas e confiáveis. A barra de progresso indica quantos dos “verdadeiros positivos” esperados no público de previsão serão alvejados com o público selecionado. Observe que esperamos que este número de usuários realize o evento mesmo que você não envie uma mensagem para eles.
Não se espera que tenha performance
É possível usar a precisão estimada para verificar quantos usuários selecionados deverão não realizar o evento.
Todos os modelos de machine learning cometem erros. Pode haver usuários em sua seleção que tenham uma pontuação de alta probabilidade, mas que não acabem realmente realizando o evento. Eles não realizariam o evento se você não tomasse nenhuma ação. Eles serão segmentados de qualquer maneira, então isso é um erro ou “falso positivo.” A largura total desta segunda barra de progresso representa o número esperado de usuários que não realizarão o evento, e a parte preenchida são aqueles que serão incorretamente alvejados usando a posição atual do controle deslizante.
Usando essas informações, incentivamos você a decidir quantos dos verdadeiros positivos você deseja capturar, quantos falsos positivos você pode aceitar serem direcionados e qual é o custo dos erros para o seu negócio. Se você está enviando uma promoção valiosa, pode querer direcionar apenas para não-compradores (falsos positivos) favorecendo o lado esquerdo do gráfico. Ou, você pode querer incentivar os compradores que frequentemente compram (verdadeiros positivos) a fazê-lo novamente, selecionando uma seção de usuários que favorece o lado direito do gráfico.
Qualidade da previsão
To measure the accuracy of your model, the Prediction Quality metric will show you how effective this particular machine learning model appears to be when tested on historical data. Braze pulls data according to the groups you specified in the model creation page. The model is trained on one data set (the “training” set) and then tested on a new, separate data set (the “test” set).
The prediction will be trained again every two weeks and updated alongside the Prediction Quality metric to keep your predictions updated on the most recent user behavior patterns. Additionally, each time this occurs, the last two weeks of predictions will be tested against actual user outcomes. The Prediction Quality will then be calculated based on these real outcomes (rather than estimates). This is an automatic backtest (that is, testing a predictive model on historical data) to ensure the prediction is accurate in real-world scenarios. The last time this retraining and backtesting occurred will be displayed on the Predictions page and an individual prediction’s analytics page. Even a preview prediction will perform this backtest once after its creation. This way, you can be sure of the accuracy of your customized prediction even with the free version of the feature.
Prediction quality example
For example, if 20% of your users usually churn on average, and you pick a random subset of 20% of your users and label them as churned at random (whether they truly are or not), you’d expect to correctly identify only 20% of the actual churners. That’s random guessing. If the model were to only do that well, the lift would be 1 for this case.
If the model, on the other hand, allowed you to message 20% of the users and, in doing so capture all the “true” churners and no one else, the lift would be 100% / 20% = 5. If you chart this ratio for every proportion of the likeliest churners you could message, you get the Lift Curve.
Another way to think of lift quality (and also Prediction Quality) is how far along the way between random guessing (0%) and perfection (100%) the prediction’s lift curve is at identifying churners on the test set. For the original paper on lift quality, see Measuring lift quality in database marketing.
How it’s measured
Our measure of Prediction Quality is lift quality. Generally, “lift” refers to the increased ratio or percentage of a successful outcome, such as a conversion. In this case, the successful outcome is correctly identifying a user who would have churned. Lift quality is the average lift the prediction provides across all possible audience sizes for messaging the test set. This approach measures how much better than random guessing the model is. With this measure, 0% means the model is no better than randomly guessing about who will churn, and 100% indicates perfect knowledge of who will churn.
Recommended ranges
Here’s what we recommend for various ranges of Prediction Quality:
| Prediction Quality Range (%) | Recommendation |
|---|---|
| 60 - 100 | Excellent. Top tier accuracy. Changing the audience definitions is unlikely to provide additional benefit. |
| 40 - 60 | Good. This model will produce accurate predictions, but trying different audience settings may achieve even better results. |
| 20 - 40 | Fair. This model can provide accuracy and value, but consider trying different audience definitions to see if they increase performance. |
| 0 - 20 | Poor. We recommend you change your audience definitions and try again. |
Tabela de correlação de eventos
Esta análise exibe atributos ou comportamentos de usuários que estão correlacionados com eventos no público de previsão. Os atributos avaliados são Idade, País, Gênero e Idioma. Comportamentos que são analisados incluem sessões, compras, total de dólares gastos, eventos personalizados, e campanhas e passos de canva recebidos nos últimos 30 dias.
As tabelas são divididas em esquerda e direita para mais e menos propensas a realizar o evento, respectivamente. Para cada linha, a razão pela qual os usuários com o comportamento ou atributo na coluna da esquerda são mais ou menos propensos a realizar o evento é exibida na coluna da direita. Este número é a razão entre as pontuações de probabilidade de usuários com esse comportamento ou atributo dividida pela probabilidade de realizar o evento de todo o público de previsão.
Esta tabela é atualizada apenas quando a previsão é re-treinada e não quando as pontuações de probabilidade do usuário são atualizadas.
Os dados de correlação para prévia das previsões serão parcialmente ocultos. Uma compra é necessária para revelar esta informação. Entre em contato com o seu gerente de conta para saber mais.
Editar esta página no GitHub