Mensuração do Decisioning Studio Go

Este guia mostra como medir o impacto do seu agente: usando o controle aleatório integrado e comparando com o seu programa atual (business as usual, ou BAU).

O Decisioning Studio Go oferece uma comparação por padrão: o agente em relação a um controle aleatório. Você mesmo pode configurar uma segunda comparação: o agente em relação ao seu programa atual. Este guia aborda as duas, além de mostrar como interpretar os números e levar os dados para o seu próprio data warehouse.

A comparação integrada: agente versus controle aleatório

Todo agente divide automaticamente o público em dois grupos:

• O grupo do Decisioning Studio recebe conteúdo otimizado por IA.
• O grupo de controle aleatório recebe combinações escolhidas aleatoriamente entre as mesmas opções que você configurou, dentro do mesmo cronograma e das mesmas restrições.

Como os dois grupos usam as mesmas opções e o mesmo cronograma, a diferença entre eles isola o efeito da tomada de decisões do agente. Essa é a medida de aumento mais limpa e está sempre disponível. Não é preciso configurar nada a mais.

A métrica de aumento

A métrica principal é Clientes únicos que clicaram por dia: o número de usuários distintos que clicam, e não o volume bruto de cliques. O aumento é a diferença entre o grupo do Decisioning Studio e o controle aleatório nessa medida.

O agente aprende apenas com cliques genuínos. Antes de um clique ser contabilizado, ele passa por filtros de validação que eliminam atividades automatizadas e cliques relacionados a descadastro. Por isso, os totais de cliques do Decisioning Studio são menores que os dos seus relatórios brutos de e-mail. A mesma filtragem vale igualmente para os dois grupos, então a comparação entre eles continua válida.

Dimensione o grupo de controle

O tamanho mínimo do controle é 5%. Ajuste-o ao seu público. Públicos menores precisam de um controle proporcionalmente maior para manter a relevância estatística:

Compare com o seu programa atual (BAU)

O controle aleatório mede o agente em relação a combinações escolhidas aleatoriamente entre as mesmas opções. Para medir o agente em relação ao seu programa atual, configure você mesmo uma comparação com o BAU. O Decisioning Studio Go não orquestra nem gera relatórios sobre o grupo BAU: é você quem monta essa comparação.

Etapa 1: Divida seu público em um grupo BAU e um grupo do agente

Você pode usar qualquer um destes métodos:

• Use uma etapa da jornada experimental em um Canvas (recomendado) para direcionar os usuários para uma jornada BAU ou para o segmento do agente. Uma etapa da jornada experimental no Canvas faz uma divisão limpa e aleatória, e é a forma recomendada de configurar um teste justo. Consulte Usar o Decisioning Studio Go com o Canvas.
• Use números de bucket aleatórios fora de um Canvas para separar um grupo BAU e um grupo do agente a partir do mesmo público.

Etapa 2: Verifique se o público é grande o suficiente para a divisão

O grupo do agente deve ter pelo menos 20.000 usuários depois da divisão e depois da alocação do controle aleatório. Se o seu público total tiver cerca de 40.000 usuários ou menos, uma divisão BAU de 50/50 deixa cada metade abaixo desse mínimo. Para públicos menores, mas ainda elegíveis, reserve uma parcela menor para o BAU ou use o controle aleatório integrado em vez de uma comparação com o BAU.

Etapa 3: Garanta que o teste seja justo

Uma comparação com o BAU só faz sentido se a única diferença entre os dois grupos for quem toma as decisões. Antes de lançar:

• Mantenha o comportamento de envio igual. Ajuste a frequência de envio do agente à frequência do BAU ou defina-a como a média do BAU. Se um grupo receber envios com mais frequência que o outro, você estará medindo o volume de envios, e não a tomada de decisões.
• Carregue os criativos do BAU no agente. Todas as linhas de assunto, chamadas para ação (CTAs) e imagens devem estar disponíveis tanto para o grupo BAU quanto para o agente. Assim, qualquer diferença reflete as decisões, porque os dois grupos têm o mesmo conteúdo disponível.
• Alinhe a forma de contabilizar um clique nos dois grupos, para comparar coisas equivalentes.
• Mantenha o BAU estável durante o período de mensuração. Não o reotimize durante o teste.

Etapa 4: Aguarde uma leitura justa

No início, um agente ainda em treinamento costuma ficar atrás de um programa BAU maduro e já otimizado. Essa diferença é esperada. Aguarde até que o agente esteja Totalmente treinado antes de comparar. Para saber mais, consulte O que esperar após o lançamento.

Analise os resultados no seu próprio data warehouse

Cada envio grava identificadores em message_extras no evento users.messages.email.Send. Eles são gravados automaticamente em todos os espaços de trabalho:

Para analisar esses campos no seu data warehouse:

1. Confirme se o Currents ou sua exportação de dados inclui message_extras no evento de envio.
2. Faça a junção do evento de envio, que contém a tag do grupo, com as aberturas e os cliques usando user_id e dispatch_id.
3. Compare a métrica de sua escolha entre os valores de ds_go_agent_regime e entre a divisão BAU e do agente, caso tenha configurado uma.

Como interpretar os relatórios

• Defina a data de término como dois dias atrás. Os dados dos relatórios têm um atraso de cerca de um dia, então uma data de término de dois dias atrás oferece uma visão completa.
• Aguarde alguns dias após o lançamento para que os relatórios sejam preenchidos. Se eles parecerem vazios logo depois do lançamento, isso é esperado. Os relatórios ainda estão coletando dados.
• Use as visualizações Performance e Preferências do agente. Performance mostra o aumento em comparação com o controle aleatório. Preferências do agente mostra com que frequência o agente escolheu cada variante.