Criar testes multivariantes e A/B

Você pode criar um Teste Multivariado ou A/B para qualquer campanha que tenha como alvo um único canal e um único dispositivo. Por exemplo, se você quiser usar testes multivariantes ou A/B para uma campanha de push, pode direcionar apenas dispositivos iOS ou apenas dispositivos Android—não ambos os tipos de dispositivos na mesma campanha.

Etapa 1: Crie sua campanha

1. Acesse Envio de mensagens > Campanhas.
2. Selecione Criar campanha e um canal para a campanha na seção que permite testes multivariantes e A/B. Para documentação detalhada sobre cada canal de envio de mensagens, consulte Criar uma campanha.

Etapa 2: Crie suas variantes

Você pode criar até oito variantes da sua mensagem, diferenciando entre títulos, conteúdo, imagens e mais. O número de diferenças entre as mensagens determina se esse é um teste multivariante ou A/B. Um teste A/B examina o efeito da alteração de uma variável, enquanto um teste multivariante examina duas ou mais.

Para obter algumas ideias sobre como começar a diferenciar suas variantes, consulte Dicas para diferentes canais.

Etapa 3: Programe sua campanha

O agendamento de sua campanha multivariante funciona da mesma forma que o agendamento de qualquer outra campanha do Braze. Todos os tipos de entrega padrão estão disponíveis.

Depois que um teste multivariado começa, você não pode fazer alterações na campanha. Se você alterar os parâmetros, como a linha de assunto ou o corpo HTML, a Braze considera o experimento comprometido e desabilita imediatamente o experimento.

Etapa 4: Escolha um segmento e distribua seus usuários entre as variantes

Selecione segmentos para direcionar, depois distribua os membros entre suas variantes selecionadas e o grupo de controle opcional. Para obter as práticas recomendadas sobre a escolha de um segmento para teste, consulte Escolha de um segmento.

Para campanhas push, de e-mail e webhook programadas para serem enviadas uma vez, você também pode usar uma otimização. Uma otimização reserva uma parte do seu público-alvo do teste A/B e os mantém para um segundo envio otimizado com base nos resultados do primeiro teste.

Grupo de controle

É possível reservar uma porcentagem do seu público-alvo para um grupo de controle randomizado. Os usuários do grupo de controle não recebem o teste, mas a Braze monitora sua taxa de conversão durante a campanha.

Ao visualizar seus resultados, é possível comparar as taxas de conversão de suas variantes com uma taxa de conversão de linha de base fornecida pelo grupo de controle. Isso permite comparar os efeitos de suas variantes e os efeitos de suas variantes com a taxa de conversão que resultaria se você não enviasse nenhuma mensagem.

Grupos de controle com Testes A/B

Ao usar o limite de frequência com um Testes A/B, o limite de frequência não é aplicado ao grupo de controle da mesma forma que o grupo de teste, o que é uma fonte potencial de viés de tempo. Use janelas de conversão adequadas para evitar esse viés.

Grupos de controle com Intelligent Selection

O tamanho do grupo de controle de uma campanha com Intelligent Selection é baseado no número de variantes. Se cada variante for enviada para mais de 20% dos usuários, então o grupo de controle é 20%, e as variantes são divididas igualmente entre os 80% restantes. No entanto, se tiver variantes suficientes para que cada variante seja enviada a menos de 20% dos usuários, o grupo de controle deverá ser menor. Quando a Intelligent Selection começa a analisar a performance do seu teste, o grupo de controle aumenta ou diminui com base nos resultados.

Etapa 5: Designar um evento de conversão (opcional)

A definição de um evento de conversão para uma campanha permite que você veja quantos destinatários dessa campanha realizaram uma determinada ação após recebê-la.

Isso só afeta o teste se você tiver escolhido a Taxa de conversão primária nas etapas anteriores. Para saber mais, consulte Eventos de conversão.

Etapa 6: Revisão e lançamento

Na página de confirmação, revise os detalhes de sua campanha multivariante e inicie o teste! Em seguida, saiba como entender os resultados de seus testes.

Coisas para saber

Se seu experimento já começou a enviar e você editar a mensagem, o experimento se torna inválido, e quaisquer resultados do experimento são removidos.

• Para evitar qualquer interferência no comportamento esperado do experimento, recomendamos evitar edições de mensagens dentro de uma hora após o lançamento da campanha do experimento.
• Se o seu experimento estiver concluído e você editar a mensagem após o envio, os resultados do experimento permanecem disponíveis na análise de dados do seu dashboard. No entanto, se você relançar a campanha, os resultados do experimento são removidos.

Dicas para diferentes canais

Dependendo de qual canal você selecionar, você pode testar diferentes componentes da sua mensagem. Por exemplo, você pode tentar compor variantes com uma ideia do que deseja testar e o que espera provar. Quais alavancas você tem para puxar e quais são os efeitos desejados? Embora existam milhões de possibilidades que você pode investigar usando um teste multivariante e um teste A/B, temos algumas sugestões para você começar:

Canal	Aspectos da mensagem que você pode mudar	Resultados a serem observados
Push	Copiar Uso de imagens e emojis Deep links Apresentação de números (por exemplo, “triplicar” versus “aumentar em 200%”) Apresentação do tempo (por exemplo, “termina à meia-noite” versus “termina em 6 horas”)	Aberturas Taxa de conversão
E-mail	Assunto Nome de exibição Saudação Texto do corpo Uso de imagens e emojis Apresentação de números (por exemplo, “triplicar” versus “aumentar em 200%”) Apresentação do tempo (por exemplo, “termina à meia-noite” versus “termina em 6 horas”)	Aberturas Taxa de conversão
Mensagem no app	Aspectos listados para “push” (empurrar) Formato da mensagem	Clique Taxa de conversão

Além disso, a duração ideal de seu teste também pode variar dependendo do canal. Tenha em mente o tempo médio que a maioria dos usuários pode precisar para se engajar em cada canal.

Por exemplo, se estiver testando um push, poderá obter resultados significativos mais rapidamente do que ao testar o envio de e-mail, pois os usuários veem os pushes imediatamente, mas pode levar dias até que vejam ou abram um e-mail. Se você estiver testando mensagens no aplicativo, tenha em mente que os usuários devem abrir o app para ver a campanha, então você deve esperar mais tempo para coletar resultados tanto dos seus usuários mais ativos quanto dos seus usuários mais típicos.

Se você não tiver certeza de quanto tempo seu teste deve durar, o recurso Seleção Inteligente pode ser útil para encontrar uma Variante Vencedora de forma eficiente.

Escolha de um segmento

Como diferentes segmentos de seus usuários podem responder de forma diferente ao envio de mensagens, o sucesso de uma determinada mensagem diz algo sobre a própria mensagem e seu segmento de direcionamento. Portanto, tente projetar um teste tendo em mente seu segmento-alvo.

Por exemplo, embora os usuários ativos possam ter taxas de resposta iguais para “Esta oferta expira amanhã!” e “Esta oferta expira em 24 horas!”, os usuários que não abrem o app há uma semana podem ser mais receptivos à última formulação, pois ela cria um maior senso de urgência.

Além disso, ao escolher qual segmento executar seu teste, certifique-se de considerar se o tamanho desse segmento é grande o suficiente para o seu teste. Em geral, os testes multivariantes e A/B com mais variantes exigem um grupo de teste maior para obter resultados estatisticamente significativos. Isso ocorre porque mais variantes resultam em menos usuários vendo cada variante individual.

Viés e randomização

Uma pergunta comum sobre atribuições de grupos de controle e teste é se eles podem introduzir viés em seu teste. Outras pessoas às vezes se perguntam como sabemos se essas atribuições são realmente aleatórias.

Os usuários são atribuídos a variantes de mensagens, variantes do Canvas ou a seus respectivos grupos de controle concatenando sua ID de usuário (gerada aleatoriamente) com a ID da campanha ou do Canvas (gerada aleatoriamente), considerando o módulo desse valor com 100 e, em seguida, ordenando os usuários em fatias que correspondem às atribuições de porcentagem para variantes e controle opcional escolhidos no dashboard. Portanto, não há uma maneira prática de que os comportamentos dos usuários antes de criar uma campanha ou Canvas específico possam variar sistematicamente entre variantes e controle. Também não é prático ser mais aleatório (ou mais precisamente, pseudo-aleatório) do que essa implementação.

Erros a serem evitados

Há alguns erros comuns que devem ser evitados, criando a aparência de diferenças com base no canal de envio de mensagens se os públicos não forem filtrados corretamente.

Por exemplo, se você enviar uma mensagem push para um público amplo com um controle, o grupo de teste envia mensagens apenas para usuários com um token por push. No entanto, o grupo de controle inclui tanto usuários que têm um token por push quanto usuários que não têm. Nesse caso, seu público inicial para a campanha ou o Canva deve filtrar por ter um token por push (Foreground Push Enabled é true). O mesmo deve ser feito para a elegibilidade para receber mensagens em outros canais: optou por participar, tem um token por push ou está inscrito.

Observe que se uma variante de controle não consistir em nenhuma etapa do Canvas, eventos de critérios de saída não são registrados para usuários na variante de controle.