Perguntas frequentes sobre testes multivariantes e A/B

Noções básicas de teste

Qual é a diferença entre os Testes A/B e os testes multivariantes?

Testes A/B

Nos Testes A/B, o profissional de marketing está experimentando uma única variável dentro da campanha (como linhas de assunto de e-mail ou horário de envio de mensagens). Isso envolve a divisão aleatória de um subconjunto do público em dois ou mais grupos, apresentando a cada grupo uma variação diferente e observando qual variação exibe a maior taxa de conversão. Normalmente, a variação com melhor performance é enviada posteriormente para o restante do público.

Testes multivariantes

Os testes multivariantes são uma extensão dos Testes A/B, que permitem que o profissional de marketing teste várias variáveis de uma só vez para determinar a combinação mais eficaz. Por exemplo, você pode testar a linha de assunto de sua mensagem de e-mail, a imagem que acompanha o texto e a cor do botão de CTA. Esse tipo de teste permite explorar mais variáveis e combinações de variações em um único experimento e obter insights de forma mais rápida e abrangente do que os Testes A/B. No entanto, testar mais variáveis e combinações em um único experimento requer um público maior para produzir significância estatística.

Como os resultados dos Testes A/B são calculados?

Braze testa todas as variantes umas contra as outras com testes qui-quadrado de Pearson, que medem se uma variante supera estatisticamente todas as outras em um nível de significância de p < 0,05, ou o que chamamos de 95% de significância. Em todas as variantes que excedem esse limite de significância, a variante com melhor performance é determinada como a “vencedora”.

Esse é um teste separado da pontuação de confiança, que descreve apenas a performance de uma variante em comparação com o controle com um valor numérico entre 0 e 100%. Especificamente, ele representa nossa confiança de que a diferença padronizada na taxa de conversão entre a variante e o controle é significativamente maior do que o acaso.

Por que a distribuição das variantes não é uniforme?

A distribuição entre as variantes nem sempre é uniforme. Veja como funciona a distribuição de variantes.

Toda vez que uma mensagem é enviada em uma campanha multivariante, o sistema seleciona independentemente uma opção aleatória de acordo com as porcentagens definidas e atribui uma variante com base no resultado. É como jogar uma moeda - anomalias são possíveis. Se você já jogou uma moeda 100 vezes, sabe que provavelmente não obterá uma divisão exata de 50-50 entre cara e coroa todas as vezes, mesmo que tenha apenas duas opções. Você pode obter 52 caras e 48 coroas.

Se você tiver várias variantes que deseja dividir igualmente, também precisará garantir que o número de variantes seja um múltiplo de 100. Caso contrário, algumas variantes terão uma porcentagem maior de usuários distribuídos para essa variante em comparação com outras. Por exemplo, se sua campanha tiver 7 variantes, não poderá haver uma distribuição uniforme de variantes, pois 7 não se divide igualmente por 100 como um número inteiro. Nesse caso, você teria 2 variantes de 15% e 5 variantes de 14%.

Nota sobre mensagens no app

Ao executar um teste A/B em mensagens no app, sua análise de dados pode parecer mostrar uma distribuição de variantes mais alta entre uma variante e outra, mesmo que elas tenham uma divisão percentual uniforme. Por exemplo, considere o seguinte gráfico de Destinatários Únicos para a Variante A e a Variante C.

A Variante A tem uma contagem consistentemente maior de Destinatários Únicos do que a Variante C. Isso não se deve à distribuição de variantes, mas sim à forma como os Destinatários Únicos são calculados para mensagens no app. Para mensagens no app, os destinatários únicos são, na verdade, impressões únicas, que é o número total de pessoas que receberam e visualizaram a mensagem no app. Isso significa que, se um usuário não receber a mensagem por qualquer motivo ou decidir não visualizá-la, ele não será incluído na contagem de destinatários únicos, e a distribuição de variantes poderá parecer distorcida.

Execução e conclusão de testes

Quando o teste inicial termina?

Ao usar a Variante vencedora para campanhas de envio único, o teste termina quando chega a hora de envio da Variante vencedora. O Braze considerará uma variante como vencedora se ela apresentar a maior taxa de conversão por uma margem estatisticamente significativa.

Para campanhas recorrentes, baseadas em ações e disparadas por API, você pode usar o Intelligent Selection para rastrear continuamente os dados de performance de cada variante e otimizar continuamente o tráfego da campanha para as variantes de melhor performance. Com a Seleção Inteligente, em vez de definir explicitamente um grupo de experimentos em que os usuários recebem variantes aleatórias, o algoritmo do Braze refinará continuamente sua estimativa da variante de melhor performance, o que pode permitir uma seleção mais rápida da variante de melhor performance.

Como o Braze lida com os usuários que receberam uma variante de mensagem em uma campanha recorrente ou etapa de entrada do Canva?

Os usuários são atribuídos aleatoriamente a uma variante específica antes de receber a campanha pela primeira vez. Cada vez que a campanha for recebida (ou o usuário entrar novamente em uma variante do Canva), ele receberá a mesma variante, a menos que as porcentagens da variante sejam modificadas. Se as porcentagens de variantes mudarem, os usuários poderão ser redistribuídos para outras variantes. Os usuários permanecem nessas variantes até que as porcentagens sejam modificadas novamente. Os usuários só serão redistribuídos para as variantes que foram editadas.

Por exemplo, digamos que temos uma campanha ou um Canva com três variantes. Se apenas a Variante A e a Variante B forem alteradas ou atualizadas, os usuários da Variante C não serão redistribuídos porque a porcentagem da variante da Variante C não foi alterada. Os grupos de controle permanecem consistentes se a porcentagem da variante não for alterada. Os usuários que receberam mensagens anteriormente não podem entrar no grupo de controle em um envio posterior, nem qualquer usuário do grupo de controle pode receber uma mensagem.

E quanto às jornadas experimentais?

O mesmo se aplica porque as jornadas do canva após um experimento também são variantes.

Posso realizar ações para redistribuir usuários em campanhas e Canvas?

A única maneira de redistribuir usuários em Canvas é usar Jornadas aleatórias em jornadas de experimento, que sempre atribuirá caminhos aleatórios quando os usuários entrarem novamente no Canvas. No entanto, esse não é um experimento padrão e pode invalidar os resultados do experimento, pois o grupo de controle pode ser contaminado pelos usuários do tratamento.

Confiança e preconceito

A confiança aumenta com o tempo?

A confiança aumenta com o tempo se tudo o mais se mantiver constante. Manter-se constante significa que não há outros fatores de marketing que possam influenciar as variantes, como a Variante A falando sobre uma venda com 25% de desconto que termina no meio do teste.

A confiança é uma medida do grau de confiança do Braze de que a variante é diferente do controle. À medida que mais mensagens são enviadas, o poder estatístico do teste aumenta, o que aumentaria a confiança de que as diferenças medidas no desempenho não se devem ao acaso. Geralmente, um tamanho de amostra maior aumenta nossa confiança na identificação de diferenças menores de performance entre variantes e controle.

As atribuições do grupo de controle e do grupo de teste podem introduzir viés nos testes?

Não há nenhuma maneira prática de que as atribuições ou os comportamentos de um usuário antes da criação de uma determinada campanha ou Canva possam variar sistematicamente entre variantes e controle.

Para atribuir usuários a variantes de mensagens, variantes do Canvas ou seus respectivos grupos de controle, começamos vinculando a ID de usuário gerada aleatoriamente à ID da campanha ou do Canvas gerada aleatoriamente. Em seguida, aplicamos um algoritmo de hash sha256, dividimos o resultado por 100 e mantemos o restante (também conhecido como módulo com 100). Por fim, ordenamos os usuários em fatias que correspondem às atribuições percentuais para variantes (e controle opcional) escolhidas no dashboard.

Por que não posso usar o limite de frequência com um grupo de controle?

Atualmente, o Braze não oferece suporte a limites de frequência com Testes A/B que tenham um grupo de controle. Isso ocorre porque o limite de frequência não se aplica ao grupo de controle da mesma forma que as variantes, introduzindo assim um viés. Em vez disso, considere usar a Seleção Inteligente, que ajusta automaticamente a porcentagem de usuários que receberão cada variante com base na análise de dados e na performance da campanha.