3 Passos fáceis que criam testes A/B matadores – Com exemplos!

Gabriel Resende
19/10/2018

Os dados são uma ferramenta valiosa para os web designers que tomam decisões sobre a experiência do usuário. Testes A / B, ou testes de divisão, são uma das maneiras mais fáceis de medir o efeito de design, conteúdo ou funcionalidade diferentes. Os testes A / B permitem que você crie elementos de experiência do usuário de alto desempenho que você pode implementar em seu site.

Mas é importante garantir que você alcance resultados relevantes e evite armadilhas. Vamos falar sobre como fazer isso.

O que é um teste A / B?

Em um teste A / B, você compara duas versões de um elemento de página por um período de tempo para ver qual apresenta melhor desempenho. Os usuários verão uma versão ou outra e você avaliará as conversões de cada conjunto de usuários. Os testes A / B ajudam os designers a comparar o conteúdo, como manchetes diferentes, texto de call to action ou tamanho da cópia do corpo. Opções de design e estilo também podem ser testadas; Por exemplo, você pode testar onde colocar um botão de login ou qual deve ser o tamanho dele. Os testes A / B podem até ajudá-lo a medir as alterações na funcionalidade, como, por exemplo, como e quando as mensagens de erro são exibidas.

O teste de divisão também pode ajudar quando você está fazendo alterações de design drásticas que precisam ser moderadas, como uma reformulação da página inicial. Você pode escolher partes da mudança e testá-las à medida que avança para o design final, sem se preocupar que uma alteração massiva afaste uma base de usuários ou cause uma grande queda nas conversões.

Os resultados dos testes A / B têm impacto duradouro. É importante saber quais padrões de design funcionam melhor para os usuários, para que você possa repetir os resultados dos testes A / B “vencedores” em todo o site. Quer você saiba como os usuários respondem ao tom do seu conteúdo, frases de chamariz ou layout de design, você pode aplicar o que aprendeu ao criar um novo conteúdo.

Os dados também funcionam muito bem com os tomadores de decisão que não são designers. Os testes A / B podem ajudar a evitar quedas na taxa de conversão, alienação de uma base de usuários e reduções na receita; os clientes apreciam esse tipo de dados.As conversões avaliadas podem ser compras reais de produtos, cliques em um link, a taxa de visitas de retorno ao site, criações de conta ou qualquer outra ação mensurável. 

O teste A/B pode ajudar sua equipe a tomar decisões com base em fatos e não em opiniões.

 

Relacionado: 3 Dicas rápidas de design que aumentam as vendas de seu site

 

Passo 1: Decida o que testar

Primeiro, você precisa decidir qual elemento da página você gostaria de testar. As diferenças entre as versões A / B devem ser distintas. Uma pequena alteração na cor, uma pequena reordenação de palavras ou alterações insignificantes na funcionalidade podem não fazer bons testes A / B, pois provavelmente não registrarão grandes diferenças na experiência do usuário, dependendo do tamanho da sua base de usuários.A diferença entre versões deve influenciar as taxas de conversão; e deve ser algo que você aprenderá para projetos futuros. Grandes testes A / B poderiam comparar:

  • linhas de assunto de e-mail completamente diferentes,
  • oferecer um pacote ou uma oferta em massa em uma versão ou
  • exigindo inscrição para um conjunto de usuários e deixando-o opcional para o outro.

Os testes A / B devem ser feitos apenas em uma variável de cada vez; Se você testar mais de uma diferença entre as versões, é impossível dizer como cada variável influenciou as conversões.

Neste momento, você também deve descobrir qual métrica será comparada entre as duas versões. Uma taxa de conversão é a métrica mais usada para testes A / B, mas pode haver outros pontos de dados em que você possa se interessar. A taxa de conversão medida pode ser a porcentagem de usuários que clicaram em um botão inscrito em um formulário ou abriu um email.

Aqui ou ali? Melhor testar do que tentar adivinhar

Passo 2: Implemente seu teste

Depois de decidir as diferenças entre as versões A e B, você precisa configurar seu teste A / B para ser executado em seu site. Existem muitas ferramentas de teste A / B que você pode experimentar, dependendo de seu meio (website, email), plataforma (HTML estático, conteúdo dinâmico) ou conforto ao liberar as métricas do seu site para ferramentas de terceiros.  Você também pode criar sua própria solução doméstica. Você quer poder controlar:

  • o número de visitantes que vê cada versão do teste,
  • a diferença entre cada versão, e
  • como você mede o efeito de cada teste.

O rastreamento de eventos com o Google Analytics pode ser útil se você estiver usando sua própria solução de teste dividido. Você pode definir variáveis ​​personalizadas usando o Google Analytics que ajudam a rastrear os usuários que veem a versão A do seu teste em comparação com aqueles que vêem a versão B. Isso pode ajudar você a decifrar dados adicionais além da taxa de conversão principal. Por exemplo, usuários em diferentes países tiveram resultados diferentes do usuário médio?

Para definir as variáveis ​​personalizadas no Google Analytics, adicione a seguinte linha de JavaScript à sua página:

_gaq.push(['_setCustomVar',1,'testname','testversion',2]);

Há mais informações sobre a criação de variáveis ​​personalizadas na documentação do Google . As partes do acima que você deseja substituir são testname , que será um identificador para o teste A / B que você está executando, e testversion , que indicará se esta é a versão A ou B. Use nomes que serão intuitivos para voce. Por exemplo, se eu fosse executar uma experiência de home page para comparar texto curto a texto longo, na versão A usaria:

_gaq.push(['_setCustomVar',1,'Homepage Content Test','Short',2]);

Na versão B usaria:

_gaq.push(['_setCustomVar',1,'Homepage Content Test','Long',2]);

Ao coletar essas informações no Google Analytics, você poderá ver mais dados sobre os usuários que veem seu teste do que apenas a taxa de conversão, como tempo no site, número de criações de conta e muito mais. Para ver essas variáveis ​​no Google Analytics depois de começar a coletar dados, acesse Visitantes> Variáveis ​​personalizadas e selecione o nome do teste que você escolheu anteriormente.

Os resultados começaram a aparecer, mas ainda existe um último passo.

Passo 3: Meça os resultados

Depois de algum tempo (normalmente algumas semanas, dependendo do tráfego para o teste), verifique os resultados do seu teste e compare a taxa de conversão de cada versão. Cada teste A / B deve atingir significância estatística antes que você possa confiar em seu resultado. Você pode encontrar diferentes calculadoras on-line para verificar se atingiu um nível de confiança de 95% em seu teste. A significância é calculada usando o número total de usuários que participaram de cada versão do teste e o número de conversões em cada versão; muito poucos usuários ou conversões e você precisará de mais dados antes de confirmar o vencedor. Terminar um teste cedo demais pode significar que sua versão “vencedora” não é a melhor escolha, portanto, meça com cuidado.

Quanto mais visitantes visualizarem seu teste, mais rápido será o teste. É importante executar testes A / B em áreas de tráfego intenso do seu site para que você possa alcançar mais rapidamente a significância estatística. À medida que você adquire mais prática com testes de divisão, você descobrirá que quanto mais visitantes virem o teste, mais fácil será atingir um nível de confiança de 95%.

Um volume de usuários realizando o teste é essencial para valida-lo

 

Exemplos de teste A / B

Digamos que eu seja um desenvolvedor de um site de comércio eletrônico. Como os testes A / B são perfeitos para testar um elemento de página de cada vez, criei um teste A / B para resolver uma discussão sobre se queríamos colocar em negrito uma parte do nome de um produto na conta de um usuário. Tínhamos uma longa lista de produtos na interface do usuário para ajudar os usuários a gerenciar as renovações de produtos e não sabíamos como era fácil para os usuários verificarem. Na versão A, os itens da lista apareceram com um nome de domínio em negrito:

nome do serviço, domínio.com.br

Enquanto a versão B se parecia com isso:

nome do serviço, domínio.com.br

Depois de alcançar conversões suficientes para atingir um nível de confiança de 95%, aqui estão os resultados:

Taxa de conversão de comércio eletrônico Por valor de visita
Versão A 26,87% R$ 11,28
Versão B 23,26% R$ 10,62

A versão A foi o nosso vencedor e nos ajudou a entender que os usuários provavelmente verificaram seu nome de domínio em uma lista de produtos.

A interação do usuário é outra métrica para verificar quando você está criando testes A / B. Comparamos os níveis de agressão no tom de conteúdo em um teste e assistimos para ver como os padrões de visitante mudaram.

Texto da versão A:

Não perca a oportunidade de se tornar um usuário VIP. Inscreva-se agora.

Texto da versão B:

Não seja um idiota; torne-se um VIP!

As taxas de rejeição podem ser uma boa métrica de teste A / B para observar as páginas de destino. Enquanto observávamos os números, as taxas de rejeição das versões eram significativamente diferentes:

Taxa de rejeição
Versão A 0,05%
Versão B 0,13%

Naturalmente, queríamos ser cautelosos com textos muito agressivos, e a taxa de rejeição indicava que a versão mais agressiva poderia estar alienando os usuários. Ocasionalmente, você pode querer aprofundar esses dados quando atingir a significância estatística, especialmente se tiver uma base de usuários diversificada. Em outro teste de conteúdo, separei os dados da taxa de rejeição por país usando o Waypanel.

Relacionado: 11 maneiras fáceis de reduzir sua taxa de rejeição

Taxa de rejeição da versão A Taxa de rejeição da versão B
Estados Unidos 13,20% 16,50%
Fora dos EUA 15,64% 16,01%

A versão B teve uma taxa de rejeição mais consistente entre as versões, e percebemos que precisávamos fazer mais testes para ver por que a versão A estava sendo executada de forma tão diferente para os dois grupos de usuários.

Além dos testes de design e conteúdo, você também pode executar experimentos sobre funcionalidade. Nós tínhamos um botão que simplesmente adicionava um produto ao carrinho do usuário. Em ambas as versões do nosso teste A / B, usamos a mesma linguagem de botão e estilo. A única diferença entre as duas versões era que o botão da versão A adicionava o produto ao carrinho com o preço de um ano. A versão B adicionou-o ao carrinho com o preço de dois anos.

Nosso objetivo era avaliar a taxa de conversão de comércio eletrônico e o valor médio do pedido entre as duas versões. Não tínhamos certeza se os usuários que tinham a versão B reduziriam o número de anos no carrinho para um ano, ou se ver um preço mais alto no carrinho os desligaria e pediria que eles abandonassem o carrinho.Esperávamos ganhar mais receita com a versão B, mas precisávamos testá-la. Depois que alcançamos o número de conversões necessárias para tornar o teste estatisticamente significativo, encontramos o seguinte:

Valor médio do pedido Taxa de conversão de comércio eletrônico
Versão A US $ 17,13 8,33%
Versão B US $ 18,61 9,60%

A versão B – o botão que adicionou a versão de dois anos do produto ao carrinho – foi o vencedor claro. Podemos usar essas informações para criar outros botões “adicionar ao carrinho” em todo o site também.

Armadilhas

Às vezes, seus dados de teste A / B serão inconclusivos. Recentemente, fizemos um teste em nossa página inicial para determinar qual conteúdo teve melhor desempenho.Eu tinha certeza de que uma versão seria um vencedor absoluto. No entanto, as duas versões geraram a mesma taxa de conversão de comércio eletrônico, páginas por visita e valor médio do pedido. Depois de executar o teste por semanas, percebemos que provavelmente nunca obteríamos dados significativos para fazer uma alteração, então encerramos o teste e passamos para o próximo. Após um resultado neutro, você pode escolher qualquer versão para usar em seu site, mas não haverá dados estatisticamente significativos que indiquem que uma versão é “melhor” que a outra.

Lembre-se de não se apegar com seus testes A / B; às vezes eles simplesmente não mostram diferença. Dê aos seus testes tempo suficiente para garantir que você tenha dado a sua melhor chance (dependendo do número de visitantes que vêem uma página, eu gostaria de deixar os testes serem executados por pelo menos três semanas antes de verificar os dados). Se você acha que o teste pode não ser bem sucedido, termine e tente outra coisa.

Mantenha uma lista de execução das diferentes coisas que você deseja testar; isso ajudará você a continuar aprendendo coisas novas, e também servirá como uma maneira fácil de resolver desentendimentos sobre decisões de design. “Eu vou adicioná-lo à lista de testes A / B” vem a calhar quando é preciso trazer paz às discussões.

Analise já o seu site

Assista gravações, veja mapas de cliques e acompanhe cada visitante de seu site. Tudo isso grátis! Conheça o Waypanel.com

Copyright 2018 WayPanel ©  All Rights Reserved