“Estamos montando um excelente novo produto que vai resolver seus problemas, você usaria esse produto?”, diz a pesquisa de validação de uma nova startup. Resultado: 70% das 1.000 pessoas que responderam a pesquisa disseram sim. Portanto a conclusão é clara que o produto não só é válido como não tem como dar errado, certo?
Errado! Esses valores não querem dizer nada. Por si só não tem validade e não é possível chegar a nenhum tipo de conclusão com isso. “Mas são 1.000 pessoas! Como você pode dizer isso?”. Este artigo não tem a intenção de ser estatisticamente rigoroso, apenas explicar alguns (dos muitos) pontos onde todos hoje em dia estão errando ao fazerem pesquisa.
Primeiro de tudo, qual é o público-alvo do seu produto? Digamos que seja a população do interior dos estados do Sul, classes C e D, de 50 a 60 anos de idade que tem pouca experiência com uso de informática em geral. Agora digamos que a pergunta acima fez parte de uma pesquisa feita online, compartilhada por Facebook, Twitter. Quem respondeu essa pesquisa? Com certeza muita gente das classe A até C, que envolvem principalmente população das capitais do Sudeste, com idades entre 16 e 25 anos de idade, que usam informática diariamente. Portanto, você fez a pergunta errada para as pessoas erradas.
Para efeito do exemplo, digamos que você teve o cuidado de ter escolhido a população correta e evitou o que é conhecido como “Biased Sampling”. “Estamos montando um excelente novo produto que vai resolver seus problemas, você usaria esse produto?”. Agora, essa não é a melhor forma de fazer a pergunta e deveria ser óbvio porque: é o que chamamos de “Loaded Question”, ou seja, a pergunta incentiva um tipo de resposta. Pra começar ela inicia com a premissa errada de que o novo produto é “excelente” e que “vai resolver” os problemas. Uma forma menos carregada deveria ser: “Estamos montando um produto que terá funcionalidades X, assumindo que você tem problemas Y, acha que isso ajudará a resolvê-las?”
Existe diversas técnicas e pontos a considerar para não usar premissas infundadas (do tipo adicionar retórica desnecessária), como explicar corretamente a proposição de valor. É muito fácil criar uma pergunta falaciosa que leva a uma resposta falsa. Pior ainda se você agora pegar essas 1.000 pessoas pesquisadas, separar os 700 que disseram “sim” à pergunta falaciosa feita ao público errado e começar a tirar conclusões a partir dela. “Ah, notamos que destes 700, metade tem cartões de crédito, costumam fazer compras pela internet pelo menos uma vez por mês e disseram que compartilhariam o serviço com pelo menos 2 amigos nas redes sociais”. Ainda pior se os que disseram “não” for justamente o público mais próximo ao público-alvo que se espera atingir.
Consultei também Ricardo Couto*, da Semantics, que explicou a questão. “Conhecer o entrevistado, seus hábitos e motivações é muito mais valioso para o negócio do que ter um alto percentual de respostas favoráveis sobre o produto ou serviço em um questionário online. A propósito, chamar de pesquisa um formulário feito em 5 minutos no Google Docs ou SurveyMonkey é, no mínimo, ingenuidade. O que se tem lá é um questionário. Questionários podem ser úteis se bem usados. Mas, em geral, são apenas conjuntos de perguntas em torno de um assunto. Uma pesquisa pode até fazer uso dessa ferramenta mas nem todo questionário é pesquisa”.
Estatísticas e probabilidades, pesquisas em geral devem ser realizadas apenas por profissionais que entendem todo esse campo de conhecimento. Não é algo trivial e não deve ser tratado levianamente. Este simples exemplo é apenas uma das formas mais simples de se enganar com números. Mark Twain popularizou a frase “Existem 3 tipos de mentiras: mentiras, malditas mentiras e estatísticas”. E este assunto já foi tão amplamente discutido e rebatido que existe um livro famoso de 1954, de Darrell Huff chamado “Como mentir com estatísticas”, que ilustra erros intencionais e não-intencionais associados à interpretação de estatísticas.
Ricardo também complementou dizendo: “Se pensarmos em um questionário online como ferramenta séria para pesquisa, primeiro há de se saber como se faz pesquisa. Tenho muitas dúvidas se as pessoas que dizem que “estão fazendo” uma pesquisa e te mandam um link para um questionário tenham levado em conta o efeito de ordem, efeito do observador ou evitaram perguntas tendenciosas – fatores bem conhecidos por quem faz pesquisa de verdade. E olha quem nem comentei sobre a validade estatística, que só se consegue aplicando métodos estatísticos (percentual simples não é estatística descritiva, ok? há de se conhece o que é valor p), ou mesmo da seleção dos respondentes adequados ao público-alvo que se pretende atingir. Ou será que eu quero como usuários, clientes ou consumidores apenas profissionais com a minha faixa etária, minha faixa de renda e meu comportamento de compra online e uso de redes sociais?”
Portanto, da próxima vez que pensar em criar uma conta numa das dezenas de serviços online para pesquisas, veja se ela satisfaz minimamente os requisitos de uma pesquisa bem feita e te guia nos procedimentos corretos para elaborar as pesquisas, selecionar o público, coletar, processar e analisar os dados rigorosamente e corretamente, do contrário você terá em mãos apenas números opacos que não contém nenhum significado e de onde não se pode tirar absolutamente nenhuma conclusão.
*Ricardo Couto é Consultor em Experiência do Usuário e Pesquisas, Mentor na Aceleratech, Presidente da Associação dos Designers de Interação SP (IxDA SP) e Membro da Sociedade Brasileira de Design da Informação. Estudou Psicologia Cognitiva (mestrado) na Universidade Federal de Pernambuco e especializações em Design da Informação, Docência do Ensino Superior e Tecnologia em Educação a Distância. Foi professor universitário em nível de graduação e pós-graduação por 7 anos e atualmente é CEO da Semantics, empresa que emprega métodos ágeis em experiência do usuário e pesquisa.
