Kantar: ChatGPT não está pronto para responder a pesquisas como humanos

Isso é o que indica a Kantar Brasil, empresa global de pesquisas e insights de marca, que fez testes comparando as respostas geradas pelo GPT-4 com dados de uma pesquisa com cerca de 5 mil entrevistados sobre um produto de luxo e suas atitudes em relação à tecnologia.

No processo, foi criada uma “amostra sintética” com características demográficas idênticas à amostra humana da empresa. Foram usados marcadores demográficos da amostra humana, como localização geográfica, idade, etnia, renda, educação, como parte do “condicionamento de prompt” para o GPT-4 garantir que suas respostas fossem comparáveis às respostas da pesquisa daquele perfil de respondente.

“Na pesquisa de mercado, conjuntos de dados sintéticos podem introduzir visões ou distorções e não refletirem com precisão as características e preferências de uma população-alvo, como confirmado pelos nossos testes ”, afirma Juliana Cavallari, diretora de contas da Kantar Brasil. “ Portanto, é crucial entender os casos de uso, as metodologias de solução e os frameworks de avaliação antes de confiar em dados sintéticos para informar decisões comerciais importantes.”

O que são amostras sintéticas?

A amostra sintética é produzida por meio de IA generativa ou, mais comumente, modelagem preditiva, e oferece respostas semelhantes às humanas, com base em nossos conjuntos de dados disponíveis. Em vez de fazermos perguntas para um participante humano real, a IA generativa (modelos grandes de linguagem como o GPT-4) ou modelos preditivos são usados como substitutos. Essas amostras compostas por dados sintéticos podem ser geradas para aumentar dados existentes, criar dados e simular cenários futuros.

Cientistas de dados têm inserido dados preditivos há décadas para muitos propósitos, inclusive no campo da pesquisa de mercado – mas dados sintéticos levam isso ao próximo nível, pretendendo representar atitudes ou comportamentos de um indivíduo ou grupo.

Um elemento essencial para alimentar um algoritmo gerador de dados sintéticos é uma abundância de “dados reais”. Confiar exclusivamente em um LLM disponível no mercado muitas vezes é uma estratégia ruim. É vital começar com uma fonte de dados de alta qualidade que seja muito específica para o problema em questão e usar isso para treinar um algoritmo gerador de dados sintéticos.

Combinando amostras humanas e sintéticas

É possível, porém, encontrar o equilíbrio certo entre máquina e humano para fornecer uma fonte de dados confiável. Existem três casos principais de uso que vemos neste campo:

- Impulsionamento de Amostra: é possível pegar um conjunto de dados de pesquisa em uma categoria específica e aumentar o conjunto de dados com mais respondentes em um ou mais subgrupos (que, por exemplo, podem estar sub-representados ou serem caros para recrutar). As respostas sintéticas podem ser aumentadas via agrupamento de respondentes ou via respondentes individuais. Se pensarmos em um conjunto de dados de pesquisa como uma tabela onde as linhas são respondentes e as colunas são perguntas da pesquisa, estamos tentando criar sinteticamente “novas linhas”, correspondentes aos respondentes de pequenos subgrupos.

- Aumento Preditivo: considerações sobre a duração da pesquisa muitas vezes significam que precisamos tomar decisões difíceis sobre quais perguntas podemos acomodar. Podemos preencher algumas lacunas em nossos dados com base em outros entrevistados históricos da pesquisa ou, de fato, com dados de perfil que já temos em nosso painel, para fornecer campos adicionais (modelados) junto com os dados base da pesquisa coletada.

- Gêmeos Digitais: ao longo do tempo, acumulamos um grande número de dados para os indivíduos entrevistados. Muitas vezes temos anos de dados atitudinais e comportamentais de alta qualidade sobre nossos painéis mais leais. Podemos aproveitar essas informações históricas para ajustar modelos de IA que então nos permitem “estender” além das perguntas anteriores da pesquisa para novas categorias, comportamentos e tópicos.

A Kantar, por exemplo, complementa sua rede programática de mais de 170 milhões de painéis humanos em mais de 100 mercados como o Qubed, tecnologia contra fraude construída a partir de 3 redes neurais profundas, e design empático de pesquisas, para garantir que esteja criando comunidades de painéis reais e engajados que fornecem os dados de maior qualidade e mais significativos.

“Os dados sintéticos têm muito potencial, mas a indústria tem muito mais trabalho a fazer para construir soluções técnicas e metodologicamente sólidas”, diz Juliana. “Embora seja possível aproveitar ao máximo o potencial de alguns dos algoritmos e tecnologias mais recentes, é preciso abordar as principais questões e desafios que os dados sintéticos apresentam, como sua precisão e visão, suas previsões em situações particulares e sua robustez.”