ChatGPT é mais “inteligente” que o Google, sugere estudo

Uma da plataforma Preply sugere que o ChatGPT parece, de fato, ser mais “inteligente” que o Google. Um painel de especialistas avaliou a IA (inteligência artificial) de ambos em 40 desafios de inteligência. No final, o chatbot ultra responsivo da OpenAI bateu o Google em 23 tarefas. 

As perguntas incluíam algumas questões feitas com frequência aos mecanismos de pesquisa e outras com desafios únicos de inteligência. Os assuntos iam de educação cívica até sexo e filosofia. 

• Lançamento do Bard, o ChatGPT do Google, é marcado por gafe com James Webb
• Já é possível testar a nova versão do ChatGPT no… Bing

Enquanto as perguntas tinham caráter prático ou existencial, outras eram baseadas em premissas falsas e moralmente sensíveis. Pelo menos uma não tinha resposta. Elas foram divididas em três seções: básica, intermediária e avançada. 

Os especialistas desafiaram os sistemas a obter a resposta certa, entregá-la com rapidez e clareza e no contexto apropriado. Os resultados mostram que o ChatGPT está à frente do Google quando o assunto é IA. Veja as conclusões: 

• O ChatGPT bate o Google por 23 a 16, com um empate 
• Nas questões de média ou alta aposta (quando informações ruins podem ter consequências negativas), o ChatGPT bate o Google por 14 a 8
• O Google venceu o ChatGPT nas perguntas básicas por 7 a 4, com um empate. 
• O Google se destaca nas perguntas em que as informações mudam com o tempo
• Nas questões intermediárias, o ChatGPT ganhou por 15 a 6
• Nas questões avançadas, o ChatGPT venceu por 4 a 3
• O ChatGPT vence por 15 a 9 nas questões objetivas, com um empate, e nas questões subjetivas por 8 a 7
• Nas questões de alto risco, o Google ganha de 7 a 4

Pontos fortes e pontos fracos 

O Google tem uma vantagem importante: tem acesso a informações em tempo real. É diferente do ChatGPT, que só tem conhecimento do mundo até 2021, uma vez que os textos que treinaram a plataforma só foram até esta data. 

A pesquisa também coloca como ponto forte do Google o fato do mecanismo ser mais ágil e volumoso como ferramenta de busca. Apenas na primeira página de resultados, uma pessoa pode acessar dez ou mais recursos da pesquisa, todos imediatamente clicáveis.

Enquanto isso, as respostas do ChatGPT costumam apresentar um ar mais “sábio” e “maduro”, como um diálogo que se esperaria com um professor de confiança.

Isso tem relação com o treinamento da IA, que partiu de milhões de exemplos da escrita humana disponíveis online. Isso permite que o programa preveja qual palavra deve seguir a anterior para que se pareça com uma linha de raciocínio inteligível. 

“O Google é um sistema de entrega de informações rápido e dinâmico, mas que parece falhar quase tanto quanto dá certo ao colocar os usuários diante do conteúdo que não queremos, ou simplesmente nos deixando fazer muito do trabalho nós mesmos”, diferencia a pesquisa. 

“Enquanto isso, o ChatGPT funciona como outra coisa – sim, uma entidade treinada inteiramente no pensamento humano que o precedeu, mas também um autor em si”. 

Respostas do Google e ChatGPT na pesquisa 

A seguir, trazemos alguns exemplos do que os pesquisadores avaliaram nas perguntas aos mecanismos de busca. Para acessar todos os exemplos, confira o estudo completo (em inglês). 

A Europa é um país 

ChatGPT diz “não” imediatamente, enquanto o Google faz os usuários “descobrirem” a resposta correta a partir de links de explicação. 

Quem é o presidente dos EUA? 

O Google acerta, mas o ChatGPT não pode responder à pergunta. Joe Biden subiu ao poder em fevereiro de 2021, quando o chatbot já não tinha acesso às informações disponíveis. A IA da OpenAI também não soube responder sobre a guerra da Ucrânia (a última invasão da Rússia começou em fevereiro de 2022). 

O Facebook me escuta? 

O ChatGPT vai direto ao ponto e explica a questão de uma maneira útil. O Google oferece artigos com explicações semelhantes, mas é preciso rolar o mouse por mais tempo. Além disso, o trecho em destaque que aparece na busca é do Facebook, o que pode deixar alguns usuários desconfiados.

Como manter minhas plantas vivas? 

O ChatGPT oferece uma cobertura abrangente e agradável de cuidados básicos com as plantas. Já o trecho em destaque do Google foi extraído de um artigo decente, mas é muito inferior à resposta do ChatGPT.

Como saber se alguém é narcisista?

A resposta do ChatGPT é muito semelhante ao artigo que o Google apresenta como trecho destaque de busca, então nesse ponto as ferramentas estão quase iguais em desempenho. 

Quais são as carreiras mais bem pagas?

O Google oferece um artigo com uma lista restrita dominada por especialidades médicas específicas, enquanto o ChatGPT fornece uma relação mais ampla dos setores que pagam bem em média.

Como perder peso rapidamente?

O ChatGPT oferece uma resposta simples e sensata que descreve os fundamentos da perda de peso saudável. O Google também oferece artigos úteis, mas sua resposta é atrasada por anúncios que vendem desde treinamento virtual até planos de refeições personalizados.

Como ganhar dinheiro?

O padrão do Google é que os resultados incluam “rápido” e “fácil” em suas duas primeiras listas, o que pode agradar ao público, mas são respostas estreitas e tendenciosas. O ChatGPT é mais comedido e completo em sua resposta, embora ainda seja inteligente e prático (por exemplo, menciona UpWork e marketing de afiliados). 

Este é um bom exemplo de divergência entre as ferramentas, o ChatGPT dá um tom de sabedoria, enquanto o padrão do Google é o chamativo clickbait que domina os resultados de pesquisa em muitos tópicos.

Deus é real? 

De novo, a resposta do ChatGPT é diplomática, imparcial e completa. O Google primeiro exibe quatro anúncios de igrejas, depois exibe dois artigos orgânicos, também de sites religiosos, cada um dos quais afirma que, sim, Deus é real. 

“Ao responder a uma das questões mais fundamentais e definidoras conhecidas pela humanidade – uma questão totalmente subjetiva e sem consenso – o Google vende sua resposta ao lance mais alto”, diz a pesquisa.