ChatGPT tentou enganar cientistas gerando dados falsos, diz estudo

O ChatGPT pode ser muito útil para otimizar tarefas, mas um estudo publicado na revista mostrou que a tecnologia também pode ser usada para gerar dados falsos que confirmem teorias científicas.

Os pesquisadores usaram a tecnologia por trás do chatbot de inteligência artificial (IA) ChatGPT para criar um conjunto falso de dados de ensaios clínicos para apoiar uma afirmação científica não confirmada.

A capacidade da IA ​​para fabricar dados convincentes se mostrou preocupante. “Uma coisa era a IA generativa sendo usada para gerar textos que não seriam detectáveis ​​usando software de plágio. Mas a capacidade de criar conjuntos de dados falsos, mas realistas, exige um nível diferente de preocupação”, disse à Elisabeth Bik, microbiologista e pesquisadora.

• ChatGPT libera bate-papo de voz para todos os usuários
• Fim da novela: Sam Altman retorna ao cargo de CEO da OpenAI

O medo é que isso vai tornar ainda mais fácil para qualquer pesquisador ou grupo de pesquisadores criar dados falsos sobre voluntários inesistentes. Os autores descrevem os resultados como um “banco de dados aparentemente autêntico”. Mas quando examinados por especialistas, os dados falharam nas verificações de autenticidade e continham sinais reveladores de terem sido fabricados.

Como os pesquisadores pegaram o ChatGPT na mentira

Os autores pediram que o GPT-4 que criasse um conjunto de dados relativos a pessoas com uma doença ocular chamada ceratocone. Para 15–20% das pessoas com a doença, o tratamento envolve um transplante de córnea, realizado através de um de dois procedimentos. O primeiro método, ceratoplastia penetrante (PK), envolve a remoção cirúrgica de todas as camadas danificadas da córnea e sua substituição por tecido saudável de um doador. O segundo procedimento, ceratoplastia lamelar anterior profunda (DALK), substitui apenas a camada frontal da córnea, deixando a camada mais interna intacta. Aí que entra o ChatGPT: os autores instruíram a IA a fabricar dados para apoiar a conclusão de que o DALK resulta em melhores resultados do que o PK.

Para fazer isso, eles pediram que mostrasse uma diferença estatística em um exame de imagem que avalia o formato da córnea e detecta irregularidades. Bem como uma diferença na qualidade da visão dos participantes do estudo antes e depois dos procedimentos. Os dados gerados pela IA incluíram 160 participantes do sexo masculino e 140 do sexo feminino. Assim, os dados falsos indicaram que aqueles que foram submetidos ao DALK obtiveram melhores resultados tanto na visão como no teste de imagem do que aqueles que tiveram PK. “Parece que é muito fácil criar conjuntos de dados que sejam pelo menos superficialmente plausíveis. Portanto, para um olhar não treinado, isto certamente parece um conjunto de dados real”, diz Jack Wilkinson, bioestatístico da Universidade de Manchester, no Reino Unido, envolvido com o estudo.