Método demonstrou alta capacidade de diferenciação de textos em testes de laboratório e poderá ser usado para classificar conteúdo em português. Como distinguir uma notícia falsa produzida por seres humanos de outra que foi produzida por meio de inteligência artificial (IA)? Pesquisadores do Instituto de Ciências Matemáticas e de Computação (ICMC) da USP em São […]
Método demonstrou alta capacidade de diferenciação de textos em testes de laboratório e poderá ser usado para classificar conteúdo em português.
Como distinguir uma notícia falsa produzida por seres humanos de outra que foi produzida por meio de inteligência artificial (IA)? Pesquisadores do Instituto de Ciências Matemáticas e de Computação (ICMC) da USP em São Carlos desenvolveram uma ferramenta que analisa no computador as características de linguagem do texto, fazendo a classificação e indicando os pontos mais relevantes na determinação da origem da notícia.
Pesquisa busca ferramenta para distinguir computacionalmente notícias falsas escritas por seres humanos das geradas via inteligência artificial (IA), pelos grandes modelos de língua (LLMs) em português brasileiro, língua sub-representada nesse tipo de mecanismo – Foto: mikemacmarketing/Wikimedia Commons
Testado em laboratório, o sistema apresentou elevada capacidade de identificação de autoria de textos, se foi produzido por humano ou por máquina, o que abre caminho para sua futura aplicação em programas de computador específicos para classificar conteúdos em língua portuguesa. A pesquisa é descrita em artigo científico apresentado na 25ª Conferência Internacional sobre Inteligência Artificial (EPIA), realizada em Portugal entre os dias 2 e 4 de setembro.
“O objetivo é investigar se é possível distinguir computacionalmente notícias falsas escritas por humanos das geradas pelos grandes modelos de língua (LLMs) em português brasileiro, uma língua sub-representada nessa área”, disse ao Jornal da USP o professor Thiago Pardo do ICMC, orientador do trabalho de mestrado de Pedro Lucas Castro de Andrade, que desenvolveu o sistema. “Com a evolução da IA e seu uso indiscriminado pela sociedade, essa tarefa tem ganhado grande importância, uma vez que ajudaria a ‘rastrear’ a origem da informação falsa veiculada”, acrescenta Pardo.
Segundo o professor do ICMC, o desenvolvimento da ferramenta faz parte de um projeto maior, o Synestech.AI, que reúne pesquisadores de várias instituições além do ICMC. “O nome do projeto é uma composição dos termos ‘sinestesia’, ‘tecnologia’ e ‘IA’.”
Pedro Lucas Castro de Andrade – Foto: Reprodução/Linkedin
A sinestesia refere-se a um fenômeno perceptivo raro no qual a estimulação de um sentido desencadeia uma experiência em outro sentido”, observa. “Pessoas que vivenciam a sinestesia podem perceber cores ao ouvir música, visualizar formas ao sentir odores específicos ou perceber sabores ao olhar para palavras.” No caso do projeto, o professor explica que seu nome advém do fato de seus objetivos incluírem diferentes tipos de dados e processamentos, como processamento de língua natural, visão computacional e processamento de imagens.
Pardo afirma que a pesquisa tem dois eixos principais. “O primeiro é caracterizar linguisticamente dois conjuntos de notícias disponíveis, chamados Fake.br e FakeTrueBR, que foram acrescidos com notícias falsas produzidas pelo Sabiá-3, um Grande Modelo de Linguagem (LLM) especializado na língua portuguesa, buscando identificar atributos lexicais, sintáticos, semânticos e psicolinguísticos que possam diferenciar notícias escritas por humanos de notícias escritas pelas máquinas”, relata.
“O segundo é avaliar o desempenho de classificadores automáticos nessa tarefa, sendo esses classificadores baseados em aprendizado de máquina treinados sobre os dados citados anteriormente. Um bom classificador automático poderia ajudar a sociedade a discernir melhor a origem do conteúdo falso e como lidar com ele.”, completa.
Nos conjuntos de dados trabalhados pelos pesquisadores, para cada notícia falsa produzida por humanos existe uma falsa gerada por máquina, relata o professor. “A análise segue em camadas. Na camada lexical e sintática, compara-se vocabulário utilizado (quais termos o humano usa mais e quais a máquina usa mais), complexidade silábica (quantas sílabas, em média, um humano e a máquina usam em cada sentença), distribuição de classes gramaticais e regras sintáticas (se há classes gramaticais e regras sintáticas mais usadas por humanos), entre outras informações”, descreve. “Na camada semântica e psicolinguística, coletamos indicadores variados, como quem usa mais verbos de determinados tipos, quem usa mais palavras concretas, quem usa mais palavras abstratas etc.”
“Inicialmente, o texto é pré-processado, ou seja, preparado para que a máquina possa fazer a classificação automática. Em seguida, é representado numericamente, no que se conhece na área como embeddings, que é a representação mais usual para técnicas de aprendizado de máquina atualmente; por fim, o classificador baseado em aprendizado de máquina analisa essa representação numérica e decide se o respectivo texto foi produzido por humano ou por máquina”, destaca Pardo.
“A camada de caracterização linguística, comentada antes, também permite a interpretação dos resultados, indicando que características da escrita foram mais relevantes para a decisão sobre a origem da notícia.”
Professor Thiago Pardo – Foto: Divulgação ICMC
Os classificadores de notícias foram avaliados com as medidas usuais da área, que são precisão, revocação (capacidade de recuperação de informações relevantes) e F1 (uma medida única de desempenho que combina precisão e revocação).
“O resultado principal é que as abordagens de aprendizado de máquina do tipo neural, que são as mais usuais de se encontrar na IA atualmente, passam de 99% de F1 nos dados que utilizamos, o que indica alta capacidade de identificação da origem das notícias falsas”, conclui o professor. “A análise linguística confirma que há atributos importantes nessa análise, em especial, a complexidade e a variabilidade estrutural dos textos.”
De acordo com Pardo, como a pesquisa ainda se encontra em andamento, o método está na fase de prova de conceito, não havendo um software disponível para uso. “Ainda há várias questões em aberto que estão sendo pesquisadas, como: se os bons resultados também são observados em outros conjuntos de dados, qual é o efeito do comportamento de outros LLMs e de estratégias de produção de notícias falsas, qual é o efeito de tentativas de enganar os classificadores etc.”, aponta.
“No momento, a pesquisa sobre detecção de notícias falsas se concentra na frente de Processamento de Linguagem Natural, mas há perspectivas para utilizar informações de imagens, vídeos e áudio no futuro.”, diz o professor.
A frente de Processamento de Linguagem Natural do projeto Synestech.AI conta com mais de 80 pesquisadores distribuídos em diversas instituições nacionais, como USP, Universidade Estadual Paulista (Unesp), Universidade Federal de São Carlos (UFSCar), Universidade Federal de Alagoas (UFAL), Universidade Federal de Sergipe (UFS), Universidade Federal do Pará (UFPA), Universidade Federal da Bahia (UFBA) e Universidade Federal de Santa Catarina (UFSC), entre outras. “O projeto de estudo de detecção das notícias falsas, em particular, está sendo desenvolvido por um time do ICMC, contando com a colaboração de outros docentes e alunos de graduação e pós-graduação”, diz Pardo.
Mais informações: e-mail taspardo@icmc.usp.br, com o professor Thiago Pardo.
Guatá significa caminhar na língua guarani. E nos nomeamos assim porque é este o verbo mais apropriado para distinguir o esforço humano na procura de conhecer a força das próprias pernas conjugada ao equilíbrio de tatear o tempo e o espaço.
Assine as notícias da Guatá e receba atualizações diárias.