Por  Jill Barshay/The Hechinger Report

O lançamento do ChatGPT em novembro de 2022 mudou o mundo. Um chatbot podia escrever parágrafos e artigos instantaneamente, uma tarefa que antes era considerada exclusivamente humana. Embora possa levar muitos anos para entender todas as consequências, uma equipe de cientistas de dados queria estudar como a escrita acadêmica já poderia ser afetada.

Os pesquisadores conseguiram acessar todos os comentários enviados por estudantes universitários de uma grande universidade pública não identificada, antes e depois do ChatGPT, em fóruns de discussão online, para comparar a evolução da qualidade da escrita dos alunos. Geralmente, trata-se de tarefas de casa de baixo risco, nas quais o professor pode pedir aos alunos que publiquem suas opiniões sobre uma tarefa de leitura, por exemplo, psicologia ou biologia. As postagens podem ser curtas, como uma frase, ou longas, como alguns parágrafos, mas não redações ou trabalhos completos. Essas tarefas curtas geralmente não são avaliadas ou são pouco consideradas na participação do aluno em sala de aula.

Na verdade, os cientistas não leram todas as 1.140.328 publicações em fóruns de discussão escritas por 16.791 alunos entre o semestre de outono de 2021 e o semestre de inverno de 2024. Como especialistas em análise de big data, os pesquisadores inseriram as publicações em sete modelos computacionais diferentes que analisam a qualidade da escrita, do vocabulário à sintaxe e à legibilidade. Por fim, criaram um único índice composto de qualidade da escrita, no qual todas as publicações foram classificadas com base nesse único critério.

Leia: O futuro das relações na educação

Os resultados? A qualidade geral da escrita dos alunos melhorou. A melhora foi lenta no início, nos primeiros meses de 2023, e depois melhorou substancialmente de outubro de 2023 até o término do período de estudo, em março de 2024. 

“Acredito que podemos inferir que isso se deve à disponibilidade da IA, pois que outras coisas produziram essas mudanças significativas?”, diz Renzhe Yu, professor assistente de mineração de dados educacionais no Teachers College da Universidade Columbia, que liderou a pesquisa. O artigo de Yu ainda não foi publicado em um periódico revisado por pares, mas um rascunho foi disponibilizado publicamente em um site da Universidade Cornell que hospeda rascunhos de pré-publicação de trabalhos acadêmicos.

Yu e seus colegas de pesquisa não entrevistaram nenhum dos alunos e não podem afirmar com certeza se eles estavam usando o ChatGPT ou algum de seus concorrentes, como Claude ou Gemini, para ajudá-los com suas tarefas. Mas a melhora na escrita dos alunos após a introdução do ChatGPT parece ser mais do que uma mera coincidência.

Oportunidades para estudantes internacionais 

A universidade não identificada é uma instituição que atende minorias, com um grande número de alunos hispânicos que cresceram falando espanhol em casa e um grande número de alunos internacionais que não são falantes nativos de inglês. E foram esses alunos, que os pesquisadores classificaram como “desfavorecidos linguisticamente”, que viram as maiores melhorias na qualidade da escrita após o advento do ChatGPT. Alunos que ingressaram na faculdade com habilidades de escrita fracas, uma métrica que a universidade monitora, também viram ganhos extraordinários em sua qualidade de escrita após o ChatGPT. Enquanto isso, falantes de inglês mais fortes e aqueles que ingressaram na faculdade com habilidades de escrita mais fortes viram melhorias menores em sua qualidade de escrita. Não está claro se eles estão usando o ChatGPT menos ou se o bot oferece uma melhoria menos drástica para um aluno que já escreve razoavelmente bem.

Os ganhos para os alunos “linguisticamente desfavorecidos” foram tão expressivos após o outono de 2023 que a diferença na qualidade da escrita entre esses alunos e os falantes mais avançados de inglês desapareceu completamente, e às vezes se inverteu. Em outras palavras, a qualidade da escrita dos alunos que não falavam inglês em casa e daqueles que ingressaram na faculdade com habilidades de escrita fracas foi, às vezes, ainda maior do que a dos alunos que cresceram falando inglês em casa e daqueles que ingressaram na faculdade com habilidades de escrita mais fortes.

Ganhos concentrados entre estudantes de alta renda

No entanto, esses ganhos na qualidade da escrita entre os “linguisticamente desfavorecidos” concentraram-se entre os estudantes de renda mais alta. Os pesquisadores conseguiram comparar os textos enviados pelos estudantes com dados administrativos sobre eles, incluindo sua renda familiar, e notaram que a escrita de estudantes de baixa renda cujos pais não frequentaram a faculdade não melhorou tanto. Em contraste, a escrita de estudantes internacionais de alta renda cujos pais tinham ensino superior mudou significativamente.

Isso é um sinal de que estudantes de baixa renda não estavam usando o ChatGPT com tanta frequência ou com tanta eficácia. Diferenças socioeconômicas em como os estudantes se beneficiam da tecnologia não são incomuns. Estudos anteriores sobre softwares de processamento de texto, por exemplo, descobriram que estudantes de renda mais alta tendem a aproveitar melhor os recursos de edição e veem maiores benefícios na escrita com a capacidade de recortar, colar e mover texto.

Mark Warschauer é professor de educação na Universidade da Califórnia, em Irvine, e diretor do Laboratório de Aprendizagem Digital, onde estuda o uso da tecnologia na educação. Warschauer não participou do estudo e disse suspeitar que os benefícios desequilibrados para estudantes de alta renda serão passageiros, à medida que os estudantes de baixa renda se tornarem mais aclimatados e mais familiarizados com a IA ao longo do tempo. “Muitas vezes, com as novas tecnologias, vemos que as pessoas de alta renda têm acesso primeiro, mas depois a situação se equilibra. Acredito que as pessoas de baixa renda usam celulares e mídias sociais tanto quanto as de alta renda nos EUA”, diz.

EUA: Universidades falam de um “plano de resposta Trump”

Mas ele prevê que as melhorias substanciais e maiores na escrita para estudantes internacionais, muito maiores do que para estudantes nacionais, serão “mais importantes e duradouras”. 

É claro que essa melhoria na qualidade da escrita não significa que esses estudantes internacionais estejam realmente aprendendo a escrever melhor, mas indica que eles são hábeis em usar a tecnologia para apresentar ideias em inglês bem escrito.

Os pesquisadores do estudo não analisaram as ideias, a qualidade da análise ou se as contribuições dos alunos faziam algum sentido. E não está claro se os alunos inseriram a leitura no chatbot junto com a pergunta do professor e simplesmente copiaram e colaram a resposta do chatbot no fórum de discussão, ou se os alunos realmente fizeram a leitura, digitaram algumas ideias preliminares e simplesmente pediram ao chatbot para aprimorar sua escrita. 

Nas aulas do próprio Yu na Faculdade de Pedagogia, os alunos são incentivados a usar o ChatGPT em suas tarefas de redação, desde que reconheçam a importância do uso e também enviem transcrições de suas conversas com o chatbot de IA. Na prática, apenas alguns alunos admitem usá-lo.

Ele notou que a escrita dos alunos em suas aulas vinha melhorando até então. “Este ano tem sido realmente horrível”, comenta. Cada vez mais alunos têm enviado resultados típicos de IA que “parecem razoáveis, mas não fazem muito sentido.”

“Tudo se resume à motivação. Se eles não estiverem motivados para aprender, os alunos só farão mau uso da tecnologia”, afirma Yu.

Autor

Ensino Superior