Atribuir à IA uma limitação de memória semelhante à humana pode, na verdade, melhorar a sua capacidade de aprender uma língua. Num novo estudo de prova de conceito, Abishek Thamma, da Universidade de Amesterdão, e Micha Heilbron, do Instituto Max Planck de Psicolinguística, descobriram que modelos linguísticos pequenos, com uma memória de curta duração, aprendiam gramática de forma mais eficaz quando treinados com estímulos linguísticos comparáveis aos que as crianças recebem. Os seus resultados sugerem que os conhecimentos da psicolinguística podem ajudar a moldar abordagens mais eficazes para a aprendizagem de línguas pela IA. Os investigadores publicaram o estudo na revista «Transactions of the Association for Computational Linguistics».
Créditos da imagem: Unsplash/CC0 Domínio Público

Atribuir à IA uma limitação de memória semelhante à humana pode, na verdade, melhorar a sua capacidade de aprender línguas. Num novo estudo de prova de conceito, Abishek Thamma, da Universidade de Amesterdão, e Micha Heilbron, do Instituto Max Planck de Psicolinguística, descobriram que modelos linguísticos pequenos, com uma memória de curta duração, aprendiam gramática de forma mais eficaz quando treinados com estímulos linguísticos comparáveis aos que as crianças recebem. Os seus resultados sugerem que os conhecimentos da psicolinguística podem ajudar a moldar abordagens mais eficazes para a aprendizagem de línguas pela IA. Os investigadores publicaram o estudo na revista Transactions of the Association for Computational Linguistics.

O estudo baseia-se numa teoria de longa data da ciência cognitiva, segundo a qual as limitações da memória podem, na verdade, facilitar a aprendizagem da linguagem. À medida que as pessoas processam a fala e o texto, os detalhes precisos das palavras e frases desaparecem rapidamente da memória. Em vez de dificultar a aprendizagem, este esquecimento pode ajudar os indivíduos a detetar padrões recorrentes e a desenvolver uma compreensão mais abstrata da gramática.

Para investigar se o mesmo princípio poderia melhorar a inteligência artificial, os investigadores incorporaram uma restrição de memória semelhante à humana em modelos neurais de linguagem modernos. Ao contrário dos seres humanos, os sistemas de IA atuais mantêm normalmente acesso a informação linguística muito mais detalhada. No entanto, os resultados indicam que a introdução de uma memória transitória pode tornar a aprendizagem mais eficiente e melhorar a generalização gramatical quando os dados de treino são escassos.

Desvanecimento da Memória

Para investigar isto, Thamma e Heilbron adicionaram um mecanismo simples de decaimento da memória aos modelos linguísticos Transformer, produzindo o que chamam de transformadores de memória fugaz. Heilbron explicou que os modelos foram treinados no benchmark BabyLM, um conjunto de dados destinado a espelhar a quantidade de exposição linguística a que os seres humanos estão sujeitos durante o desenvolvimento. Esta configuração permitiu uma comparação controlada entre modelos padrão e aqueles com restrições de memória incorporadas, em condições de dados realistas.

Os resultados sugerem consistentemente que a memória transitória melhora a aprendizagem da linguagem. Ao longo de várias execuções de treino e inicializações, os modelos com decaimento de memória superaram os Transformers padrão na modelação da linguagem e também demonstraram um desempenho mais sólido em avaliações centradas no conhecimento sintático.

Heilbron acrescentou que estas vantagens só surgiram quando a decadência da memória foi combinada com um pequeno buffer de «memória ecoica» que retinha as três a sete palavras mais recentes. Observou que, em conjunto, estes componentes parecem facilitar a aprendizagem, equilibrando o acesso imediato ao contexto próximo com um esbatimento progressivo das formas das palavras anteriores.

Memória transitória

Os resultados apoiam uma ideia de longa data na ciência cognitiva, apresentada pela primeira vez num influente trabalho conexionista de Elman (1993), de que as limitações da memória podem, na verdade, ajudar a aprendizagem de línguas, em vez de simplesmente a dificultar. Indicam também que o forte desempenho das arquiteturas modernas do Transformer não significa necessariamente que uma memória ilimitada seja ideal para a aquisição da linguagem.

Ao mesmo tempo, o estudo revelou uma divisão inesperada, segundo Thamma. Embora a memória transitória tenha melhorado os resultados da aprendizagem de línguas, tornou os modelos menos eficazes na previsão dos tempos de leitura humanos utilizando métricas baseadas na surpresa. Isto contradiz a constatação habitual de que os ganhos no desempenho dos modelos linguísticos tendem a alinhar-se com melhores previsões do comportamento de processamento da linguagem humana.

Análises adicionais mostraram que esta discrepância não podia ser explicada pelas explicações estabelecidas sobre o motivo pelo qual modelos linguísticos mais poderosos por vezes não conseguem prever melhor os dados relativos ao tempo de leitura humano. Como resultado, os autores sugerem que os mecanismos que promovem a aprendizagem eficaz da linguagem podem não ser os mesmos que permitem a modelação precisa do processamento da linguagem em tempo real.

Em termos gerais, o estudo indica que a imposição de restrições de memória pode melhorar a aprendizagem de línguas nas redes neurais contemporâneas, ao mesmo tempo que sublinha uma distinção fundamental entre aprender bem uma língua e captar padrões comportamentais humanos.

Principais resultados

  • A adição de um decaimento de memória semelhante ao humano aos modelos Transformer melhora o desempenho na aprendizagem de línguas.
  • Os modelos com memória transitória apresentam melhores resultados na modelação linguística e uma generalização sintática melhorada.
  • Estes ganhos dependem de um buffer ecoico de curto prazo que retém aproximadamente as últimas 3 a 7 palavras.
  • Embora a aprendizagem de línguas melhore, a memória transitória enfraquece a capacidade dos modelos de prever os tempos de leitura humanos utilizando medidas baseadas na surpresa.
  • As explicações atuais para a discrepância entre o desempenho do modelo linguístico e as previsões comportamentais não explicam totalmente esta descoberta.

Este estudo reexamina uma questão de longa data na ciência cognitiva utilizando modelos linguísticos modernos. Os resultados indicam que as limitações de memória podem ainda facilitar a aprendizagem da linguagem nas redes neurais atuais, ao mesmo tempo que levantam novas questões sobre a relação entre o conhecimento linguístico e o processamento da linguagem humana.

Imagem do WhatsApp 21/03/2026 às 15:37:18 1 768x384 29

Leia o artigo original em: Tech Xplore

Leia mais: Os relógios biológicos revelam fatores ocultos que aceleram o envelhecimento