Um novo estudo publicado no Journal of Statistical Mechanics: Theory and Experiment revela como redes neurais — como as que alimentam sistemas como ChatGPT e Gemini — desenvolvem suas capacidades linguísticas à medida que são treinadas.
Os pesquisadores descobriram que, com poucos dados, esses sistemas inicialmente dependem da posição das palavras nas frases para interpretar o texto. No entanto, quando expostos a uma quantidade maior de dados, ocorre uma mudança abrupta: a rede passa a priorizar o significado das palavras.
Essa transição não é gradual, mas sim comparável a uma transição de fase física, como a passagem da água do estado líquido para o gasoso.
A analogia vem da física estatística, que estuda o comportamento coletivo de sistemas com muitos elementos — assim como as redes neurais, compostas por milhares de “nós” conectados.
A descoberta surpreendente foi que as redes adotam estratégias completamente distintas dependendo da quantidade de dados. Com poucos dados, confiam na estrutura das frases; com mais dados, passam a interpretar os significados.
Compreender esse tipo de transição pode ajudar pesquisadores a projetar modelos mais eficientes e seguros, oferecendo uma base teórica para entender como e quando uma rede neural muda seu modo de operar.
Fonte: Olhar Digital / Por Leandro Costa Criscuolo
Copyright © 2023. Todos os direitos reservados. Ascenda Digital Mídia LTDA.
