Dois estudos revelam que modelos “auto-supervisionados”, que aprendem sobre o seu ambiente a partir de dados não rotulados, podem mostrar padrões de atividade semelhantes aos do cérebro dos mamíferos.
Para percorrer o mundo, nosso cérebro deve desenvolver uma compreensão intuitiva do mundo físico que nos rodeia, que então usamos para interpretar as informações sensoriais que chegam ao cérebro.
Como o cérebro desenvolve essa compreensão intuitiva? Muitos cientistas acreditam que pode usar um processo semelhante ao que é conhecido como “aprendizagem auto-supervisionada”. Esse tipo de aprendizado de máquina, originalmente desenvolvido como uma forma de criar modelos mais eficientes para visão computacional, permite que modelos computacionais aprendam sobre cenas visuais com base apenas nas semelhanças e diferenças entre elas, sem rótulos ou outras informações.
Dois estudos de pesquisadores do Centro de Neurociência Computacional Integrativa (ICoN) K. Lisa Yang do MIT oferecem novas evidências que apoiam esta hipótese. Os investigadores descobriram que quando treinaram modelos conhecidos como redes neurais utilizando um tipo específico de aprendizagem auto-supervisionada, os modelos resultantes geraram padrões de actividade muito semelhantes aos observados nos cérebros de animais que realizavam as mesmas tarefas que os modelos.
As descobertas sugerem que estes modelos são capazes de aprender representações do mundo físico que podem usar para fazer previsões precisas sobre o que acontecerá nesse mundo, e que o cérebro dos mamíferos pode estar a usar a mesma estratégia, dizem os investigadores.
“O tema do nosso trabalho é que a IA projetada para ajudar a construir robôs melhores acaba sendo também uma estrutura para compreender melhor o cérebro de forma mais geral”, diz Aran Nayebi, pós-doutorado no ICoN Center. “Ainda não podemos dizer se é o cérebro inteiro, mas em escalas e áreas cerebrais díspares, os nossos resultados parecem sugerir um princípio organizador.”
Nayebi é o autor principal de um dos estudos , em coautoria com Rishi Rajalingham, ex-pós-doutorado do MIT agora no Meta Reality Labs, e com os autores seniores Mehrdad Jazayeri, professor associado de ciências cerebrais e cognitivas e membro do Instituto McGovern de Pesquisa do Cérebro; e Robert Yang, professor assistente de ciências cerebrais e cognitivas e membro associado do Instituto McGovern. Ila Fiete, diretora do ICoN Center, professora de ciências cerebrais e cognitivas e membro associado do Instituto McGovern, é a autora sênior do outro estudo , que foi co-liderado por Mikail Khona, um estudante de pós-graduação do MIT, e Rylan Schaeffer, ex-pesquisador sênior do MIT.
Ambos os estudos serão apresentados na Conferência sobre Sistemas de Processamento de Informação Neural (NeurIPS) de 2023, em dezembro.
Modelando o mundo físico
Os primeiros modelos de visão computacional baseavam-se principalmente na aprendizagem supervisionada. Usando essa abordagem, os modelos são treinados para classificar imagens, cada uma rotulada com um nome – gato, carro, etc. Os modelos resultantes funcionam bem, mas esse tipo de treinamento requer uma grande quantidade de dados rotulados por humanos.
Para criar uma alternativa mais eficiente, nos últimos anos os pesquisadores recorreram a modelos construídos por meio de uma técnica conhecida como aprendizagem auto-supervisionada contrastiva. Esse tipo de aprendizado permite que um algoritmo aprenda a classificar objetos com base em quão semelhantes eles são entre si, sem fornecer rótulos externos.
“Este é um método muito poderoso porque agora você pode aproveitar grandes conjuntos de dados modernos, especialmente vídeos, e realmente desbloquear seu potencial”, diz Nayebi. “Grande parte da IA moderna que você vê agora, especialmente nos últimos dois anos com ChatGPT e GPT-4, é resultado do treinamento de uma função objetivo auto-supervisionada em um conjunto de dados em grande escala para obter uma representação muito flexível.”
Esses tipos de modelos, também chamados de redes neurais , consistem em milhares ou milhões de unidades de processamento conectadas entre si. Cada nó possui conexões de intensidades variadas com outros nós da rede. À medida que a rede analisa grandes quantidades de dados, a força dessas conexões muda à medida que a rede aprende a executar a tarefa desejada.
À medida que o modelo executa uma tarefa específica, os padrões de atividade de diferentes unidades da rede podem ser medidos. A atividade de cada unidade pode ser representada como um padrão de disparo, semelhante aos padrões de disparo dos neurônios no cérebro. Trabalhos anteriores de Nayebi e outros mostraram que modelos de visão auto-supervisionados geram atividade semelhante à observada no sistema de processamento visual dos cérebros dos mamíferos.
Em ambos os novos estudos do NeurIPS, os investigadores decidiram explorar se modelos computacionais auto-supervisionados de outras funções cognitivas também poderiam mostrar semelhanças com o cérebro dos mamíferos. No estudo liderado por Nayebi, os investigadores treinaram modelos auto-supervisionados para prever o estado futuro do seu ambiente através de centenas de milhares de vídeos naturalistas que retratam cenários do quotidiano.
“Durante a última década, o método dominante para construir modelos de redes neurais na neurociência cognitiva é treinar essas redes em tarefas cognitivas individuais. Mas os modelos treinados desta forma raramente são generalizados para outras tarefas”, diz Yang. “Aqui testamos se podemos construir modelos para algum aspecto da cognição, primeiro treinando em dados naturalísticos usando aprendizagem auto-supervisionada e depois avaliando em laboratório.”
Depois que o modelo foi treinado, os pesquisadores generalizaram-no para uma tarefa que chamam de “Mental-Pong”. Isso é semelhante ao videogame Pong, onde um jogador move uma raquete para acertar uma bola que viaja pela tela. Na versão Mental-Pong, a bola desaparece pouco antes de atingir a raquete, então o jogador tem que estimar sua trajetória para acertar a bola.
Os pesquisadores descobriram que o modelo foi capaz de rastrear a trajetória da bola oculta com precisão semelhante à dos neurônios no cérebro dos mamíferos, que havia sido demonstrado em um estudo anterior de Rajalingham e Jazayeri para simular sua trajetória – um fenômeno cognitivo conhecido como “mental”. simulação." Além disso, os padrões de ativação neural observados no modelo eram semelhantes aos observados nos cérebros dos animais enquanto jogavam – especificamente, numa parte do cérebro chamada córtex frontal dorsomedial. Nenhuma outra classe de modelo computacional foi capaz de corresponder tão estreitamente aos dados biológicos como este, dizem os investigadores.
“Há muitos esforços na comunidade de aprendizado de máquina para criar inteligência artificial”, diz Jazayeri. “A relevância destes modelos para a neurobiologia depende da sua capacidade de capturar adicionalmente o funcionamento interno do cérebro. O facto de o modelo de Aran prever dados neurais é realmente importante, pois sugere que podemos estar mais perto de construir sistemas artificiais que emulem a inteligência natural.”
Navegando pelo mundo
O estudo liderado por Khona, Schaeffer e Fiete concentrou-se em um tipo de neurônios especializados conhecidos como células de grade. Essas células, localizadas no córtex entorrinal, auxiliam os animais na navegação, trabalhando em conjunto com as células localizadas no hipocampo.
Enquanto as células de lugar disparam sempre que um animal está em um local específico, as células da grade disparam apenas quando o animal está em um dos vértices de uma rede triangular. Grupos de células da grade criam redes sobrepostas de tamanhos diferentes, o que lhes permite codificar um grande número de posições usando um número relativamente pequeno de células.
Em estudos recentes , os pesquisadores treinaram redes neurais supervisionadas para imitar a função das células da grade, prevendo a próxima localização de um animal com base em seu ponto de partida e velocidade, uma tarefa conhecida como integração de caminho. No entanto, estes modelos dependiam do acesso a informações privilegiadas sobre o espaço absoluto em todos os momentos – informações que o animal não possui.
Inspirada pelas impressionantes propriedades de codificação do código de célula de grade multiperiódica para o espaço, a equipe do MIT treinou um modelo auto-supervisionado contrastante para executar a mesma tarefa de integração de caminho e representar o espaço de forma eficiente ao fazê-lo. Para os dados de treinamento, eles usaram sequências de entradas de velocidade. O modelo aprendeu a distinguir posições com base no fato de serem semelhantes ou diferentes – posições próximas geravam códigos semelhantes, mas posições adicionais geravam mais códigos diferentes.
“É semelhante ao treinamento de modelos em imagens, onde se duas imagens são cabeças de gatos, seus códigos devem ser semelhantes, mas se uma é a cabeça de um gato e a outra é um caminhão, então você quer que seus códigos sejam repelidos”, Khona diz. “Estamos pegando a mesma ideia, mas aplicando-a às trajetórias espaciais.”
Depois que o modelo foi treinado, os pesquisadores descobriram que os padrões de ativação dos nós dentro do modelo formavam vários padrões de rede com períodos diferentes, muito semelhantes aos formados pelas células da grade no cérebro.
“O que me entusiasma neste trabalho é que ele faz conexões entre o trabalho matemático sobre as impressionantes propriedades teóricas da informação do código da célula da grade e o cálculo da integração do caminho”, diz Fiete. “Embora o trabalho matemático fosse analítico – quais propriedades o código da célula da grade possui? — a abordagem de optimizar a eficiência da codificação através da aprendizagem auto-supervisionada e da obtenção de afinação semelhante a uma grelha é sintética: mostra quais propriedades podem ser necessárias e suficientes para explicar porque é que o cérebro tem células de grelha.”
A pesquisa foi financiada pelo Centro K. Lisa Yang ICoN, pelos Institutos Nacionais de Saúde, pela Fundação Simons, pela Fundação McKnight, pelo Instituto McGovern e pela Fundação Helen Hay Whitney.
Postagens
Nenhum comentário:
Postar um comentário