A neurociência sempre operou com a estratégia de ‘dividir para conquistar’, mapeando funções cognitivas específicas a regiões cerebrais isoladas. No entanto, essa abordagem tem gerado uma paisagem fragmentada, carente de uma estrutura unificada para explicar como o cérebro humano integra informações multissensoriais. Para preencher essa lacuna, a equipe FAIR da Meta apresentou o TRIBE v2, um modelo de fundação trimodal projetado para prever respostas de fMRI em alta resolução a partir de estímulos diversos como vídeo, áudio e texto. Essa inovação promete transformar a forma como entendemos e experimentamos a atividade cerebral, abrindo novos caminhos para a pesquisa neurocientífica e o desenvolvimento de IAs mais sofisticadas.

O Que é o TRIBE v2 e Qual a Sua Importância?

O TRIBE v2 (do inglês, ‘TRi-modal Brain Encoding’) representa um avanço significativo no campo da neurociência computacional. Ele não se limita a estudar uma única modalidade (visão, audição ou linguagem) isoladamente, mas integra as representações latentes de arquiteturas de Inteligência Artificial de ponta com a atividade cerebral humana. Ao fazer isso, ele consegue prever as respostas de fMRI – uma medida da atividade cerebral – de forma abrangente, independentemente do tipo de estímulo. Isso é crucial porque o cérebro opera em um ambiente multissensorial, e modelos que o refletem são essenciais para uma compreensão mais completa.

Este modelo de fundação visa romper com o isolamento metodológico, oferecendo uma estrutura coesa para analisar como o cérebro processa e integra informações provenientes de diferentes sentidos simultaneamente. A sua capacidade de prever respostas cerebrais em diversas condições, tanto naturalísticas quanto experimentais, o posiciona como uma ferramenta poderosa para futuras pesquisas e aplicações clínicas, como no estudo de distúrbios neurológicos ou no aprimoramento de interfaces cérebro-máquina.

A Arquitetura por Trás da Integração Multimodal

O TRIBE v2 não ‘aprende a ver’ ou ‘ouvir’ do zero. Em vez disso, ele aproveita o alinhamento representacional existente entre redes neurais profundas e o cérebro primata. Sua arquitetura é composta por três modelos de fundação ‘congelados’ que atuam como extratores de características, um transformador temporal e um bloco de previsão específico para cada sujeito.

Extração de Features

O modelo processa os estímulos através de três codificadores especializados:

Agregação Temporal

As incorporações resultantes são compactadas em uma dimensão compartilhada (D=384) e concatenadas para formar uma série temporal multimodal com uma dimensão de modelo de Dmodel = 3 × 384 = 1152. Essa sequência é então alimentada em um codificador Transformer (8 camadas, 8 cabeças de atenção) que troca informações em uma janela de 100 segundos, permitindo a integração de dados de longa duração.

Previsão Específica do Sujeito

Para prever a atividade cerebral, as saídas do Transformer são ajustadas para a frequência de fMRI de 1 Hz e passadas por um ‘Subject Block’. Este bloco projeta as representações latentes para 20.484 vértices corticais (superfície fsaverage5) e 8.802 voxels subcorticais, traduzindo os dados do modelo em uma representação espacial detalhada da atividade cerebral.

Dados e Leis de Escala: O Caminho para Mais Precisão

Um desafio significativo na codificação cerebral é a escassez de dados. O TRIBE v2 aborda isso utilizando conjuntos de dados ‘profundos’ para treinamento – onde poucos sujeitos são registrados por muitas horas – e conjuntos de dados ‘amplos’ para avaliação.

A equipe de pesquisa observou um aumento log-linear na precisão da codificação à medida que o volume de dados de treinamento aumentava, sem evidência de saturação. Isso sugere que, à medida que os repositórios de neuroimagem se expandirem, o poder preditivo de modelos como o TRIBE v2 continuará a escalar, prometendo insights ainda mais profundos.

Resultados Impressionantes: Superando os Padrões Atuais

O TRIBE v2 superou significativamente os modelos tradicionais de Resposta de Impulso Finito (FIR), que por muito tempo foram o padrão-ouro para codificação voxel a voxel.

Generalização Zero-Shot e Desempenho em Grupo

Uma das capacidades mais impressionantes do modelo é a generalização zero-shot para novos sujeitos. Utilizando uma camada de ‘sujeito não visto’, o TRIBE v2 pode prever a resposta média de um novo grupo com mais precisão do que a gravação real de muitos sujeitos individuais dentro desse grupo. No conjunto de dados de alta resolução do Human Connectome Project (HCP) 7T, o TRIBE v2 alcançou uma correlação de grupo (Rgroup) próxima de 0,4, uma melhoria de duas vezes em relação à preditividade de grupo do sujeito mediano.

Ajuste Fino com Poucos Dados

Quando recebe uma pequena quantidade de dados (no máximo uma hora) para um novo participante, o ajuste fino (fine-tuning) do TRIBE v2 por apenas uma época leva a uma melhoria de duas a quatro vezes em relação aos modelos lineares treinados do zero. Isso demonstra a eficiência do modelo em se adaptar rapidamente a novos indivíduos.

Experimentação 'In-Silico': Novos Horizontes na Neurociência

A equipe de pesquisa argumenta que o TRIBE v2 pode ser útil para pilotar ou pré-selecionar estudos de neuroimagem. Ao executar experimentos virtuais no conjunto de dados Individual Brain Charting (IBC), o modelo recuperou marcos funcionais clássicos:

Além disso, a aplicação da Análise de Componentes Independentes (ICA) na camada final do modelo revelou que o TRIBE v2 aprende naturalmente cinco redes funcionais bem conhecidas: auditiva primária, linguagem, movimento, rede de modo padrão e visual. Isso valida a capacidade do modelo de extrair padrões cerebrais significativos.

O Futuro da Neurociência e da Inteligência Artificial

O lançamento do TRIBE v2 pela Meta não é apenas uma vitória para a neurociência, mas também para o campo da Inteligência Artificial multimodal. Ele demonstra o potencial de modelos de fundação em cruzar domínios complexos, oferecendo uma ponte sem precedentes entre a compreensão humana do cérebro e o avanço da IA. Os pesquisadores agora têm uma ferramenta poderosa para realizar experimentos ‘in-silico’, acelerando a descoberta e testando hipóteses sem a necessidade de dispendiosos e demorados estudos com participantes humanos.

A capacidade de generalização e o desempenho escalável do TRIBE v2 sugerem um futuro onde a modelagem cerebral se tornará cada vez mais precisa e acessível. Isso pode levar a diagnósticos mais cedo para condições neurológicas, desenvolvimento de terapias personalizadas e, finalmente, uma compreensão mais profunda de como a mente humana funciona em sua totalidade multissensorial.

Gostou da notícia? Inscreva-se na nossa newsletter para receber as principais novidades sobre inteligência artificial diretamente no seu e-mail.

Fonte: https://www.marktechpost.com