A Google AI acaba de expandir sua família de modelos Gemini com o lançamento do Gemini Embedding 2, marcando um avanço significativo no universo da inteligência artificial. Este modelo de segunda geração sucede o gemini-embedding-001, que era focado apenas em texto, e chega para revolucionar a forma como desenvolvedores de IA constroem sistemas de Geração Aumentada por Recuperação (RAG) em escala de produção. A grande novidade é sua capacidade de mapear diferentes tipos de mídia — texto, imagens, vídeos, áudio e documentos — em um único espaço vetorial, superando os desafios de armazenamento de alta dimensão e recuperação intermodal.

A Evolução Multimodal dos Embeddings da Google

Embeddings são representações numéricas de dados (como palavras, imagens ou vídeos) que capturam seu significado semântico em um espaço de alta dimensão. Esses vetores são cruciais para tarefas como busca e recomendação, especialmente em sistemas RAG, onde a informação relevante é recuperada antes de ser utilizada por um Large Language Model (LLM). O Gemini Embedding 2 representa uma mudança arquitetônica fundamental, abandonando as pipelines específicas para cada modalidade em favor de um espaço latente unificado e inerentemente multimodal. Isso simplifica drasticamente o desenvolvimento e aumenta a eficiência, permitindo que diferentes tipos de dados sejam processados e comparados de forma coesa.

Multimodalidade Nativa e Entradas Intercaladas

A principal inovação do Gemini Embedding 2 é sua habilidade de mapear cinco tipos distintos de mídia – texto, imagem, vídeo, áudio e PDF – para um único espaço vetorial de alta dimensão. Isso elimina a necessidade de arquiteturas complexas que antes exigiam modelos separados para cada tipo de dado, como o CLIP para imagens e modelos baseados em BERT para texto. Agora, todas essas modalidades ‘conversam’ no mesmo idioma digital, facilitando a compreensão contextual.

O modelo suporta entradas intercaladas, permitindo que desenvolvedores combinem diferentes modalidades em uma única solicitação de embedding. Essa funcionalidade é particularmente útil em casos onde apenas o texto não oferece contexto suficiente, como analisar um documento que mistura texto com gráficos e imagens. As especificações técnicas para essas entradas são robustas:

Texto: Até 8.192 tokens por solicitação.Imagens: Até 6 imagens (PNG, JPEG, WebP, HEIC/HEIF).Vídeo: Até 120 segundos de vídeo (MP4, MOV, etc.).Áudio: Até 80 segundos de áudio nativo (MP3, WAV, etc.), sem a necessidade de uma etapa de transcrição separada.Documentos: Até 6 páginas de arquivos PDF.

Ao processar essas entradas de forma nativa, o Gemini Embedding 2 consegue capturar as relações semânticas entre, por exemplo, um quadro visual em um vídeo e o diálogo falado em uma faixa de áudio, projetando-os como um único vetor que pode ser comparado a consultas de texto usando métricas padrão, como a similaridade de cosseno (Cosine Similarity).

Eficiência Turbinada com Matryoshka Representation Learning (MRL)

Os custos de armazenamento e computação são frequentemente os principais gargalos em sistemas de busca vetorial em larga escala. Para mitigar esse problema, o Gemini Embedding 2 implementa uma técnica inovadora chamada Matryoshka Representation Learning (MRL).

Enquanto modelos de embedding padrão distribuem as informações semânticas uniformemente por todas as dimensões, resultando em perda de precisão se os vetores são truncados, o Gemini Embedding 2 é treinado para concentrar as informações semânticas mais críticas nas primeiras dimensões do vetor. Isso significa que é possível usar versões ‘encurtadas’ do vetor sem grande perda de qualidade ou significado.

Embora o modelo tenha um padrão de 3.072 dimensões, a equipe da Google otimizou três níveis específicos para uso em produção, oferecendo flexibilidade e economia:

3.072 dimensões: Máxima precisão para conjuntos de dados complexos em áreas como direito, medicina ou engenharia.1.536 dimensões: Um equilíbrio ideal entre desempenho e eficiência de armazenamento.768 dimensões: Otimizado para recuperação de baixa latência e menor consumo de memória.

O MRL permite uma arquitetura de ‘curta-lista’ (short-listing). Um sistema pode realizar uma busca inicial rápida em milhões de itens usando os sub-vetores de 768 dimensões e, em seguida, fazer uma re-classificação precisa dos resultados principais usando os embeddings completos de 3.072 dimensões. Isso reduz a sobrecarga computacional da etapa de recuperação inicial sem comprometer a precisão final do pipeline RAG.

Desempenho Excepcional em Contextos Longos e Diversos

As avaliações internas da Google AI e o desempenho no Massive Text Embedding Benchmark (MTEB) indicam que o Gemini Embedding 2 supera seu predecessor em duas áreas cruciais: precisão de recuperação e robustez a mudanças de domínio.

Muitos modelos de embedding sofrem de ‘deriva de domínio’ (domain drift), onde a precisão diminui ao se mover de dados genéricos (como a Wikipédia) para domínios especializados (como bases de código proprietárias). O Gemini Embedding 2 utilizou um processo de treinamento multi-estágio com diversos conjuntos de dados para garantir um desempenho zero-shot superior em tarefas especializadas, ou seja, ele se adapta bem a novos contextos sem precisar de reajustes específicos.

A janela de 8.192 tokens do modelo é uma especificação vital para sistemas RAG. Ela permite o embedding de ‘pedaços’ maiores de texto, o que preserva o contexto necessário para resolver referências e dependências de longo alcance dentro de um documento. Isso minimiza a ‘fragmentação de contexto’, um problema comum onde um pedaço recuperado carece da informação necessária para o LLM gerar uma resposta coerente e completa.

Impacto no Mercado e Futuro da IA

A chegada do Gemini Embedding 2 simplifica drasticamente a complexidade do desenvolvimento de sistemas de IA multimodal. Para empresas e desenvolvedores, isso significa menor custo e tempo na construção de aplicações que entendam e processem informações de diversas fontes simultaneamente, desde sistemas de busca inteligentes até assistentes virtuais mais sofisticados. No mercado, a capacidade de integrar diferentes tipos de dados em um único framework pode acelerar a inovação em setores como mídia, saúde e jurídico, onde a análise de documentos complexos, imagens e áudios é rotina. Para a sociedade, a promessa é de uma interação mais natural e eficiente com a informação, abrindo portas para novas formas de aprendizado e descoberta, conforme detalhado na documentação oficial da Google.

Com o Gemini Embedding 2, a Google AI dá um passo gigantesco em direção a uma inteligência artificial mais sofisticada, eficiente e versátil. Ao unificar as representações de texto, imagens, vídeos, áudio e PDFs em um único espaço vetorial, o modelo não apenas simplifica a arquitetura de sistemas de Geração Aumentada por Recuperação (RAG), mas também abre um leque de novas possibilidades para desenvolvedores e empresas. É um movimento que promete impulsionar a próxima geração de aplicações de IA, tornando a recuperação e o entendimento de informações multimodais mais acessíveis e precisos do que nunca. Fique de olho, pois a forma como interagimos com a informação digital está prestes a mudar.

Gostou da notícia? Inscreva-se na nossa newsletter para receber as principais novidades sobre inteligência artificial diretamente no seu e-mail.

Fonte: https://www.marktechpost.com