A corrida para desenvolver modelos de Inteligência Artificial cada vez mais poderosos não é apenas uma questão de capacidade de processamento bruto. Na verdade, está se tornando um desafio de rede cada vez mais crítico. Para resolver essa questão fundamental, a OpenAI acaba de anunciar sua mais nova inovação: o OpenAI MRC (Multipath Reliable Connection), um protocolo de rede revolucionário que promete transformar o treinamento de supercomputadores de IA em larga escala.

O OpenAI MRC é o resultado de dois anos de desenvolvimento intensivo, em parceria com gigantes da tecnologia como AMD, Broadcom, Intel, Microsoft e NVIDIA. Sua especificação foi publicada através do Open Compute Project (OCP), um passo crucial para permitir que a indústria em geral possa adotar e construir sobre essa nova tecnologia. Mas, afinal, por que um novo protocolo de rede é tão vital para o futuro da IA?

Por Que a Rede é o Gargalo Escondido no Treinamento de IA em Escala?

Para entender a importância do OpenAI MRC, é preciso mergulhar no funcionamento interno dos supercomputadores dedicados ao treinamento de modelos de IA. Quando se trata de treinar modelos de grande porte, como os Large Language Models (LLMs), um único passo do treinamento pode envolver milhões de transferências de dados simultâneas entre milhares de GPUs (Graphics Processing Units) e CPUs (Central Processing Units). Se apenas uma dessas transferências atrasar, isso pode gerar um efeito cascata em todo o trabalho, fazendo com que as GPUs fiquem ociosas, aguardando dados – um cenário que se traduz em perda de tempo e recursos valiosos.

Os problemas de rede, como congestionamento, falhas de links ou de dispositivos, são as fontes mais comuns de atrasos e instabilidade nessas transferências. Esses desafios se tornam mais frequentes e complexos de resolver à medida que o tamanho do cluster de treinamento aumenta exponencialmente. É esse o problema de infraestrutura que a OpenAI se propôs a solucionar com o MRC.

A OpenAI, que reporta mais de 900 milhões de pessoas usando o ChatGPT semanalmente, enfatiza que manter e aprimorar esses modelos em tal escala significa que cada segundo de ociosidade das GPUs representa um custo real e uma perda de capacidade. O objetivo declarado da empresa não é apenas construir uma rede rápida, mas uma que ofereça performance altamente previsível, mesmo diante de falhas, garantindo que os trabalhos de treinamento continuem avançando sem interrupções significativas.

O que o OpenAI MRC Faz na Prática: Seus Três Mecanismos Principais

O OpenAI MRC não é uma invenção do zero, mas sim uma extensão inteligente de tecnologias existentes. Ele se baseia no RDMA over Converged Ethernet (RoCE) – um padrão da InfiniBand Trade Association (IBTA) que permite acesso remoto direto à memória entre GPUs e CPUs, acelerado por hardware. O MRC também incorpora técnicas desenvolvidas pelo Ultra Ethernet Consortium (UEC) e as expande com roteamento de origem baseado em SRv6 para suportar grandes arquiteturas de rede de IA.

Em termos mais simples, podemos entender as tecnologias que o MRC utiliza:

RoCE: Protocolo que permite que uma máquina leia ou grave diretamente na memória de outra máquina através de uma rede Ethernet, contornando a CPU para atingir o máximo rendimento. Isso é crucial para reduzir a latência na comunicação entre componentes computacionais, especialmente em clusters de alto desempenho.SRv6 (Segment Routing over IPv6): Leva essa capacidade um passo adiante. A máquina que envia os dados codifica a rota exata que o pacote deve seguir diretamente no cabeçalho do pacote. Isso significa que os switches da rede não precisam realizar cálculos de roteamento complexos. O resultado é uma redução significativa da carga de processamento nos switches e uma economia de energia, fatores importantes em larga escala de data centers.

1. Dispersão Adaptativa de Pacotes (Adaptive Packet Spraying) para Eliminar Congestionamento

Em vez de enviar cada transferência por um único caminho de rede, o OpenAI MRC distribui os pacotes por centenas de caminhos simultaneamente. Essa estratégia de packet spraying inteligente reduz drasticamente o congestionamento no núcleo da rede. Em redes RoCEv2 tradicionais, os pacotes muitas vezes ficavam presos em um único caminho do ponto A ao ponto B, contribuindo para o congestionamento e, consequentemente, para atrasos.

Com o MRC, se um caminho de pacote se torna inviável ou congestionado, os pacotes podem atravessar outros caminhos disponíveis na rede. Isso resulta em uma utilização de largura de banda muito maior, latência de cauda (tail latency) reduzida e um balanceamento de carga granular no nível do pacote, garantindo que os dados cheguem ao destino de forma mais rápida e confiável. É como ter múltiplas rodovias para o mesmo destino, desviando o tráfego do engarrafamento automaticamente.

2. Recuperação de Falhas em Microssegundos via Roteamento de Origem Estático SRv6

Quando caminhos de rede, links ou switches falham, o OpenAI MRC é capaz de detectar o problema e redirecionar o tráfego em uma escala de microssegundos. Esse é um avanço significativo, considerando que as arquiteturas de rede convencionais podem levar segundos ou até dezenas de segundos para se estabilizar após falhas, o que é inaceitável em um ambiente de treinamento de IA de alta performance, onde cada milissegundo de inatividade se traduz em perda.

Uma decisão arquitetônica chave para essa capacidade é que os switches não precisam recalcular rotas ou fazer qualquer coisa além de seguir cegamente as rotas estáticas com as quais foram configurados. Toda a inteligência de roteamento reside no nível da NIC (Network Interface Card) do dispositivo, e não no nível do switch. Esse é um design intencionalmente não convencional, desativando o roteamento dinâmico nos switches para evitar que dois mecanismos adaptativos interfiram um no outro. O resultado é uma resiliência sem precedentes e uma resposta quase instantânea a falhas.

Antes do MRC, se um link entre a interface de rede de uma GPU e um switch de nível zero falhasse, todo o trabalho de treinamento falharia, exigindo reinício e perda de progresso. Com o OpenAI MRC, o trabalho sobrevive com um desempenho razoável. Por exemplo, se uma interface de rede de 8 portas perde uma porta, a taxa máxima é reduzida em um oitavo. O MRC detecta isso, recalcula os caminhos para evitar o plano com falha e imediatamente instrui os pares a não usar esse plano para tráfego de entrada. A maioria dos links com falha se recupera em um minuto, momento em que o MRC traz o plano de volta ao uso, minimizando interrupções e garantindo a continuidade do treinamento.

3. Redes Multi-Plano com Menos Camadas de Switches e Menor Custo

É aqui que o OpenAI MRC muda fundamentalmente a arquitetura dos clusters de treinamento de IA. Em vez de tratar cada interface de rede como um único link de 800 Gb/s, ela é dividida em múltiplos links menores. Por exemplo, uma interface pode se conectar a oito switches diferentes. Isso significa que um switch que normalmente conectaria 64 portas a 800 Gb/s pode, com o MRC, conectar 512 portas a 100 Gb/s, aumentando a densidade e flexibilidade da conexão.

Essa abordagem permite construir uma rede que conecta totalmente cerca de 131.000 GPUs com apenas duas camadas de switches, um feito impressionante. Para contextualizar, uma rede convencional de 800 Gb/s exigiria três ou até quatro camadas para alcançar a mesma conectividade e largura de banda. As economias se acumulam ainda mais: a equipe de pesquisa quantifica que, para largura de banda de bisseção completa (full bisection bandwidth) – a capacidade total de comunicação simultânea entre todos os nós da rede –, o design multi-plano de duas camadas do MRC é consideravelmente mais eficiente em termos de custo e complexidade, tornando a expansão de supercomputadores muito mais viável. Isso representa uma revolução na infraestrutura para supercomputadores de IA de próxima geração.

Impacto e o Futuro do OpenAI MRC na Indústria de IA

O lançamento do OpenAI MRC através do Open Compute Project (OCP) é um marco significativo não apenas para a OpenAI, mas para toda a indústria de Inteligência Artificial. Ao tornar o protocolo aberto, a OpenAI incentiva a adoção generalizada e a inovação colaborativa. Isso pode levar a um futuro onde o treinamento de modelos de IA em grande escala se torne mais acessível, eficiente e robusto para empresas e pesquisadores em todo o mundo. A publicação no OCP significa que a comunidade pode agora estudar, implementar e aprimorar essa especificação, impulsionando a padronização e o avanço conjunto.

Os principais impactos esperados incluem:

Maior Eficiência: Menos tempo de inatividade da GPU, resultando em treinamentos mais rápidos e econômicos, com um melhor aproveitamento do investimento em hardware.Escalabilidade Aprimorada: Facilita a construção de clusters de IA massivos com menos complexidade e custo, permitindo que mais organizações busquem modelos de IA de ponta.Confiabilidade Superior: Garante que os trabalhos de treinamento sejam concluídos mesmo diante de falhas de rede, aumentando a robustez das operações de IA.Colaboração da Indústria: O padrão aberto pode acelerar o desenvolvimento de hardware e software compatíveis, beneficiando todo o ecossistema de IA e incentivando a inovação.

Com a necessidade crescente de treinar modelos de IA cada vez maiores e mais complexos, um protocolo como o OpenAI MRC não é apenas uma melhoria, mas uma necessidade estratégica. Ele aborda um dos gargalos mais críticos e, até então, subestimados na infraestrutura de IA, abrindo caminho para avanços ainda mais rápidos no campo da inteligência artificial. Para mais informações sobre tecnologias de rede para IA, confira nosso artigo sobre [LINK_INTERNO].

Perguntas Frequentes (FAQ) sobre o OpenAI MRC

O que é o OpenAI MRC e qual seu objetivo principal?

O OpenAI MRC (Multipath Reliable Connection) é um novo protocolo de rede desenvolvido pela OpenAI em colaboração com AMD, Broadcom, Intel, Microsoft e NVIDIA. Seu objetivo principal é resolver os gargalos de rede no treinamento de modelos de Inteligência Artificial em supercomputadores de grande escala, garantindo performance previsível e resiliência a falhas, mesmo em ambientes complexos e dinâmicos.

Quais são os três mecanismos centrais que o OpenAI MRC utiliza?

O MRC utiliza três mecanismos principais para otimizar a rede: a Dispersão Adaptativa de Pacotes para distribuir o tráfego por múltiplos caminhos e reduzir o congestionamento; a Recuperação de Falhas em Microssegundos via roteamento de origem estático SRv6 para contornar falhas de forma quase instantânea; e a arquitetura de Redes Multi-Plano, que permite a construção de clusters maiores com menos camadas de switches e, consequentemente, menor custo e complexidade.

Como o MRC impacta o custo e a eficiência do treinamento de IA?

Ao reduzir a ociosidade das GPUs, acelerar o treinamento e permitir arquiteturas de rede com menos camadas de switches, o MRC diminui significativamente os custos operacionais e de infraestrutura associados ao treinamento de IA em larga escala. Ele também aumenta a eficiência ao garantir que os recursos de computação sejam utilizados de forma contínua e previsível, otimizando o investimento em hardware de alto desempenho e acelerando o tempo de chegada ao mercado para novos modelos.

Conclusão

O OpenAI MRC é mais do que um avanço técnico; é uma ponte essencial para o futuro da Inteligência Artificial. Ao mitigar os desafios de rede que acompanham o treinamento de modelos em escala massiva, ele capacita a OpenAI e, potencialmente, toda a indústria, a construir sistemas de IA mais complexos, robustos e eficientes. A colaboração e a abertura do protocolo via OCP garantem que os benefícios dessa inovação se estendam por todo o ecossistema, acelerando a próxima onda de descobertas e aplicações transformadoras em IA.

Gostou da notícia?

Inscreva-se na nossa newsletter e receba as principais novidades sobre inteligência artificial diretamente no seu e-mail.

Fonte: https://www.marktechpost.com