Por que os preços de memória dispararam no final do ano?

Investing.com - Os preços de memória aumentaram significativamente nos últimos meses, à medida que cargas de trabalho de IA forçam os hiperescaladores a comprar muito mais DRAM e NAND do que o esperado.

A demanda relacionada à IA é mais complexa do que uma ampla expansão de data centers. Em vez disso, mudanças de software e alterações na arquitetura de modelos estão criando uma mudança radical na quantidade de memória que cada GPU consome, atraindo mais DRAM e NAND para cada cluster.

Um dos impulsionadores são as novas versões do software CUDA da Nvidia, que permitem às GPUs acessar pools maiores de memória em todo o sistema. Recursos no CUDA 12.8 e 13.0 permitem que os modelos tratem a memória da GPU e da CPU como um espaço unificado, facilitando a sobrescrição e incentivando os desenvolvedores a alocar conjuntos de trabalho muito maiores.

Isso significa que servidores de IA precisam de mais DRAM e mais capacidade de SSD em segundo plano para suportar paginação e armazenamento de dados de modelos.

A rápida expansão das janelas de contexto em modelos de linguagem grandes é outra mudança importante. À medida que os modelos processam entradas que chegam a centenas de milhares de tokens, a memória se torna o principal gargalo.

Essas sequências mais longas requerem significativamente mais VRAM para armazenar dados intermediários e, quando isso transborda, o sistema deve descarregar para a RAM do host ou SSDs. Os hiperescaladores adotaram essa hierarquia em larga escala, usando unidades NVMe como uma extensão da memória do sistema.

Contextos mais longos também exigem maior taxa de transferência de armazenamento. A leitura de grandes prompts em tempo real e o suporte a muitos usuários simultaneamente exigem NAND rápida e de alta capacidade.

Cargas de trabalho de inferência modernas envolvem leituras aleatórias frequentes em parâmetros de modelo e bancos de dados, que os SSDs lidam muito melhor do que os discos rígidos. Isso está levando os provedores de nuvem a expandir pools de armazenamento baseados em flash construídos com NAND de alto desempenho.

Analistas do BofA dizem que melhorias no CUDA e novos algoritmos de atenção reduzem alguma sobrecarga de memória, mas acabam permitindo cargas de trabalho maiores.

À medida que as GPUs processam sequências mais longas, os sistemas subjacentes devem suportar mais streaming de dados provenientes de SSDs. Projetos com múltiplas GPUs também desempenham um papel ao distribuir modelos e contextos massivos entre muitos aceleradores, o que aumenta as necessidades de memória agrupada e empurra mais dados para o flash.

Mercados de eletrônicos mais amplos também se recuperaram ao mesmo tempo em que a demanda de IA apertou o fornecimento, criando um "super ciclo" para memória.

Com a recuperação dos gastos em PCs, telefones e data centers tradicionais, o aumento em NAND e DRAM vinculado à IA deixou o estoque reduzido e elevou os preços drasticamente.

Essa notícia foi traduzida com a ajuda de inteligência artificial. Para mais informação, veja nossos Termos de Uso.