AO VIVO: Lula assina MP contra tarifaço de Trump
A Intel (NASDAQ:INTC) Labs e o Instituto Weizmann de Ciência desenvolveram um novo método que torna os grandes modelos de linguagem (LLMs) até 2,8 vezes mais rápidos sem sacrificar a qualidade do resultado, anunciou a empresa.
O avanço em "decodificação especulativa" foi apresentado na Conferência Internacional de Aprendizado de Máquina em Vancouver, Canadá. Esta técnica permite que qualquer modelo "rascunho" pequeno acelere qualquer modelo de linguagem grande, mesmo quando utilizam vocabulários diferentes.
"Resolvemos uma ineficiência central na IA generativa. Nossa pesquisa mostra como transformar a aceleração especulativa em uma ferramenta universal. Não é apenas uma melhoria teórica; são ferramentas práticas que já estão ajudando desenvolvedores a criar aplicações mais rápidas e inteligentes hoje", disse Oren Pereg, pesquisador sênior do Grupo de Processamento de Linguagem Natural da Intel Labs.
A decodificação especulativa funciona combinando um modelo pequeno e rápido com um maior e mais preciso. Quando recebe um comando como "Qual é a capital da França", um LLM tradicional gera cada palavra passo a passo, consumindo recursos significativos em cada etapa. Com a decodificação especulativa, o pequeno modelo assistente rapidamente elabora uma frase completa como "Paris, uma cidade famosa", que o modelo grande então verifica, reduzindo ciclos de computação.
O novo método remove limitações que anteriormente exigiam vocabulários compartilhados ou famílias de modelos co-treinados, tornando-o prático entre diferentes tipos de modelos. A técnica é agnóstica quanto ao fornecedor, funcionando com modelos de diferentes desenvolvedores e ecossistemas.
"Este trabalho remove uma grande barreira técnica para tornar a IA generativa mais rápida e mais barata", disse Nadav Timor, estudante de doutorado no grupo de pesquisa do Prof. David Harel no Instituto Weizmann. "Nossos algoritmos desbloqueiam acelerações de última geração que antes estavam disponíveis apenas para organizações que treinam seus próprios pequenos modelos de rascunho."
A pesquisa introduz três novos algoritmos que desvinculam a codificação especulativa do alinhamento de vocabulário. Esses algoritmos já foram integrados à biblioteca de código aberto Hugging Face Transformers, tornando a aceleração avançada de LLM disponível para milhões de desenvolvedores sem exigir código personalizado.
Essa notícia foi traduzida com a ajuda de inteligência artificial. Para mais informação, veja nossos Termos de Uso.