Amazon Bedrock Intelligent Prompt Routing agora disponível para todos

Investing.com — A Amazon (NASDAQ:AMZN) anunciou a disponibilidade geral do seu Bedrock Intelligent Prompt Routing. Esta ferramenta, apresentada em dezembro, oferece um único endpoint sem servidor para direcionar efetivamente as solicitações entre diferentes modelos de fundação dentro da mesma família de modelos. Isso é feito prevendo dinamicamente a qualidade de resposta de cada modelo para uma solicitação e, em seguida, direcionando a solicitação para o modelo mais adequado com base no custo e na qualidade da resposta.

Nos últimos meses, a Amazon implementou várias melhorias no roteamento inteligente de prompts. Essas melhorias foram impulsionadas pelo feedback dos clientes e por extensos testes internos. O objetivo é facilitar o roteamento automatizado e ideal entre modelos de linguagem grandes (LLMs) através do Amazon Bedrock Intelligent Prompt Routing. Esta ferramenta possui um profundo entendimento dos comportamentos dos modelos dentro de cada família, o que inclui métodos de última geração para treinar roteadores para diferentes conjuntos de modelos, tarefas e prompts.

Os usuários agora podem usar o Amazon Bedrock Intelligent Prompt Routing com os roteadores de prompt padrão fornecidos pelo Amazon Bedrock ou configurar seus próprios roteadores de prompt. Isso permite o ajuste de desempenho linearmente entre o desempenho dos dois LLMs candidatos. Roteadores de prompt padrão são fornecidos pelo Amazon Bedrock para cada família de modelos. Esses roteadores vêm com configurações predefinidas e são projetados para funcionar imediatamente com modelos de fundação específicos. Eles oferecem uma solução direta e pronta para uso sem a necessidade de configurar quaisquer definições de roteamento.

O Amazon Bedrock Intelligent Prompt Routing agora suporta mais modelos das famílias Amazon Nova, Anthropic e Meta. Isso inclui a família Claude da Anthropic, a família Llama e a família Nova. Os usuários também podem definir suas próprias configurações de roteamento adaptadas a necessidades e preferências específicas.

A Amazon reduziu a sobrecarga de componentes adicionados em mais de 20% para aproximadamente 85 ms. Como o roteador invoca preferencialmente o modelo menos caro, mantendo a mesma precisão básica na tarefa, os usuários podem esperar um benefício geral de latência e custo em comparação com o uso constante do modelo maior e mais caro, apesar da sobrecarga adicional.

Essa notícia foi traduzida com a ajuda de inteligência artificial. Para mais informação, veja nossos Termos de Uso.