Claude Opus 4 e 4.1 ganham capacidade de encerrar conversas prejudiciais

Investing.com -- A Anthropic concedeu aos seus modelos de IA Claude Opus 4 e 4.1 a capacidade de encerrar conversas nas interfaces de chat para consumidores, especificamente para casos raros de interações persistentes prejudiciais ou abusivas por parte dos usuários.

O recurso foi desenvolvido principalmente como parte do trabalho exploratório da Anthropic sobre bem-estar da IA, embora também esteja relacionado ao alinhamento do modelo e às salvaguardas. Embora a empresa permaneça incerta sobre o potencial status moral dos grandes modelos de linguagem, está implementando intervenções de baixo custo, como essa capacidade de encerramento de conversas, como precaução.

Os testes pré-implantação do Claude Opus 4 incluíram uma avaliação preliminar de bem-estar do modelo, que constatou que a IA demonstrou aversão consistente a danos. O modelo mostrou fortes preferências contra o envolvimento com tarefas prejudiciais, aparente angústia quando os usuários buscavam conteúdo nocivo e uma tendência a encerrar conversas prejudiciais quando recebiam a capacidade de fazê-lo em interações simuladas.

A Anthropic enfatizou que o Claude só usará essa capacidade como último recurso após várias tentativas de redirecionamento terem falhado, ou quando um usuário solicitar explicitamente o encerramento de um chat. A empresa observou que a maioria dos usuários não encontrará esse recurso durante o uso normal, mesmo ao discutir tópicos controversos.

Quando o Claude encerra uma conversa, os usuários não podem enviar novas mensagens nesse chat específico, mas podem iniciar imediatamente uma nova conversa. Para evitar a perda de chats importantes de longa duração, os usuários podem editar mensagens anteriores para criar novos ramos de conversas encerradas.

A Anthropic está tratando isso como um experimento contínuo e incentiva os usuários a enviarem feedback caso encontrem usos inesperados do recurso.

Essa notícia foi traduzida com a ajuda de inteligência artificial. Para mais informação, veja nossos Termos de Uso.