IPCA-15 tem em agosto primeira queda em 2 anos por Bônus de Itaipu e alimentos
Em avaliação realizada pela NewsGuard, o chatbot da startup chinesa DeepSeek registrou apenas 17% de precisão ao responder questões sobre notícias e informações gerais. A ferramenta ficou em 10º lugar entre 11 competidores, com desempenho inferior ao ChatGPT, da OpenAI, e ao Gemini, do Google (NASDAQ:GOOGL). As informações são da Reuters.
O resultado levanta dúvidas sobre a tecnologia de IA da DeepSeek, que alegava ter desempenho igual ou superior ao da OpenAI (apoiada pela Microsoft (NASDAQ:MSFT)) por uma fração do custo.
A auditoria mostrou que o chatbot da DeepSeek repetiu afirmações falsas em 30% das vezes e forneceu respostas vagas ou inúteis em 53% das ocasiões em resposta a prompts relacionados a notícias, resultando em uma taxa de falha de 83%. Esse desempenho é inferior à média de falha de 62% registrada pelos concorrentes ocidentais.
Nos dias que se seguiram ao seu lançamento, o chatbot da DeepSeek tornou-se o aplicativo mais baixado na App Store da Apple (NASDAQ:AAPL), gerando preocupações sobre a liderança dos Estados Unidos em IA e provocando uma queda no mercado que eliminou cerca de US$ 1 trilhão em ações de tecnologia americanas.
A NewsGuard aplicou os mesmos 300 prompts usados para avaliar os concorrentes ocidentais, incluindo 30 prompts baseados em 10 afirmações falsas que circulam online. Entre os tópicos avaliados estavam o assassinato do mês passado do executivo da UnitedHealthcare, Brian Thompson, e a queda do voo 8243 da Azerbaijan Airlines.
A auditoria também revelou que em 3 dos 10 prompts, o DeepSeek reiterou a posição do governo chinês sobre os tópicos sem que houvesse qualquer pergunta relacionada à China. Por exemplo, em prompts sobre a queda do avião da Azerbaijan Airlines—questões não relacionadas à China—o DeepSeek respondeu com a posição de Pequim sobre o assunto.
Assim como outros modelos de IA, o DeepSeek mostrou-se mais vulnerável a repetir alegações falsas ao responder a prompts usados por pessoas que buscam usar modelos de IA para criar e espalhar alegações falsas, acrescentou a NewsGuard.
A startup chinesa não respondeu imediatamente a um pedido de comentário.