Por Jeffrey Dastin e Katie Paul
(Reuters) - Uma equipe de especialistas em tecnologia divulgou uma convocação global nesta segunda-feira buscando as questões mais complexas possíveis para serem perguntadas a sistemas de inteligência artificial (IA), que cada vez mais estão respondendo testes populares de referência como se fossem brincadeira de criança.
Com o nome de "A última prova da humanidade", o projeto busca determinar o momento da chegada da IA em nível especialista, dizem os organizadores do estudo, que fazem parte da organização sem fins lucrativos Centro de Segurança de IA (CAIS) e da empresa startup Scale AI.
A convocação ocorre dias após o criador do ChatGPT ter apresentado um novo modelo, conhecido como OpenAI o1, que “destruiu os benchmarks de raciocínio mais populares”, disse Dan Hendrycks, diretor-executivo do CAIS e consultor da startup xAI de Elon Musk.
Hendrycks foi coautor de dois artigos em 2021 que propuseram testes para sistemas de IA que agora são amplamente utilizados: um testando o conhecimento em nível de graduação no ensino superior sobre temas como história dos EUA e o outro avaliando a capacidade dos modelos de raciocínio matemático em nível das competições sobre a disciplina. O teste para nível de graduandos tem mais downloads no hub de IA online Hugging Face do que qualquer outro conjunto de dados similar.
Na época desses artigos, a IA dava respostas quase aleatórias às perguntas das provas. “Agora eles são facilmente respondidos”, Hendrycks disse à Reuters.
Por exemplo, os modelos Claude, do laboratório de IA Anthropic, atingiram uma pontuação de cerca de 77% no teste de nível graduandos em 2023 e chegaram a quase 89% um ano depois, de acordo com um importante ranking.
Como resultado, esses testes comuns de referência passam a ficar menos importantes.
A IA parece ter ido mal em testes menos conhecidos que envolvem formulação de planos e quebra-cabeças de reconhecimento de padrões visuais, de acordo com o Relatório de Índice de IA da Universidade de Stanford, divulgado em abril. O OpenAI o1 marcou cerca de 21% em uma versão do teste de reconhecimento de padrões ARC-AGI, por exemplo, disseram os organizadores do ARC na sexta-feira.
Alguns pesquisadores de IA argumentam que esse tipo de resultado mostra que o planejamento e o raciocínio abstrato são as melhores maneiras de medir inteligência, embora Hendrycks tenha dito que o aspecto visual do ARC o torna menos adequado para avaliar modelos de linguagem. “A Última Prova da Humanidade vai exigir raciocínio abstrato”, disse.
Respostas de testes de referências comuns também podem ter sido usadas para treinar os sistemas de IA, disseram especialistas de mercado. Hendrycks disse que algumas perguntas na 'Última Prova da Humanidade' permanecerão secretas para garantir que as respostas dos sistemas de IA não sejam apenas resultado de memorização de dados.
O exame incluirá pelo menos 1 mil perguntas feitas por pessoas até o dia 1º de novembro, em nível complexo para não especialistas responderem. Essas perguntas passarão por uma revisão por pares, e as submissões vencedoras terão coautoria e prêmios de até 5 mil dólares patrocinados pela Scale AI.
Só há, contudo, uma restrição: os organizadores não querem perguntas sobre armas, pois alguns dizem que seria muito perigoso para a IA estudar esse assunto.