O Reddit (NYSE:RDDT) anunciou na terça-feira que revisará um padrão da web para evitar a raspagem automatizada de dados em sua plataforma. Esse movimento é uma resposta a relatos de que startups de IA estavam contornando as regras existentes para coletar conteúdo para seus sistemas. A empresa de mídia social está pronta para atualizar o Protocolo de Exclusão de Robôs, comumente conhecido como "robots.txt", que dita as partes de um site que podem ser acessadas por rastreadores automatizados.
A decisão ocorre em meio a preocupações sobre empresas de inteligência artificial supostamente plagiando conteúdo de editores para criar resumos gerados por IA sem a devida atribuição ou permissão. As medidas atualizadas do Reddit incluirão a manutenção da limitação de taxa para controlar o volume de solicitações que um único usuário pode fazer, bem como o bloqueio de bots e rastreadores não identificados de coletar dados do site.
O uso de "robots.txt" ganhou destaque à medida que os editores buscam proteger seu conteúdo de ser usado por empresas de tecnologia para treinar algoritmos de IA e gerar resumos para certas consultas de pesquisa sem compensação. Na semana passada, a TollBit, uma startup de licenciamento de conteúdo, enviou uma carta aos editores revelando que várias empresas de IA estavam ignorando o padrão da web para raspar conteúdo de sites de editores.
Uma investigação da Wired no início de junho sugeriu que a empresa de pesquisa de IA Perplexity pode ter contornado medidas para bloquear seu rastreador da web por meio de "robots.txt". Em um incidente relacionado, a Forbes acusou a Perplexity no início de junho de plagiar suas histórias investigativas para uso em sistemas de IA generativos sem crédito.
Apesar do acesso restrito, o Reddit confirmou que pesquisadores e entidades como o Internet Archive ainda poderão acessar seu conteúdo, desde que seu uso não seja comercial. Isso garante que, embora a empresa tome medidas para proteger seu conteúdo contra raspagem não autorizada, ela continue a apoiar atividades legítimas de pesquisa e arquivamento.
A Reuters contribuiu para este artigo.Essa notícia foi traduzida com a ajuda de inteligência artificial. Para mais informação, veja nossos Termos de Uso.