Por Paresh Dave
OAKLAND, Estados Unidos (Reuters) - Utilizada por dois terços dos 100 maiores bancos do mundo em tarefas relacionadas a decisões de empréstimo, a gigante de score de crédito Fair Isaac Corp e seu software de inteligência artificial podem causar estragos se algo der errado.
Essa crise quase aconteceu no início da pandemia. Como a Fico relatou à Reuters, as ferramentas de IA da empresa norte-americana usadas por bancos para identificar fraudes com cartões de crédito e débito concluíram que um aumento nas compras online significava que os fraudadores deveriam estar mais ocupados do que o normal.
O software de IA disse aos bancos que negassem milhões de compras legítimas, em um momento em que os consumidores tentavam conseguir mantimentos pela internet pois estavam impedidos de ir a mercados por causa de medidas de isolamento social.
Mas os consumidores acabaram enfrentando poucas negativas, de acordo com a Fico. A empresa disse que um grupo global de 20 analistas que monitoram constantemente seus sistemas recomendou ajustes temporários que evitaram um bloqueio das compras dos usuários dos cartões. A equipe é alertada automaticamente sobre atividades de compra incomuns que podem confundir a IA, utilizada por 9 mil instituições financeiras em geral para detectar fraudes em 2 bilhões de cartões.
Essas equipes corporativas, parte da especialidade emergente de operações de aprendizado de máquina (MLOps), são incomuns. Em pesquisas separadas no ano passado, a Fico e a consultoria McKinsey descobriram que a maioria das organizações consultadas não monitora regularmente programas baseados em IA após lançá-los.
O problema é que os erros podem abundar quando as circunstâncias do mundo real se desviam dos exemplos usados para treinar a IA, de acordo com cientistas que gerenciam esses sistemas. No caso da Fico, ela disse que seu software esperava mais compras presenciais do que virtuais, e a proporção invertida levou a uma parcela maior de transações sinalizadas como problemáticas.
Variações sazonais, mudanças na qualidade dos dados ou eventos importantes - como a pandemia - podem levar a uma série de previsões ruins de IA.
Imagine um sistema que recomenda trajes de banho para os compradores de verão, sem perceber que as medidas de isolamento social tornaram as calças de moletom mais adequadas para eles. Ou um sistema de reconhecimento facial com defeito porque o uso obrigatório de máscaras se tornou popular.
A pandemia deve ter sido um "despertar" para quem não monitora de perto os sistemas de IA porque induziu inúmeras mudanças comportamentais, disse Aleksander Madry, diretor do Centro de Aprendizado de Máquina do Instituto de Tecnologia de Massachusetts (MIT).
Lidar com o desvio das condições de treinamento é um grande problema para as organizações que utilizam a IA, disse ele. "Isso é o que realmente impede esse sonho da IA revolucionar tudo."
Aumentando a urgência dos usuários resolverem o problema, a União Europeia planeja aprovar uma nova lei de IA no próximo ano exigindo que esses sistemas tenham algum monitoramento. A Casa Branca aprovou este mês novas diretrizes de IA que também pedem acompanhamento dos sistemas para garantir que o desempenho "não caia abaixo de um nível aceitável ao longo do tempo".
Ser (BVMF:SEER3) lento para perceber problemas pode sair caro. A Unity Software , cujo software de anúncios ajuda videogames a atraírem jogadores, estimou em maio que perderia 110 milhões de dólares em vendas este ano, ou cerca de 8% da receita total esperada, depois que sua ferramenta de IA que determina para quem os anúncios devem ser exibidos parou de funcionar tão bem quanto antes. A empresa afirmou que o problema ocorreu depois que o sistema de IA utilizou dados corrompidos para as recomendações.
A Unity, com sede em São Francisco, não comentou o assunto. Executivos da empresa disseram que a companhia está implantando ferramentas de alerta e recuperação para detectar problemas mais rapidamente e reconheceram que o foco da empresa em expansão e adição de novos recursos tiveram precedência sobre o monitoramento.
O mercado imobiliário Zillow Group anunciou em novembro passado uma baixa contábil de 304 milhões de dólares em casas que comprou - com base em um algoritmo de previsão de preços - por valores superiores aos que poderiam ser revendidos. A empresa de Seattle disse que a IA não conseguiu acompanhar as mudanças rápidas e sem precedentes do mercado e teve que sair do negócio de compra e venda.
NOVO MERCADO
A IA pode produzir resultados errados de várias maneiras. A mais conhecida é quando dados de treinamento distorcidos podem levar a previsões injustamente tendenciosas. Muitas empresas agora examinam os dados com antecedência para evitar isso, de acordo com pesquisas e especialistas do setor. Em comparação, poucas empresas consideram o perigo de um modelo de bom desempenho que depois quebra, dizem as fontes.
"É um problema urgente", disse Sara Hooker, chefe do laboratório de pesquisa Cohere For AI. "Como você atualiza modelos que se tornam obsoletos à medida que o mundo muda ao seu redor?"
Várias startups e gigantes da computação em nuvem nos últimos dois anos começaram a vender software para analisar o desempenho, definir alarmes e introduzir correções que, juntas, pretendem ajudar as equipes a manter o controle da IA. A IDC, empresa de pesquisa de mercado de tecnologia, estima que os gastos com ferramentas para operações de IA atinjam pelo menos 2 bilhões de dólares em 2026, ante 408 milhões no ano passado.
O investimento em empresas de desenvolvimento e operações de IA aumentou no ano passado para quase 13 bilhões de dólares, e 6 bilhões foram investidos até agora este ano, segundo dados da PitchBook, uma empresa de Seattle que acompanha financiamentos.
A Arize AI, que levantou 38 milhões de dólares de investidores no mês passado, permite o monitoramento de clientes como Uber (NYSE:UBER), Chick-fil-A e Procter & Gamble. "O mundo de hoje é um em que você não sabe que há um problema até um impacto nos negócios daqui dois meses", disse Aparna Dhinakaran, vice-presidente de produto da Arize.
SCORES DE FRAUDE
Alguns usuários de IA criaram seus próprios recursos de monitoramento e foi isso que a Fico disse que salvou os consumidores no início da pandemia.
Alarmes foram acionados à medida que mais compras ocorriam online - o que a indústria chama de "cartão ausente". Historicamente, o crescimento desses gastos tende a ser identificado como expansão de fraudes e o isolamento social aumentou as transações na escala de identificação de golpes da Fico, que vai de 1 a 999 (quanto maior a pontuação, maior a probabilidade de fraude), disse Scott Zoldi, diretor de análise da companhia.
Zoldi disse que os hábitos dos consumidores mudaram rápido demais para a empresa reescrever o sistema de IA que usa. Portanto, a Fico aconselhou os clientes dos EUA a revisarem seus procedimentos para rejeitarem apenas transações com pontuação acima de 900, ante nível de 850 anteriormente, disse ele. Isso poupou os clientes de terem de revisar 67% das transações legítimas que foram classificadas com uma pontuação acima do limite antigo e permitiu que eles se concentrassem nos casos realmente problemáticos.
Os clientes detectaram um total de fraudes 25% maior que o esperado nos EUA durante os primeiros seis meses da pandemia e 60% a mais no Reino Unido, disse Zoldi.
"Você não é responsável ao trabalhar com IA se não estiver monitorando", disse ele.