Conheça seu algoritmo

A inteligência artificial, os algoritmos e os processos de tomada de decisão automáticos são a próxima fronteira regulatória

Por Jairo Saddi e Thoran Rodrigues – Valor 14/02/2022 

Chegou a hora de indagar: as companhias conhecem os seus clientes, mas será que podem dizer o mesmo sobre os algoritmos que os selecionam?

Inteligência artificial virou, em todo tempo e lugar, e mais uma vez, o termo da moda. Hoje, todos, indiscriminadamente, afirmam que estão utilizando IA para gerar valor, seja ao negócio, seja ao acionista, seja ao consumidor. Do atendimento ao cliente à análise do risco de crédito, grande parte das decisões que são tomadas e das interações que acontecem são feitas de maneira automática por algoritmos que processam um dado conjunto de entradas e produzem um determinado output. As decisões de aceitar ou não que uma pessoa abra uma conta, dar-lhe ou não um cartão de crédito (com o respectivo limite), ou mesmo de rejeitar uma compra on-line por risco de fraude não são tomadas por indivíduos. São sistemas, que processam milhares de dados para tentar chegar a alguma conclusão.

A forma como esses algoritmos aprendem a tomar as decisões certas para as empresas se dá através de um processo chamado de aprendizado de máquina (ou machine learning). De uma forma bem simplificada, são apresentadas milhões de decisões históricas para o computador, cada uma delas marcada como “boa” ou “ruim”. O algoritmo então aprende quais são as características que levam a uma decisão boa e quais levam a uma decisão ruim. A partir desses exemplos, aprende a decidir sozinho.

Apesar do nome, não se trata de um processo de aprendizado no sentido tradicional de educação. Afinal, as “inteligências artificiais”, em geral, não são tão inteligentes assim. Quem trabalha com esse tipo de tecnologia há mais tempo sabe muito bem que esses algoritmos reproduzem e amplificam de forma significativa os vieses, distorções e erros contidos nos dados que foram utilizados no processo.

Algoritmos reproduzem e amplificam os vieses, distorções e erros contidos nos dados utilizados no processo

Dados históricos, especialmente os que tratam de decisões financeiras, tendem a incorporar preconceitos da sociedade mais ampla, mesmo que inadvertidamente. Quando a decisão futura é automatizada em função desses dados distorcidos, os problemas de informação se tornam critérios de decisão essenciais, aumentando as assimetrias.

Ilustremos com um exemplo: o processo de empréstimos de uma instituição financeira. Historicamente, grande quantidade dos empréstimos realizados por um banco se dava para trabalhadores registrados, aqueles com emprego formal, carteira assinada e um salário no final do mês. Na hipótese de se treinar um algoritmo para automatizar a decisão de conceder ou não o crédito,  os atributos relacionados a “emprego formal” vão se destacar, e os algoritmos vão provavelmente “aprender” a só decidir emprestar dinheiro para quem está empregado.

Não é preciso muito para afirmar que, em qualquer mudança de realidade econômica (mais empreendedores individuais, freelancers e funcionários PJ etc), o banco não só estará perdendo boas oportunidades de mercado, como também deixando de cumprir a sua função econômica e social.

O risco da automação vai além do simples exagero dos problemas contidos nos dados. Na verdade, os algoritmos tomam decisões baseados na combinação e no cruzamento de milhares de informações diferentes, usando processos matemáticos tão complexos que é praticamente impossível explicar por que uma determinada decisão foi tomada. As decisões distorcidas ocorrem de forma oculta, sendo ao mesmo tempo amplificadas e ofuscadas. Com isso, identificar e corrigir problemas no processo de tomada de decisão fica muito mais difícil.

Esses dilemas ficam ainda mais agudos quando as empresas optam por utilizar sistemas de inteligência artificial desenvolvidos externamente, por consultorias ou mesmo por outras empresas de tecnologia. Nesse caso, quem está contratando a solução não tem nenhuma visibilidade sobre os dados de fato utilizados no treinamento dos algoritmos, nem sobre os vieses que eles incorporaram. Assim, a dificuldade de detecção e correção de falhas aumenta exponencialmente.

Qual é a solução? Será deixar de tomar decisões automáticas e ter sempre uma pessoa envolvida nos processos? Obviamente não. A digitalização dos processos corporativos traz ganhos de eficiência que ampliam o acesso da população a produtos e serviços, e retroceder nesse processo não é opção. As empresas precisam entender que, nessa nova realidade digitalizada, conhecer os seus algoritmos é tão importante quanto conhecer os seus clientes.

Da mesma forma que as empresas adotam processos de know-your-client para conhecer os clientes e evitar os riscos de um cliente usar indevidamente os seus produtos e serviços, são necessários processos completos e estruturados de know-your-algorithm, que permitam à empresa avaliar e entender se os sistemas de inteligência artificial utilizados podem representar algum tipo de risco estrutural para o seu negócio devido a erros e/ou vieses pouco transparentes.

A inteligência artificial, os algoritmos e os processos de tomada de decisão automáticos são a próxima fronteira regulatória. Para a sociedade, o impacto negativo da perpetuação de distorções presentes em dados históricos é um problema gigantesco, que só tende a piorar. Resolver tais questões vai representar a diferença entre mercados e sistemas mais inclusivos e acessíveis para todos e uma segregação e discriminação cada vez maiores da população. Em resumo: quanto mais transparentes as empresas forem sobre seus processos de tomada de decisão, menores serão os seus riscos.

Jairo Saddi, advogado em São Paulo, escreve mensalmente neste espaço às segundas.

Thoran Rodrigues é fundador e CEO da BigDataCorp.

https://valor.globo.com/opiniao/coluna/conheca-seu-algoritmo.ghtml

Se você tiver interesse e ainda não estiver inscrito para receber diariamente as postagens de O Novo Normal, basta clicar no link: https://chat.whatsapp.com/KVhRLPQJGZsJozQCM3WWXH (11) para WhatsApp ou https://t.me/joinchat/SS-ZohzFUUv10nopMVTs-w  para Telegram. Este é um grupo restrito para postagens diárias de Evandro Milet. Além dos artigos neste blog, outros artigos de Evandro Milet com outras temáticas, publicados nos fins de semana em A Gazeta, encontram-se em http://evandromilet.com.br/