Quando a IA decide por você

Decisões automatizadas e revisão humana
Resumo

Quem trabalhou por anos com risco corporativo aprende, na prática, que o perigo raramente chega com aviso. Ele vai se instalando nos processos que ninguém para para questionar, nas decisões que parecem neutras só porque saíram de um sistema e não de uma pessoa.

Com a inteligência artificial no dia a dia do consumidor brasileiro, está acontecendo exatamente isso. E quase ninguém fala sobre o assunto do ponto de vista de quem está do outro lado.

Você já recebeu uma negativa rápida demais? Crédito reprovado na hora. Currículo que some sem resposta. Pedido ao plano de saúde negado sem que nenhum médico tenha olhado pra você. Essa velocidade toda, que parece eficiência, muitas vezes é só o sinal de que a decisão foi automatizada.

O erro que se multiplica

Um analista de crédito distraído erra uma vez. Um modelo de IA mal ajustado comete o mesmo erro milhares de vezes seguidas, com a mesma convicção em todas elas. Não é exagero. É o que acontece quando um sistema aprende com dados do passado que carregam as desigualdades de sempre e depois reproduz isso em escala, sem pausar para revisar.

O nome técnico é viés algorítmico. No concreto, significa que tem gente sendo prejudicada por critérios que nunca vão ser explicados, porque o sistema não explica e a empresa muitas vezes também não consegue responder.

Isso não é problema de tecnologia. É consequência de adotar uma ferramenta poderosa sem o cuidado que ela exige.

O direito que existe, mas ninguém conta

A LGPD garante ao consumidor o direito de pedir a revisão de decisões tomadas unicamente com base no tratamento automatizado de dados pessoais que afetem seus interesses. Banco que negou crédito. Empresa que descartou currículo. Seguradora que recusou cobertura. Nesses casos, é possível pedir que uma pessoa reavalie a decisão, solicitar informações sobre os critérios usados e, se necessário, registrar reclamação na Autoridade Nacional de Proteção de Dados.

Só que isso não aparece na mensagem de negativa. Não tem aviso dizendo “essa decisão foi tomada por IA, quer que alguém revise?”. A empresa manda o resultado. Descobrir o caminho pra contestar é problema seu.

Por que as coisas estão começando a mudar

Acompanho de perto como empresas estão reagindo à pressão regulatória em torno da IA. Muitas empresas ainda enxergam o tema como coisa de TI. Uma parte menor já entendeu que é questão de governança, e a diferença entre as duas perspectivas é grande.

Governança é saber quem responde, ter processo de revisão, oferecer canal de contestação e saber o que o seu sistema está fazendo quando ninguém está olhando. Empresa que ainda não chegou nisso não está apenas exposta a multas. Está acumulando um problema de confiança que vai aparecer na conta mais cedo do que imagina.

O consumidor que pergunta, que não aceita a negativa sem questionar e pede revisão humana, não está sendo difícil. Está sendo, hoje, um dos poucos contrapesos contra o uso negligente dessas ferramentas. E funciona.

Bruno Vilella

Bruno Vilella

Conselheiro, Board Advisor e executivo com mais de 30 anos de experiência no Grupo Americanas, onde ocupou posições de liderança nas áreas de Auditoria Interna, Gestão de Riscos, Controles Internos, Compliance, Tecnologia, Segurança da Informação e Governança Corporativa, participando de ciclos de crescimento, transformação organizacional e gestão de ambientes de alta complexidade. Atualmente, atua como conselheiro e advisor estratégico, apoiando empresas, fundadores e executivos na tomada de decisões, no fortalecimento da governança e na condução de processos de crescimento e transformação. Possui formação como Conselheiro de Administração pelo IBGC e certificações como Conselheiro Consultivo pelo CELINT e pelo PFCC da Board Academy, além de formação em Lean Governance. É também Certified Internal Auditor (CIA®) e Lean Six Sigma Master Black Belt.