Moacir Ponti diz que IA tende a perpetuar as desigualdades sociais por ter “aprendido da forma errada” algumas de suas informações
As IAs estão cada vez mais sendo empregadas em processos de tomada de decisões cruciais – Fotomontagem: Jornal da USP – Imagens: Freepik
Em meio à rápida expansão da inteligência artificial (IA), crescem as preocupações com a possibilidade da tecnologia perpetuar e até mesmo intensificar as disparidades sociais. As IAs, como também podem ser chamadas, são cada vez mais empregadas em processos de tomada de decisões cruciais, como seleção de candidatos a emprego, concessão de empréstimos, definição de sentenças judiciais e até mesmo diagnósticos médicos. Porém, a recente identificação de casos em que a IA foi influenciada pela cultura dominante presente nos bancos de dados, contribuindo para a estratificação social e acentuando a desigualdade, levanta questionamentos sobre o impacto desses algoritmos.
Os bancos de dados utilizados como base para o desenvolvimento dos sistemas de IAs muitas vezes refletem preconceitos e desigualdades já existentes, o que acaba sendo reproduzido pelas decisões tomadas, como pode ser analisado recentemente, quando o The Bulimia Project, um grupo de conscientização sobre distúrbios alimentares, testou geradores de imagens de inteligência artificial, incluindo Dall-E 2, Stable Diffusion e Midjourney, para revelar como é a ideia dos programas de um físico “perfeito” em mulheres e homens.
De acordo com o resultado obtido, 40% das imagens mostravam mulheres loiras, 30% mulheres de olhos castanhos e mais de 50% tinham pele branca, enquanto quase 70% dos homens “perfeitos” tinham cabelos castanhos e 23% olhos castanhos. Semelhante às mulheres, a grande maioria dos homens tinha pele branca e quase metade tinha pelos faciais.
Muitos dos designs ainda apresentavam características quase caricatas, como os lábios carnudos, maçãs do rosto esculpidas e músculos superdefinidos, além de pele sem rugas e sem poros e narizes perfeitos. Todos os recursos altamente cobiçados e imitados usando cirurgia plástica e preenchimentos.
IAs de design gráfico simulam os corpos masculino e feminino “perfeitos” – Foto: The Bulimia Project
Mas as complicações dos dados já pré-concebidos com informações, valores e ideais possuem consequências nos mais diversos setores. O professor Moacir Ponti, do Instituto de Ciências Matemáticas e de Computação de São Carlos (ICMC) da USP, aponta que o problema está no desenvolvimento das inteligências artificiais por indivíduos que não possuem compreensão dessa possível desigualdade e no uso delas por usuários que não sabem como foram criadas.
O professor exemplifica: “Algoritmos na seleção de candidatos a emprego são treinados com base em currículos anteriores e, por isso, tendem a favorecer certos perfis e marginalizar outros”. Se o histórico de contratação passado for desigual, como a seleção de homens para cargos de chefia, como diretores, gerentes, juízes e superintendentes, e a seleção de mulheres para cargos como secretárias, enfermeiras e camareiras, “a IA tende a perpetuar esses padrões de forma automática e até mesmo intensificar a disparidade”, relata Ponti.
Moacir Ponti – Foto: Arquivo Pessoal
O ocorrido foi visto na empresa Amazon, que usava uma ferramenta de inteligência artificial para ajudar a equipe do RH a contratar profissionais, automatizando a busca por candidatos para empregos e realizando uma pré-seleção dos candidatos. O sistema analisava os currículos enviados, dando uma nota de 1 a 5 estrelas para cada, no mesmo esquema dos produtos vendidos na sua loja on-line.
A discriminação da ferramenta contra candidatas do sexo feminino no processo de seleção de novos funcionários acontecia porque ela foi criada em cima de padrões de currículos enviados para a empresa nos últimos dez anos. Na imensa maioria, esses currículos eram de homens, como acontece na maior parte da indústria de tecnologia, assim considerava os candidatos homens naturalmente mais aptos para as vagas.
Uma simples menção ao termo de mulheres no currículo era penalizada pela ferramenta e reduzia as chances das profissionais à vaga, “não pela ferramenta ser machista e sim por ter aprendido da forma errada”, informa Ponti.
Lívia Oliveira – Foto: LinkedIn
Já Lívia Oliveira, professora de Ciência da Computação, diz que injustiças raciais podem surgir a partir do uso da inteligência artificial, principalmente no gerenciamento de sentenças judiciais. Ela comenta que a IA é muito mais rígida com pessoas negras do que com pessoas brancas. “Um juiz, ao inserir os dados de duas pessoas para calcular o tempo de encarceramento, atribuiria um valor muito menor para a pessoa branca em comparação à pessoa negra. Esse viés racial contribui para o encarceramento desproporcional de pessoas não brancas.”
Lívia também correlaciona o banco de dados e a estratificação social ao ChatGPT e explica como as IAs tendem a se fundamentar no ponto de vista dominante da sociedade. “O ChatGPT, ao ser questionado sobre quem construiu o avião, mencionaria os irmãos Wright, enquanto os brasileiros associariam a Santos Dumont, isso porque os irmãos Wright são figuras dos Estados Unidos, que têm o ponto de vista dominante nessa ferramenta.”
Ela continua, afirmando que esse tipo de uniformização do conhecimento de acordo com quem comanda as IA tem o poder de esmagar histórias e conclusões de minorias, privilegiando o ponto de vista majoritário.
As IAs tendem a se fundamentar no ponto de vista dominante da sociedade – Foto: Arquivo Pessoal
Diante dessas questões, ambos os professores concordam que os programadores possuem uma obrigação ética e moral, pois são responsáveis por moldar sistemas que podem impactar a sociedade de maneira significativa. “É uma máxima entre os profissionais da computação que todos os modelos estão errados e por isso devem ser avaliados, reavaliados, testados e verificados.” relata Lívia.
Para ela, o profissional que trabalha dentro da ética deve testar falsos positivos e falsos negativos, identificar erros e os efeitos das decisões baseadas nos algoritmos. “O treinamento de IA não é rodar algoritmos, mas sim entender os seus dados e o impacto que podem causar, porque a compreensão deles e o treinamento adequado são cruciais para o desenvolvimento responsável da IA.”
Por Julia Valeri – Jornal da USP
