A inteligência artificial tem um problema de viés, e é nossa culpa

Em 2016, pesquisadores da Universidade de Boston e da Microsoft estavam trabalhando em algoritmos de inteligência artificial quando descobriram tendências racistas e sexistas na tecnologia subjacente a alguns dos serviços mais populares e críticos que usamos todos os dias. A revelação foi contra a sabedoria convencional de que a inteligência artificial não sofre com os preconceitos de gênero, raça e cultura que nós, humanos, sofremos.

Os pesquisadores fizeram essa descoberta enquanto estudavam algoritmos de incorporação de palavras, um tipo de IA que encontra correlações e associações entre palavras diferentes, analisando grandes corpos de texto. Por exemplo, um algoritmo treinado de incorporação de palavras pode entender que as palavras para flores estão intimamente relacionadas a sentimentos agradáveis. Em um nível mais prático, a incorporação de palavras entende que o termo "programação de computadores" está intimamente relacionado a "C ++", "JavaScript" e "análise e design orientados a objetos". Quando integrada a um aplicativo de verificação de currículo, essa funcionalidade permite que os empregadores encontrem candidatos qualificados com menos esforço. Nos mecanismos de pesquisa, ele pode fornecer melhores resultados ao exibir conteúdo semanticamente relacionado ao termo de pesquisa.

Os pesquisadores da BU e da Microsoft descobriram que os algoritmos de incorporação de palavras tinham vieses problemáticos, como associar "programador de computador" a pronomes masculinos e "dona de casa" a femininos. Suas descobertas, que eles publicaram em um trabalho de pesquisa apropriadamente intitulado "O homem é para programador de computador como a mulher é para dona de casa?" foi um dos vários relatórios para desmascarar o mito da neutralidade da IA ​​e lançar luz sobre o viés algorítmico, um fenômeno que está atingindo dimensões críticas à medida que os algoritmos se tornam cada vez mais envolvidos em nossas decisões cotidianas.

As Origens do Viés Algorítmico

Os algoritmos de aprendizado de máquina e aprendizado profundo estão subjacentes à maioria dos softwares atuais de IA. Ao contrário do software tradicional, que funciona com base em regras predefinidas e verificáveis, o aprendizado profundo cria suas próprias regras e aprende pelo exemplo.

Por exemplo, para criar um aplicativo de reconhecimento de imagem com base em aprendizado profundo, os programadores "treinam" o algoritmo, alimentando dados rotulados: nesse caso, fotos marcadas com o nome do objeto que contêm. Uma vez que o algoritmo ingere exemplos suficientes, ele pode reunir padrões comuns entre dados rotulados da mesma forma e usar essas informações para classificar amostras não identificadas.

Esse mecanismo permite que o aprendizado profundo realize muitas tarefas que eram praticamente impossíveis com o software baseado em regras. Mas isso também significa que o software de aprendizado profundo pode herdar preconceitos secretos ou evidentes.

"Os algoritmos de IA não são inerentemente tendenciosos", diz o professor Venkatesh Saligrama, que leciona no Departamento de Engenharia Elétrica e de Computação da Universidade de Boston e trabalhou nos algoritmos de incorporação de palavras. "Eles têm funcionalidade determinística e detectam qualquer tendência que já exista nos dados em que treinam".

Os algoritmos de incorporação de palavras testados pelos pesquisadores da Universidade de Boston foram treinados em centenas de milhares de artigos do Google Notícias, Wikipedia e outras fontes online nas quais os preconceitos sociais estão profundamente incorporados. Como exemplo, devido à cultura bro que domina o setor de tecnologia, os nomes masculinos surgem com mais frequência em trabalhos relacionados à tecnologia - e isso leva a algoritmos para associar homens a trabalhos como programação e engenharia de software.

"Os algoritmos não têm o poder da mente humana em distinguir o certo do errado", acrescenta Tolga Bolukbasi, estudante de doutorado do último ano da BU. Os seres humanos podem julgar a moralidade de nossas ações, mesmo quando decidimos agir contra normas éticas. Mas para algoritmos, os dados são o fator determinante final.

Saligrama e Bolukbasi não foram os primeiros a alarmar esse viés. Pesquisadores da IBM, Microsoft e Universidade de Toronto sublinharam a necessidade de evitar a discriminação algorítmica em um artigo publicado em 2011. Naquela época, o viés algorítmico era uma preocupação esotérica, e o aprendizado profundo ainda não havia encontrado seu caminho no mainstream. Hoje, porém, o viés algorítmico já deixa uma marca em muitas das coisas que fazemos, como ler notícias, encontrar amigos, fazer compras online e assistir a vídeos no Netflix e no YouTube.

O Impacto do Viés Algorítmico

Em 2015, o Google teve que se desculpar depois que os algoritmos que acionavam o aplicativo Fotos marcaram duas pessoas negras como gorilas - talvez porque seu conjunto de dados de treinamento não apresentasse imagens suficientes de pessoas negras. Em 2016, dos 44 vencedores de um concurso de beleza julgado pela AI, quase todos eram brancos, alguns eram asiáticos e apenas um tinha pele escura. Novamente, o motivo foi que o algoritmo foi treinado principalmente com fotos de pessoas brancas.

Google Fotos, vocês estão fodidos. Meu amigo não é um gorila. pic.twitter.com/SMkMCsNVX4

- Jackyalciné não está respondendo muito aqui. DM (@jackyalcine) 29 de junho de 2015

Mais recentemente, um teste dos serviços de análise de rosto da IBM e da Microsoft constatou que os algoritmos das empresas eram quase impecáveis ​​na detecção do sexo de homens com pele clara, mas geralmente erram quando apresentados com fotos de mulheres com pele escura.

Embora esses incidentes provavelmente tenham causado danos insignificantes, o mesmo não pode ser dito dos algoritmos de IA em domínios mais críticos, como assistência médica, aplicação da lei e recrutamento. Em 2016, uma investigação da ProPublica constatou que o COMPAS - software dirigido por IA que avalia o risco de reincidência de infratores - era enviesado contra pessoas de cor. A descoberta foi especialmente preocupante porque juízes em alguns estados usam o COMPAS para determinar quem fica livre e quem fica na cadeia.

Em outro caso, um estudo da plataforma de publicidade do Google, que é alimentada por algoritmos de aprendizado profundo, descobriu que os homens exibiam anúncios de empregos bem remunerados com mais frequência do que as mulheres. Um estudo separado encontrou um problema semelhante com os anúncios de emprego do LinkedIn. Ainda outro mostrou que algoritmos tendenciosos de contratação tinham 50% mais chances de enviar um convite para uma pessoa cujo nome era europeu-americano do que para alguém com um nome afro-americano.

Áreas como aprovação de empréstimos, classificação de crédito e bolsas de estudo enfrentam ameaças semelhantes.

O viés algorítmico é ainda mais preocupante por causa de como pode amplificar os vieses sociais. Sob a ilusão de que a IA é fria, o cálculo matemático desprovido de preconceito ou preconceito, os seres humanos podem tender a confiar no julgamento algorítmico sem questioná-lo.

Em uma entrevista à Wired UK, Andrew Wooff, professor de criminologia da Edinburgh Napier University, observou que o mundo do policiamento "com muita pressão e uso intensivo de recursos" poderia fazer com que os policiais confiassem demais em decisões algorítmicas. "Posso imaginar uma situação em que um policial possa confiar mais no sistema do que em seus próprios processos de tomada de decisão", disse ele. "Em parte isso pode ser para que você possa justificar uma decisão quando algo der errado."

Confiar em algoritmos tendenciosos cria um ciclo de feedback: tomamos decisões que criam dados mais tendenciosos que os algoritmos analisarão e treinarão no futuro.

Esse tipo de coisa já está acontecendo em redes de mídia social como o Facebook e o Twitter. Os algoritmos que executam os feeds de notícias criam "bolhas de filtro", que mostram conteúdo compatível com as preferências e preconceitos dos usuários. Isso pode torná-los menos tolerantes em relação às visões opostas e também pode polarizar ainda mais a sociedade, impulsionando a divisão política e social.

"O viés algorítmico pode potencialmente afetar qualquer grupo", diz Jenn Wortman Vaughan, pesquisadora sênior da Microsoft. "Os grupos que estão sub-representados nos dados podem estar especialmente em risco."

Em domínios que já são conhecidos por viés, como a discriminação endêmica da indústria de tecnologia contra mulheres, os algoritmos de IA podem acentuar esses vieses e resultar em mais marginalização de grupos que não estão bem representados.

A saúde é outro domínio crítico, ressalta Wortman. "Isso pode causar sérios problemas se um algoritmo de aprendizado de máquina usado para diagnóstico médico for treinado em dados de uma população e, como resultado, não apresentar bom desempenho em outras pessoas", diz ela.

O viés também pode ser prejudicial de maneiras mais sutis. "No ano passado, eu estava planejando levar minha filha para um corte de cabelo e procurei online imagens de 'cortes de cabelo de bebês'", diz Wortman. Mas as imagens retornadas eram quase todas de crianças brancas, principalmente com cabelos lisos e, mais surpreendentemente, principalmente meninos, ela notou.

Os especialistas chamam esse fenômeno de "dano representacional": quando a tecnologia reforça estereótipos ou diminui grupos específicos. "É difícil quantificar ou medir o impacto exato desse tipo de viés, mas isso não significa que não seja importante", diz Wortman.

Removendo o viés dos algoritmos de IA

As implicações cada vez mais críticas do viés da IA ​​chamaram a atenção de várias organizações e órgãos governamentais, e algumas medidas positivas estão sendo tomadas para abordar as questões éticas e sociais que envolvem o uso da IA ​​em diferentes campos.

A Microsoft, cujos produtos dependem fortemente de algoritmos de IA, lançou um projeto de pesquisa há três anos chamado Justiça, Responsabilidade, Transparência e Ética em IA (FATE), destinado a permitir que os usuários desfrutem das percepções e eficiência aprimoradas dos serviços de IA sem discriminação e viés.

Em alguns casos, como o concurso de beleza adjudicado pela AI, encontrar e corrigir a origem do comportamento tendencioso de um algoritmo da IA ​​pode ser tão fácil quanto verificar e alterar as fotos no conjunto de dados de treinamento. Mas, em outros casos, como os algoritmos de incorporação de palavras examinados pelos pesquisadores da Universidade de Boston, o viés é incorporado nos dados de treinamento de maneiras mais sutis.

A equipe da BU, que se juntou ao pesquisador da Microsoft Adam Kalai, desenvolveu um método para classificar os incorporados de palavras com base em suas categorizações de gênero e identificar analogias potencialmente tendenciosas. Mas eles não tomaram a decisão final e administrariam cada uma das associações suspeitas por 10 pessoas no Mechanical Turk, o mercado on-line da Amazon para tarefas relacionadas a dados, que decidiriam se a associação deveria ser removida ou não.

"Não queríamos inserir nossos próprios vieses no processo", diz Saligrama, professor e pesquisador da BU. "Acabamos de fornecer as ferramentas para descobrir associações problemáticas. Os seres humanos tomaram a decisão final".

Em um artigo mais recente, Kalai e outros pesquisadores propuseram o uso de algoritmos separados para classificar diferentes grupos de pessoas, em vez de usar as mesmas medidas para todos. Esse método pode ser eficaz em domínios em que os dados existentes já são enviesados ​​em favor de um grupo específico. Por exemplo, os algoritmos que avaliam candidatas para um trabalho de programação usariam critérios mais adequados para esse grupo, em vez de usar o conjunto mais amplo de dados que é profundamente influenciado pelos vieses existentes.

O Wortman da Microsoft vê a inclusão na indústria de IA como um passo necessário para combater o viés nos algoritmos. "Se queremos que nossos sistemas de IA sejam úteis para todos e não apenas para certos dados demográficos, as empresas precisam contratar equipes diversas para trabalhar na IA", diz ela.

Em 2006, Wortman ajudou a fundar Women in Machine Learning (WiML), que realiza um workshop anual no qual as mulheres que estudam e trabalham na indústria de IA podem se encontrar, interagir, trocar idéias e participar de discussões de painel com mulheres seniores na indústria e na academia. Um esforço semelhante é o novo Black in AI Workshop, fundado por Timnit Gebru, outro pesquisador da Microsoft, que visa criar talentos mais diversificados em IA.

Bolukbasi, da Universidade de Boston, também propõe alterar a maneira como os algoritmos de IA resolvem problemas. "Os algoritmos escolherão um conjunto de regras que maximize seu objetivo. Pode haver muitas maneiras de chegar ao mesmo conjunto de conclusões para determinados pares de entradas e saídas", diz ele. "Tomemos o exemplo de testes de múltipla escolha para humanos. Pode-se alcançar a resposta certa com um processo de pensamento errado, mas, no entanto, obter a mesma pontuação. Um teste de alta qualidade deve ser projetado para minimizar esse efeito, permitindo apenas às pessoas que realmente Conhecer o assunto para obter as pontuações corretas.Comunicar algoritmos às restrições sociais pode ser visto como um análogo a este exemplo (embora não seja exato), onde aprender um conjunto de regras errado é penalizado no objetivo.Esta é uma pesquisa contínua e desafiadora tema."

A opacidade da IA ​​complica a justiça

Outro desafio no caminho de tornar os algoritmos de IA mais justos é o fenômeno da "caixa preta". Em muitos casos, as empresas guardam zelosamente seus algoritmos: por exemplo, a Northpointe Inc., fabricante do COMPAS, o software de previsão de crimes, se recusou a divulgar seu algoritmo proprietário. As únicas pessoas a par do funcionamento interno do COMPAS são seus programadores, não os juízes que o utilizam para julgar.

Além do sigilo corporativo, os algoritmos de IA às vezes ficam tão complicados que as razões e os mecanismos por trás de suas decisões escapam até a seus criadores. No Reino Unido, a polícia de Durham usa o sistema de inteligência artificial HART para determinar se os suspeitos têm um risco baixo, moderado ou alto de cometer mais crimes dentro de um período de dois anos. Mas uma revisão acadêmica de 2017 do HART observou que "a opacidade parece difícil de evitar". Isso se deve em parte à grande quantidade e variedade de dados que o sistema usa, o que dificulta a análise dos motivos por trás de suas decisões. "Esses detalhes podem ser disponibilizados gratuitamente ao público, mas exigiriam uma quantidade enorme de tempo e esforço para serem totalmente compreendidos", diz o documento.

Várias empresas e organizações estão liderando esforços para trazer transparência à IA, incluindo o Google, que lançou o GlassBox, uma iniciativa para tornar o comportamento dos algoritmos de aprendizado de máquina mais compreensível sem sacrificar a qualidade da produção. A Agência de Projetos de Pesquisa Avançada de Defesa (DARPA), que supervisiona o uso da IA ​​nas forças armadas, também está financiando um esforço para permitir que os algoritmos da IA ​​expliquem suas decisões.

Em outros casos, o julgamento humano será fundamental para lidar com o viés. Para impedir que preconceitos humanos raciais e sociais existentes se infiltrem nos algoritmos do HART, o Durham Constabulary forneceu aos membros de sua equipe sessões de conscientização sobre preconceitos inconscientes. A força policial também tomou medidas para remover pontos de dados, como traços raciais, que podem criar as bases para decisões tendenciosas.

Responsabilidade Humana

De uma perspectiva diferente, os algoritmos de IA podem oferecer uma oportunidade para refletir sobre nossos próprios vieses e preconceitos. "O mundo é tendencioso, os dados históricos são tendenciosos, portanto, não surpreende que recebamos resultados tendenciosos", disse Sandra The Wachter, pesquisadora em ética e algoritmos de dados da Universidade de Oxford, ao The Guardian .

Wachter faz parte de uma equipe de pesquisa do Instituto Alan Turing, em Londres e da Universidade de Oxford, que publicou um artigo pedindo regulamentos e instituições para investigar possíveis discriminações por algoritmos de IA.

Também falando com o The Guardian , Joanna Bryson, cientista da computação da Universidade de Bath e coautora de um trabalho de pesquisa sobre viés algorítmico, disse: "Muitas pessoas estão dizendo que estão mostrando que a IA é prejudicada. Não. Isso está mostrando é preconceituoso e que a IA está aprendendo ".

Em 2016, a Microsoft lançou o Tay, um bot do Twitter que deveria aprender com seres humanos e se envolver em conversas inteligentes. Porém, dentro de 24 horas do lançamento de Tay, a Microsoft teve que desligá-lo depois que começou a vomitar comentários racistas, que havia captado nas conversas com usuários do Twitter. Talvez isso seja um lembrete de que já passou da hora de nós, humanos, reconhecer nosso próprio papel na aparição e propagação do fenômeno de viés algorítmico e tomar medidas coletivas para desfazer seus efeitos.

"Essa é uma tarefa muito complicada, mas é uma responsabilidade que nós, como sociedade, não devemos evitar", diz Wachter.