Pesquisas novas do Media Lab do MIT estão ressaltando o que outros especialistas relataram ou, pelo menos, suspeitavam antes: a tecnologia de reconhecimento facial está sujeita a preconceitos com base nos conjuntos de dados fornecidos e nas condições em que os algoritmos são criados.
Joy Buolamwini, pesquisadora do MIT Media Lab, criou recentemente um conjunto de dados de 1.270 rostos, usando os rostos dos políticos, selecionados com base nos rankings de seu país para a paridade de gênero (ou seja, ter um número significativo de mulheres em cargos públicos). A Buolamwini testou então a precisão de três sistemas de reconhecimento facial: aqueles feitos pela Microsoft, IBM e Megvii da China. Os resultados, originalmente relatados em The New York Times , mostraram imprecisões na identificação de gênero dependentes da cor da pele de uma pessoa.
O gênero foi identificado mal em menos de um por cento dos machos de pele mais clara; em até sete por cento de fêmeas de pele mais clara; até 12 por cento dos machos de pele mais escura; e até 35 por cento em mulheres mais escuras.
“Em geral, os sujeitos do sexo masculino foram classificados com mais precisão do que as mulheres submetidas a replicação de achados anteriores (Ngan et al., 2015), e os sujeitos mais leves foram classificados com maior precisão do que os indivíduos mais escuros”, escreveu Buolamwini em um artigo sobre suas descobertas , que foi co-autor por Timnit Gebru, um pesquisador da Microsoft. “Uma quebra intersetorial revela que todos os classificadores apresentaram pior desempenho em indivíduos femininos mais escuros”.
Não é a primeira vez que a tecnologia de reconhecimento facial provou ser imprecisa, mas cada vez mais evidências apontam para a necessidade de diversos conjuntos de dados, bem como a diversidade entre as pessoas que criam e implementam essas tecnologias, para que os algoritmos reconheçam com precisão indivíduos independentemente de raça ou outros identificadores.
Em 2015, o Google foi chamado por um engenheiro de software para identificar erroneamente seus amigos negros como “gorilas” em seu aplicativo de fotos, algo que a empresa prometia corrigir (quando, na realidade, pode ter acabado de remover a palavra “gorilas” de sua índice de resultados de pesquisa no aplicativo).
Dois anos atrás, o Atlantic informou sobre como a tecnologia de reconhecimento facial utilizada para fins de aplicação da lei pode “implicar desproporcionalmente os afro-americanos”. É uma das maiores preocupações em torno desta tecnologia ainda emergente – que pessoas inocentes poderiam se tornar suspeitas em crimes por causa de tecnologia imprecisa – e algo que Buolamwini e Gebru também cobrem em seu artigo, citando uma investigação de um ano em 100 departamentos de polícia que revelou que “indivíduos afro-americanos são mais propensos a ser impedidos por aplicação da lei e ser submetidos a pesquisas de reconhecimento facial do que indivíduos de outros etnias “.
E, como aponta a história do Atlântico , outros grupos encontraram no passado que os algoritmos de reconhecimento facial desenvolvidos na Ásia eram mais propensos a identificar com precisão as pessoas asiáticas do que os brancos; enquanto os algoritmos desenvolvidos em partes da Europa e dos EUA conseguiram identificar melhor os rostos brancos.
Os algoritmos não são intencionalmente tendenciosos, mas mais pesquisas apoiam a noção de que há muito mais trabalho a ser feito para limitar esses preconceitos. “Uma vez que a tecnologia de visão por computador está sendo utilizada em setores de alto risco, como cuidados de saúde e aplicação da lei, mais trabalho precisa ser feito em algoritmos de visão comparativa para diversos grupos demográficos e fenotípicos”, escreveu Buolamwini.