OAKLAND, Califórnia – No mês passado, falei em uma reunião de profissionais de tecnologia afro-americanos. Eu sou um advogado transacional em uma empresa de tecnologia e meu marido é engenheiro, então a indústria está no centro das nossas vidas. Temos carreiras que nos permitem ajudar a criar produtos e ferramentas que nossos avós nunca pensaram serem possíveis e fornecer o tipo de vida para a família que eles não poderiam ter imaginado. E é importante para nós garantir que outras pessoas de cores tenham a chance de contribuir com o campo e colher seus benefícios. Com todas essas coisas em mente, deixei a conferência energizada e inspirada nas formas em que a tecnologia está mudando o mundo e as possibilidades que detém para nossa comunidade.
Ao mesmo tempo, estou aterrorizado pelo que esses avanços significam para as minhas duas crianças pequenas. A mesma tecnologia que é a fonte de tanta emoção na minha carreira está sendo usada na aplicação da lei de maneiras que poderiam significar que nos próximos anos, meu filho, que tem 7 agora, é mais provável que seja perfilado ou preso – ou pior – sem outro motivo além da raça e onde vivemos.
Claro que não estou sozinho ao sentir que a tecnologia é um presente e uma maldição. Esta tensão existe para quem gosta de conversas em tempo real no Twitter, mas detesta os trolls, adora o Facebook, mas aborrece a notícia falsa, ou depende da conveniência que Alexa oferece, mas se preocupa com as violações da privacidade.
No entanto, na minha vida, por causa da forma como a inteligência artificial e a aprendizagem de máquinas estão sendo usadas cada vez mais pela aplicação da lei – a tecnologia aparentemente cresce ao lado de meus filhos – é especialmente aguda.
O perfil racial injusto e as disparidades raciais resultantes no sistema de justiça criminal certamente não dependem da inteligência artificial. Mas quando você adiciona isso – tantas agências de aplicação da lei em todo o país, incluindo aquelas em grandes cidades como Miami, Los Angeles, Filadélfia, Atlanta e Nova York, nos últimos dois anos – as coisas ficam ainda mais assustadoras para famílias negras.
Isso é especialmente assustador quando combinado com o fato de que a administração atual já começou a reverter as políticas de reforma da justiça criminal da era Obama que deveriam tornar o sistema mais justo.
A AI trabalha tomando grandes volumes de informações e destilando-o para conceitos, categorias e regras simples e, em seguida, prevendo futuras respostas e resultados. Esta é uma função das crenças, pressupostos e capacidades das pessoas que fazem a codificação. A AI aprende por repetição e associação, e tudo isso é baseado na informação que nós – humanos que detêm todos os preconceitos raciais e muitas vezes, especificamente, anti-pretos de nossa sociedade – alimentá-lo.
Basta pensar em como os programas de reconhecimento facial do Google marcaram pessoas negras em “gorilas” de fotos. Ou como o Tay da Microsoft, um bot projetado para se envolver em conversas do Twitter, se transformou em uma máquina de twitt-epíteto racial dentro de 24 horas.
Essas desvantagens da AI não são segredo. Apesar disso, as agências estatais e locais de aplicação da lei começaram a usar aplicativos policiais preditivos alimentados por AI, como o HunchLab, que combina dados históricos do crime, fases da lua, localização, dados do recenseamento e até mesmo esquemas das equipes de esportes profissionais para prever quando e onde o crime ocorrerá e mesmo que seja susceptível de cometer ou ser vítima de certos crimes.
O problema com os dados históricos do crimeé que se baseia em práticas de policiamento que já desproporcionalmente habitam em negros, latinos e aqueles que vivem em áreas de baixa renda.
Se a polícia tem discriminado no passado, a tecnologia preditiva reforça e perpetua o problema, enviando mais oficiais depois que as pessoas que conhecemos já foram alvejadas e tratadas de forma injusta, com evidências recentes como os relatórios do Departamento de Justiça sobre Ferguson, Mo. e Baltimore , e os resultados do Painel de Faixa Azul de São Francisco sobre Transparência Responsabilidade e equidade na aplicação da lei.
Não é de admirar que criminologistas tenham levantado bandeiras vermelhas sobre a auto-realização da utilização dos dados históricos do crime.
Isso atinge perto de casa. Um estudo de outubro de 2016 do Human Rights Data Analysis Group concluiu que, se o Departamento de Polícia de Oakland usasse seu registro de 2010 de informações sobre crimes de drogas como base de um algoritmo para orientar o policiamento, o departamento “teria despachado diretores quase que exclusivamente para menores rendimentos , bairros minoritários “, apesar de as estimativas baseadas na saúde pública sugerirem que o uso de drogas seja muito mais generalizado, ocorrendo em muitas outras partes da cidade onde minha família e eu moramos.
Esses “bairros minoritários e minoritários” contêm a barbearia onde pego meu filho para o corte de cabelo mensal e nossa loja de hoagie favorita. Posso deixá-lo correr em frente de mim se eu soubesse que simplesmente colocar o pé nessas calçadas o tornaria mais provável que fosse visto como um criminoso aos olhos da lei?
Os riscos são ainda mais agudos (e inevitáveis) para aqueles que podem se dar ao luxo de viver apenas nos bairros que a AI provavelmente lideraria os oficiais a se concentrarem.
Há ainda outra oportunidade para a tendência racial de infundir o processo quando os algoritmos de avaliação de risco criados pela IA e o aprendizado de máquina são usados para ajudar a criminosos de sentença , como já estão nos tribunais de todo o país.
Sem o compromisso de garantir que os dados utilizados para alimentar a IA não reproduzem o racismo histórico, os preconceitos serão incorporados na base de muitos sistemas “inteligentes” que moldam a forma como vivemos. Não é que eu quero que essa tecnologia seja rejeitada. Existem maneiras de fazer o IA funcionar. Mas antes de ser usado na aplicação da lei, ele deve ser completamente testado e comprovado para não prejudicar desproporcionalmente as comunidades de cores.
Até então, minha emoção sobre os avanços em tecnologia sempre será cautelosa. A inovação é o cerne das carreiras que me permitem e meu marido proporcionar uma boa vida para a nossa família. A mesma inovação, se não fosse usada corretamente, poderia demorar tudo.