É possível criar um sistema de reconhecimento facial não-racista?

À medida que as empresas correm para implementar o reconhecimento facial em todos os lugares, desde até a e o , enfrentamos questões difíceis sobre o potencial da tecnologia em intensificar o viés racial; O software comercial de reconhecimento facial tem se mostrado repetidamente menos preciso em pessoas com pele mais escura, e os defensores dos direitos civis se preocupam com as maneiras perturbadoras que o reconhecimento facial pode ser usado pela polícia.

No entanto, esses sistemas continuam a se espalhar pelos EUA em meio a garantias de que algoritmos mais precisos estão a caminho. Mas a implementação de um reconhecimento facial realmente não racista (em oposição a apenas “daltônico”) é realmente possível? Para ajudar a responder a essa pergunta, conversamos com especialistas em reconhecimento facial, raça e vigilância, e pedimos que pensassem se poderíamos remediar os vieses técnicos, culturais e carcerários do reconhecimento facial.

• Justiça exige que metrô de SP pare de usar câmeras que monitoram atenção de passageiros
• Shoppings no Canadá usaram secretamente reconhecimento facial para identificar idade e gênero

Preconceitos e soluções técnicas

No início deste ano, os pesquisadores do MIT Joy Buolamwini e Timnit Gebru destacaram contra os negros: rostos mais escuros são pouco representados nos conjuntos de dados usados ​​para treiná-los, deixando o reconhecimento facial mais impreciso quanto a rostos escuros. Os pesquisadores descobriram que quando vários algoritmos de reconhecimento facial foram usados para identificar o gênero, eles classificaram as mulheres de pele escura como homens até 34,7% do tempo. A taxa máxima de erro para os homens de pele clara, por outro lado, era inferior a 1%.

“Para falhar uma em três vezes, em um sistema comercial, em algo que foi reduzido a uma tarefa de classificação binária, você tem que se perguntar –isso teria sido permitido se essas taxas de falha estivessem em um subgrupo diferente?”, Perguntou Buolamwini em um .

No artigo, o classificador de gênero da Microsoft apresentou uma taxa de erro de 20,8% para mulheres de pele escura. Em resposta, a Microsoft anunciou em junho que estava recalibrando os dados de treinamento através da diversificação de tons de pele em imagens de treinamento facial, se nas taxas de classificação de gênero. Isso, no entanto, só remete a um tipo de enviesamento no reconhecimento facial. “Estamos falando de duas questões separadas e únicas a nossa indústria”, disse Brian Bracken, CEO da startup de inteligência artificial, Kairos, ao Gizmodo. Vieses técnicos, explicou ele, têm soluções técnicas. Mas mesmo o reconhecimento de face totalmente funcional pode encorajar sistemas tendenciosos, um problema que requer soluções culturalmente mais complexas. “Ambos são problemas e ambos merecem atenção, mas são duas coisas distintas”. A Kairos faz sistemas biométricos de login que permitem que os clientes do banco usem o rosto para verificar suas contas, os funcionários entrem no trabalho e as pessoas nos parques de diversões acessem as atrações em filas de alta velocidade. Nesses contextos, diz Brackeen, as apostas de um falso positivo ou um falso negativo são muito menores. Ser identificado erroneamente pelo seu banco não é o mesmo que ser identificado erroneamente pela polícia.

“Estou muito mais confortável vendendo reconhecimento facial a parques de diversão, linhas de cruzeiro ou bancos”, disse Brackeen, “se você tiver que fazer login em sua conta [bancária] duas vezes porque é afro-americano, isso é injusto. Mas você não vai levar um tiro”. Brackeen, que, brincando, identifica como“ provavelmente o único” CEO negro de uma empresa de reconhecimento facial, entrou no centro das atenções da mídia em junho quando revelou que a . De acordo com Brackeen, o reconhecimento facial aumenta exponencialmente as capacidades da polícia, o que, por sua vez, aumenta ainda mais os vieses do policiamento. “Quando você está falando sobre uma ferramenta de inteligência artificial, em uma câmera no corpo, estamos falando de habilidades extra-humanas. Digamos que um policial seja capaz de identificar 30 imagens por hora ”, disse Brackeen. “Se você perguntar a um departamento de polícia se estariam dispostos a limitar [o reconhecimento] a 30 reconhecimentos por hora, eles diriam que não. Porque não se trata do tempo do policial. Se trata, na verdade, de uma habilidade sobre-humana de identificar pessoas, o que muda o contrato social”. Por fim, Brackeen vê uma solução do lado do fornecedor: em um , ele pediu que cada empresa de reconhecimento facial parasse de vender sua tecnologia para agências de segurança pública.

O Fruto de uma árvore venenosa

O reconhecimento facial funciona combinando a pessoa que está sendo digitalizada com um banco de dados de imagens faciais. Nos contextos de policiamento, esses bancos de dados podem incluir fotos de passaportes e carteiras de motorista. Em Orlando, a polícia fez uma parceria com a Amazon para testar o reconhecimento facial ligado a câmeras de vigilância em locais públicos. Em Nova York, os distritos escolares começaram a explorar sistemas semelhantes para examinar os rostos dos visitantes . Em ambos os casos, o objetivo é identificar instantaneamente pessoas de interesse, como aquelas com mandados pendentes.

Isto, no entanto, pressupõe que os mandados são distribuídos “de forma justa” ou devem sempre ativar intervenção policial. Considere Ferguson, Missouri, onde a morte a tiros de Mike Brown provocou dias de protestos. foi “moldada pelo foco da cidade em sua receita e não nas necessidades de segurança pública”. Como o relatório explicou, a para paradas e buscas como parte de um modelo de receita racista e lucrativa, emitindo mandados de prisão para pagamentos perdidos ou em atraso.

Os números eram impressionantes: representando 67% da população em Ferguson, os cidadãos negros eram o alvo de 85% das paradas no trânsito e 91% de todas as paradas resultaram em alguma forma de citação. Em um futuro onde todos os motoristas são instantaneamente identificáveis ​​através do reconhecimento facial, considere como seria a vida de alguém instantaneamente identificado com um mandado de prisão pendente como resultado de um sistema preconceituoso.

À medida que o reconhecimento facial se torna padronizado e entra nas escolas, estádios e aeroportos, os poderes de vigilância da polícia crescem. Mesmo com modelos de treinamento recalibrados, o “viés” está presente. Um estudioso com quem falamos argumentou que o reconhecimento facial livre de preconceitos nunca poderia existir no sistema de policiamento.

“[O reconhecimento facial] imagina o policiamento como neutro. Sabemos que esse não é o caso”, disse Simone Browne, professora assistente da Universidade do Texas em Austin e autora de Dark Matters: On the Surveillance of Blackness, ao Gizmodo. Dark Matters argumenta que a vigilância biométrica transforma o próprio corpo em uma forma de evidência, uma forma de hiper-objetificação com conexões históricas com a escravidão. Browne escreve:

Racializar a vigilância também faz parte da esfera digital com consequências materiais dentro e fora dela… os dados que são extraídos ou produzidos sobre indivíduos e grupos são então transformados em perfis, circulados e comercializados dentro e entre bancos de dados. Esses dados geralmente são marcados por gênero, nacionalidade, região, raça, condição socioeconômica e… para alguns, essas categorias são particularmente prejudiciais.

Browne argumenta que o reconhecimento facial cria uma cópia digital de nosso eu físico que funciona como uma carteira de identidade, que é então analisada, compartilhada, examinada, comparada a nós – essencialmente traficada – como um meio de verificar nossa identidade e rastrear nosso comportamento. O reconhecimento facial categoriza os seres humanos, tornando-se um veículo para os resultados, por vezes prejudiciais, de classificar as pessoas em categorias biométricas. Podemos ver as conseqüências de tal categorização em bancos de dados de gangues, listas de terroristas e até listas de compradores preferidos. “Ainda não podemos imaginar que isso vá melhorar as coisas para os negros, porque o sistema de policiamento ainda está intacto”, alertou Browne.

Quem se beneficia com os avanços?

“Estamos vivendo um momento de aceleração de tecnologia, aceleração do desenvolvimento tecnológico e desenvolvimento científico”, disse Alessandra Nelson, diretora da Data & Society, que estuda os impactos sociais da tecnologia, ao Gizmodo. “Momentos de pausa e reflexão são necessários e, penso eu, importantes lembretes de que não precisamos apenas ser engrenagens em um sistema que avança muito rapidamente”. Respondendo à declaração inicial sobre classificação de gênero da Microsoft, Nelson se mostrou cética, à época:

“Precisamos parar de confundir ‘inclusão’ em sistemas de vigilância mais ‘diversos’ com justiça e igualdade”.
“[Muito] do meu trabalho fala sobre como as comunidades de cor na comunidade afro-americana entenderam como poderiam ser pouco visadas pelo tipo de papel positivo de uma nova tecnologia em particular, mas muitas vezes foram alvo de sua pior dinâmica possível”, disse Nelson.

Essa ligação dupla – na qual os negros são alvos da ciência em vez de apoiados por ela – é , termo cunhado pela autora Harriet Washington. Nascido da robusta análise histórica de Washington de experimentos médicos com escravos, “apartheid médico” refere-se a como os negros têm sido experimentados em prol dos avanços científicos dos quais eles não se beneficiam. Um dos exemplos mais infames vem do trabalho de James Marion Sims, que é apontado por alguns como o “pai da ginecologia” por reduzir as taxas de mortalidade materna no século 19, mas .

“Todos os primeiros avanços importantes na saúde reprodutiva foram alcançados através do aperfeiçoamento de experimentos com mulheres negras”, disse Washington em . “Por quê? Porque as mulheres brancas poderiam dizer não”. Séculos depois, a .

O reconhecimento facial não é tão terrível assim, mas “apartheid médico” é uma estrutura útil para considerar como diferentes populações têm papéis diferentes no desenvolvimento, avanço, impacto e, em última instância, no benefício de avanços científicos e tecnológicos. Essa disparidade é ilustrada com uma pergunta simples: Quais populações podem dizer não? “Isso não é algo apenas para [as empresas perguntarem], é mais um caso de governança democrática”, disse Nelson. “Precisamos estar abertos à possibilidade democrática de que ter uma melhor tecnologia de vigilância talvez não seja necessariamente melhor”. Fora de contextos como o policiamento, vieses (tanto técnicos quanto culturais) parecem bem menos ameaçadores. Mas a questão permanece: os negros podem dizer não ao escaneamento facial, mesmo que seja estatisticamente equilibrado, aplicado comercialmente ou razoavelmente regulado? Como qualquer outra pessoa, os negros devem poder desfrutar de conveniências como linhas de aeroportos mais curtas e logins mais fáceis. Mas ao avaliar o efeito positivo ou negativo de uma tecnologia emergente em uma sociedade, precisamos perguntar se ela tem impactos diferentes sobre os membros dessa sociedade, não apenas se é divertida ou inclusiva.

Policiando os policiais

Em junho, o presidente da Microsoft, Brad Smith, fez (e amplamente divulgado) para que o governo dos EUA regulasse o reconhecimento facial após a reação do público ao contrato da empresa com a ICE (departamento de imigração e alfândega dos EUA). “Como princípio geral”, escreveu Smith, “parece mais sensato pedir a um governo eleito que regule as empresas do que pedir a empresas não-eleitas que regulem tal governo”. Smith pediu a criação de uma “comissão bipartidária de especialistas” para orientar a regulação da tecnologia de reconhecimento facial. Parecia um truque de relações públicas a princípio, não muito diferente dos painéis de diversidade dos anos de Obama ou dos recentes conselhos de ética em inteligência artificial, formados de grandes nomes, muito bem vistos porém sem reais poderes de fiscalização. A proposta de Smith, no entanto, apresentava uma importante diferença: As comissões federais têm acesso direto aos membros do Congresso, que são mais ousados ​​do que nunca em seu desejo de regular o “bastião liberal” do Vale do Silício, e podem emitir intimações para documentos e informações geralmente obscurecidos por leis proprietárias de proteção. É uma sugestão encorajadora, mas enfrentar os preconceitos no reconhecimento facial requer muito mais.

Para criar um reconhecimento facial “não-racista”, as empresas que o vendem devem, sim, abordar as falhas técnicas de seus sistemas, mas também terão que exercer um imperativo moral de não fornecer a tecnologia a grupos que operam com viés racial. Além disso, os legisladores precisariam impor limites rígidos sobre como e quando o escaneamento facial pode ser usado. Mesmo assim, o reconhecimento facial imparcial será impossível sem abordar o racismo no sistema de justiça criminal em que será inevitavelmente usado.

Atingir essas metas pode parecer impossível, mas isso apenas demonstra o quão sério e urgente é o problema. Infelizmente, estas não são preocupações hipotéticas sobre um distante futuro distópico. Em julho, o departamento de polícia de Orlando com a Amazon, enquanto o por toda a cidade de Nova York.

O reconhecimento facial está sendo comercializado para os consumidores como uma conveniência de ponta, mas tem laços claros com a vigilância e, por fim, com o controle. Imagine se cada anúncio ou artigo promovendo um sistema “pague com o seu rosto” também mostrasse bancos de dados criminais ou listas de terroristas. Se o fizessem, teríamos uma visão mais honesta do impacto do reconhecimento facial.

Ilustração do topo por Angelica Alzona