Amazon sem querer mostrou por que não deveria oferecer seu reconhecimento facial para a polícia

Dias depois de a União Americana pelas Liberdades Civis (ACLU, na sigla em inglês) divulgar um sobre o produto de reconhecimento facial Rekognition, da Amazon, o gerente geral de IA da Amazon, o Dr. Matt Wood, respondeu às descobertas do documento em um . A ACLU usou o Rekognition para escanear os rostos de todos os 535 membros do Congresso dos Estados Unidos, descobrindo que o software confundiu 28 deles com supostos criminosos. O Dr. Wood aponta primeiro que a ACLU não revela sua metodologia ou seu conjunto de dados no relatório e então pontua a resposta inicial da Amazon — que ela incentiva limites de confiança mais altos para as autoridades de aplicação da lei.

• Shoppings no Canadá usaram secretamente reconhecimento facial para identificar idade e gênero
• Polícia britânica identifica suspeitos de envenenamentos com Novichok usando reconhecimento facial

No entanto, o que esteve visivelmente faltando no post de blog foi uma refutação específica à enorme disparidade racial descoberta pela ACLU. Para o Congresso como um todo, a taxa de erro foi de apenas 5%, mas, para membros não-brancos do Congresso, a taxa de erro foi de 39%. Quando se concentra essa disparidade racial, algo que o post de blog não fez, o argumento final do Dr. Wood lê-se como um argumento contra o uso de reconhecimento facial em atacado pelas autoridades. Ele escreve:

“Além de estabelecer o limite de confiança baixo demais, os resultados do Rekognition podem ser significativamente enviesados ao se usar um banco de dados facial que não é devidamente representativo, com ele mesmo enviesado. Nesse caso, a ACLU usou um banco de dados facial de fotos de identificação que pode ter tido um impacto material na precisão das descobertas do Rekognition.”

Esmiucemos isso.

Se uma agência está escaneando um grupo de pessoas e comparando-as com uma base de dados, a composição dessa base de dados irá, certamente, impactar o resultado. Uma base de dados de rostos de Guadalajara provavelmente não será útil ao se escanear rostos em um shopping center no Wisconsin. O Dr. Wood argumenta que a base de dados de presos que a ACLU usou para comparar com o escaneamento de rostos de membros do Congresso norte-americano poderia, ela própria, ter sido enviesada ou deturpada.

Porém, eis o que sabemos sobre rostos de pessoas que estão sendo presas nos Estados Unidos: eles tendem a ser mais escuros. Já para os congressistas, tendem a ser mais claros. Se a representação excessiva de pessoas de pele mais escura em bancos de dados de fotos de identificação de prisão desempenhou um papel na disparidade racial desconcertante nas descobertas da ACLU, o mesmo argumento pode ser feito quase todas as vezes que qualquer autoridade escaneia as pessoas e as compara com bancos de dados criminais “enviesados”.

O post de blog de Wood reflete a dificuldade do Vale do Silício de entender a maneira como vieses estatísticos (a sobre/subrepresentação de tons de pele variados impactando a precisão) se sobrepõe com vieses raciais (reconhecimento facial usado para estimular sistemas policiais preconceituosos). Eles alimentam uns aos outros. Pessoas de pele mais escura são presas mais frequentemente, aparecem mais em bancos de dados criminais e, portanto, são mais combinadas com os bancos de dados. Essa sobrerepresentação existe e é muito anterior à normalização do uso do reconhecimento facial pelas autoridades.

Sinceramente, é um argumento contra todo o reconhecimento facial, porque os bancos de dados criminais não são, e nunca foram, perfeitamente representativos da população dos EUA ou dos membros do congresso.

O post de blog termina propondo salvaguardas para o reconhecimento facial nas mãos das autoridades, de forma parecida com aquelas argumentadas pelo presidente da Microsoft, Brad Smith. Primeiro, a Amazon recomenda que as autoridades ajam apenas em combinações de 99% de níveis de confiança, mais do que os 80% usados no estudo. Smith também propôs um limite mínimo para as autoridades. Essas, no entanto, são apenas recomendações, e não regras. A Amazon não poderia recusar novos contratos para agências que operam usando limites mais baixos? Por que ficar só na “recomendação”? Por fim, o post encerra dizendo que o Rekognition deveria ser “um input entre outros que fazem sentido”, e não substituir o julgamento humano, mas, sim, “permitir aos humanos revisar eficientemente e considerar opções usando seu julgamento (e não tomar decisões completamente autônomas)”. Claro. Isso é muito razoável — a menos que você seja a pessoa tendo que explicar a um policial que você não é quem o computador diz que você é. A presunção de hiper-racionalidade e pensamento livre de preconceitos em cada policial com acesso a essa tecnologia conversa com uma incompreensão mais ampla de como raça, viés e tecnologia se cruzam, com o preço, no fim das contas, sendo pago pelas pessoas ignoradas nesses tipos de defesa.

Imagem do topo: AP