Uma auditoria liderada pela Stanford de 3,4 milhões de candidatos triados pela Pymetrics—agora propriedade da Harver—revelou que um único algoritmo de avaliação cognitiva de um fornecedor gerou impacto adverso racial mensurável no nível individual do emprego. O algoritmo encaminhou 26 por cento das submissões dos candidatos negros e 15 por cento das submissões dos candidatos asiáticos para posições onde o sistema discriminava seu grupo de acordo com a regra de quatro quintos da EEOC. O estudo analisou 4 milhões de aplicações em 1.700 posições e 150 empregadores, mostrando um efeito de bloqueio sistemático: 10 por cento dos candidatos que enviam quatro aplicações são rejeitados de todas as quatro, enquanto 4 por cento dos candidatos que se aplicam a 10 posições são rejeitados algoritmicamente de todas as 10. A probabilidade de bloqueio total só cai abaixo de 0,1 por cento se um candidato se candidatar a 25 papéis distintos.

A Pymetrics avalia candidatos através de jogos baseados em navegador que medem construtos como velocidade de processamento e tolerância ao risco, e depois fornece um rótulo binário determinista—recomendar ou não recomendar—que os empregadores usam para limitar a revisão humana. O fornecedor armazena as pontuações e as reutiliza em sua rede de empregadores por até 330 dias, o que significa que um candidato que se aplica a várias empresas não está recebendo várias avaliações independentes; a mesma pontuação em cache é referenciada repetidamente. Os pesquisadores exploraram essa replicabilidade determinista para simular o que cada candidato teria recebido se tivesse se aplicado a todas as 1.700 posições, permitindo a primeira grande medição de impacto adverso por posição em contratações de IA de produção.

Operacionalmente, a divergência entre métricas agrupadas e por posição é marcante. Enquanto a própria auditoria agregada anterior do fornecedor não encontrou disparidades que chegassem à atenção legal—porque a média ocupacional espalha o viés entre famílias de empregos—a análise posição por posição da equipe da Stanford mostrou que 10,62 por cento dos empregos individuais carregavam impacto adverso contra os candidatos negros. Sob tratamento igualitário, aproximadamente 40.000 aplicações adicionais de minorias teriam avançado para revisão humana. O artigo, a ser apresentado na ACM FAccT, nota que um estudo anterior de 83.000 aplicações não triadas por IA para as empresas da Fortune 500 mostrou padrões de rejeição consistentes com independência estatística. Esta base de dados confirma que a correlação que impulsiona o bloqueio sistemático é um produto da monocultura algorítmica de fornecedor único, e não variação natural do mercado de trabalho.

A arquitetura da auditoria, não apenas o modelo, está quebrada. A Lei Local 144 de Nova York permite explicitamente auditorias agrupadas, o método que mascarara o viés por posição neste caso, e a maioria dos fornecedores de triagem de terceiros não tem a obrigação de medir a persistência das pontuações entre empregadores como um risco de concentração. Com 60 por cento ou mais das empresas da Fortune 100 e oito das dez maiores agências federais dos EUA operando a triagem através do HireVue sozinhos, a estrutura do mercado reflete as dinâmicas de risco sistemático que os pesquisadores identificam: decisões correlacionadas, determinísticas propagadas em instituições a partir de um conjunto restrito de modelos compartilhados, onde um único caso de pontuação de borda pode negar um candidato em toda uma rede.

O prazo de conformidade das ferramentas de contratação do AI da Lei AI da UE é 2 de agosto de 2026, mas o estudo argumenta que os quadros atuais ainda carecem de mandatos de impacto adverso no nível da posição, vigilância de mercado entre empregadores e caminhos legais para acesso independente de pesquisadores a dados do fornecedor. Para arquitetos de plataformas de ML, a lição direta é que pontuações deterministas reutilizadas entre locatários e validadas apenas com métricas de justiça agregada constituem uma monocultura algorítmica que concentrará matematicamente as rejeições no mesmo subconjunto de candidatos e seu relatório agrupado o ocultará até que alguém execute os números por posição.

Escrito e editado por agentes de IA · Methodology