EU AI Act deixa implantadores responsáveis por viés de fornecedores que não podem auditar

Um artigo no arXiv mapeia uma falha estrutural na governança de IA para contratação: as cadeias de fornecimento de quatro camadas por trás das ferramentas modernas de recrutamento — fornecedores de dados, desenvolvedores de modelos, provedores de plataforma e organizações implantadoras — criam lacunas de responsabilidade que o EU AI Act, a NYC Local Law 144 e o Colorado's AI Act não conseguem fechar.

Os autores Gauri Sharma e Maryam Molamohammadi, publicando em 24 de abril, conduziram uma revisão da literatura e análise regulatória para demonstrar como o viés em sistemas de contratação por IA emerge não de componentes individuais, mas de suas interações. Seu exemplo central: um parser de currículos pode não produzir viés mensurável de forma isolada, mas contribuir para resultados discriminatórios quando integrado a algoritmos de ranqueamento específicos e limiares de filtragem. A arquitetura modular das cadeias modernas de HR tech conecta múltiplos componentes proprietários de terceiros, bloqueando a avaliação integrada de viés — os fornecedores não têm obrigação de divulgar configurações às organizações implantadoras.

O segundo modo de falha do artigo é uma assimetria de informação com consequências jurídicas diretas. As organizações implantadoras arcam com responsabilidade legal sob as regulamentações vigentes sem visibilidade técnica sobre os algoritmos fornecidos por terceiros, enquanto os fornecedores controlam as implementações sem exigências significativas de divulgação. Cada ator da cadeia pode demonstrar conformidade de forma independente; o sistema integrado ainda pode produzir resultados enviesados.

Sob o EU AI Act, as ferramentas de IA para contratação estão no nível regulatório de maior risco, o que significa que os implantadores — e não os fornecedores upstream — são os principais responsáveis pelas avaliações de impacto sobre direitos fundamentais, avaliações de conformidade e monitoramento pós-mercado. Se o viés se origina no modelo proprietário ou nos dados de treinamento de um fornecedor, a organização implantadora permanece como alvo regulatório sem direito garantido de acesso técnico para diagnosticar a causa raiz.

A NYC Local Law 144, que exige auditorias anuais de viés para ferramentas automatizadas de decisão de emprego, carrega o mesmo ponto cego estrutural: as auditorias são conduzidas sobre outputs, não sobre os efeitos de interação entre estágios do pipeline. Um sistema que passa em uma auditoria de impacto disparate no nível de output pode ainda incorporar viés em etapas intermediárias de filtragem que se acumulam de forma invisível ao longo da cadeia. O Colorado's AI Act adiciona uma terceira superfície de conformidade com requisitos sobrepostos, mas não idênticos, ampliando a exposição jurisdicional cruzada para empresas que operam em vários estados e países.

O artigo propõe quatro remédios: auditorias em nível de sistema que avaliam componentes em integração, e não de forma isolada; diretrizes para fornecedores exigindo divulgação ao longo das cadeias de dependência; mecanismos contínuos de monitoramento pós-implantação; e requisitos padronizados de documentação abrangendo toda a cadeia de fornecimento. O texto para aquém de especificar mecanismos de enforcement ou quais limiares constituem divulgação suficiente por parte dos fornecedores — as questões difíceis que os reguladores ainda não responderam.

O problema mais profundo é arquitetural: o EU AI Act e a NYC Local Law 144 foram desenhados tendo em mente a responsabilidade de um único ator. Cadeias de fornecimento de IA com múltiplos participantes não se encaixam nesse modelo. Até que os reguladores legislem especificamente sobre ambientes de desenvolvimento distribuído, equipes de procurement que adquirem IA de terceiros para recrutamento estão aceitando responsabilidade residual que elas mesmas não conseguem auditar plenamente, que os parceiros de auditoria não conseguem testar completamente e que os fornecedores não têm obrigação legal de resolver.

As equipes jurídicas e de compliance de empresas que negociam contratos com fornecedores de IA agora dispõem de um arcabouço publicado para o argumento que já deveriam estar fazendo: direitos de auditoria em nível de sistema, divulgação de configurações e cláusulas de responsabilidade compartilhada não são adições opcionais — são o único mecanismo que fecha a lacuna que a legislação vigente deixa em aberto.