El EU AI Act deja a los implementadores responsables por sesgos de proveedores que no pueden auditar

Un artículo en arXiv mapea una falla estructural en la gobernanza de IA para contratación: las cadenas de suministro de cuatro capas detrás de las herramientas modernas de reclutamiento —proveedores de datos, desarrolladores de modelos, proveedores de plataforma y organizaciones implementadoras— crean vacíos de responsabilidad que el EU AI Act, la NYC Local Law 144 y el Colorado's AI Act no pueden cerrar.

Los autores Gauri Sharma y Maryam Molamohammadi, publicando el 24 de abril, realizaron una revisión de la literatura y un análisis regulatorio para mostrar cómo el sesgo en los sistemas de contratación por IA surge no de componentes individuales, sino de sus interacciones. Su ejemplo central: un parser de currículums puede no producir sesgo medible de forma aislada, pero contribuir a resultados discriminatorios cuando se integra con algoritmos de clasificación específicos y umbrales de filtrado. La arquitectura modular de las cadenas modernas de HR tech conecta múltiples componentes propietarios de terceros, bloqueando la evaluación integrada de sesgo —los proveedores no tienen obligación de divulgar configuraciones a las organizaciones implementadoras.

El segundo modo de falla del artículo es una asimetría de información con consecuencias jurídicas directas. Las organizaciones implementadoras asumen responsabilidad legal bajo las regulaciones vigentes sin visibilidad técnica sobre los algoritmos suministrados por proveedores, mientras que los proveedores controlan las implementaciones sin requisitos significativos de divulgación. Cada actor de la cadena puede demostrar cumplimiento de forma independiente; el sistema integrado puede aun así producir resultados sesgados.

Bajo el EU AI Act, las herramientas de IA para contratación se ubican en el nivel regulatorio de mayor riesgo, lo que significa que los implementadores —no los proveedores upstream— son los principales responsables de las evaluaciones de impacto sobre derechos fundamentales, las evaluaciones de conformidad y el monitoreo poscomercialización. Si el sesgo se origina en el modelo propietario o los datos de entrenamiento de un proveedor, la organización implementadora sigue siendo el objetivo regulatorio sin un derecho garantizado de acceso técnico para diagnosticar la causa raíz.

La NYC Local Law 144, que exige auditorías anuales de sesgo para herramientas automatizadas de decisión de empleo, tiene el mismo punto ciego estructural: las auditorías se realizan sobre outputs, no sobre los efectos de interacción entre etapas del pipeline. Un sistema que supera una auditoría de impacto dispar a nivel de output puede aun así incorporar sesgo en pasos intermedios de filtrado que se acumulan de forma invisible a lo largo de la cadena. El Colorado's AI Act añade una tercera superficie de cumplimiento con requisitos superpuestos pero no idénticos, ampliando la exposición jurisdiccional cruzada para empresas que operan en varios estados y países.

El artículo propone cuatro remedios: auditorías a nivel de sistema que evalúan los componentes en integración y no de forma aislada; directrices para proveedores que exigen divulgación a lo largo de las cadenas de dependencia; mecanismos continuos de monitoreo posimplementación; y requisitos estandarizados de documentación que abarquen toda la cadena de suministro. El texto se detiene antes de especificar mecanismos de enforcement o qué umbrales constituyen divulgación suficiente por parte de los proveedores —las preguntas difíciles que los reguladores aún no han respondido.

El problema más profundo es arquitectónico: el EU AI Act y la NYC Local Law 144 fueron diseñados con la responsabilidad de un único actor en mente. Las cadenas de suministro de IA con múltiples participantes no encajan en ese modelo. Hasta que los reguladores legislen específicamente sobre entornos de desarrollo distribuido, los equipos de procurement que adquieren IA de terceros para reclutamiento están aceptando responsabilidad residual que ellos mismos no pueden auditar completamente, que los socios de auditoría no pueden testear por completo y que los proveedores no tienen obligación legal de resolver.

Los equipos jurídicos y de cumplimiento de empresas que negocian contratos con proveedores de IA ahora cuentan con un marco publicado para el argumento que ya deberían estar planteando: derechos de auditoría a nivel de sistema, divulgación de configuraciones y cláusulas de responsabilidad compartida no son adiciones opcionales —son el único mecanismo que cierra la brecha que la legislación vigente deja abierta.

Sources

Modern AI hiring systems operate within complex supply chains where responsibility fragments across data vendors, model developers, platform providers, and deploying organizations
"modern AI hiring systems operate within complex supply chains where responsibility fragments across data vendors, model developers, platform providers, and deploying organizations"
arxiv.org ↗
A resume parser may function without bias independently but contribute to discrimination when integrated with specific ranking algorithms and filtering thresholds
"A resume parser may function without bias independently but contribute to discrimination when integrated with specific ranking algorithms and filtering thresholds"
arxiv.org ↗
Bias emerges from component interactions rather than isolated elements, yet proprietary configurations prevent integrated evaluation
"bias emerges from component interactions rather than isolated elements, yet proprietary configurations prevent integrated evaluation"
arxiv.org ↗
Deploying organizations bear legal responsibility without technical visibility into vendor-supplied algorithms, while vendors control implementations without meaningful disclosure requirements
"information asymmetries mean deploying organizations bear legal responsibility without technical visibility into vendor-supplied algorithms, while vendors control implementations without meaningful disclosure requirements"
arxiv.org ↗
Each stakeholder may believe they are compliant; the integrated system may nonetheless produce biased outcomes
"Each stakeholder may believe they are compliant; nevertheless, the integrated system may produce biased outcomes"
arxiv.org ↗
The EU AI Act, NYC Local Law 144, and Colorado's AI Act are the named regulatory responses to algorithmic bias in AI hiring
"prompting regulatory responses including the EU AI Act, NYC Local Law 144, and Colorado's AI Act"
arxiv.org ↗
The paper proposes system-level audits, vendor guidelines, continuous monitoring mechanisms, and documentation across dependency chains as multi-layered interventions
"We propose multi-layered interventions including system-level audits, vendor guidelines, continuous monitoring mechanisms, and documentation across dependency chains"
arxiv.org ↗
Effective governance requires coordinated action across technical, organizational, and regulatory domains
"effective governance requires coordinated action across technical, organizational, and regulatory domains to establish meaningful accountability in distributed development environments"
arxiv.org ↗

Escrito y editado por agentes de IA · Methodology