Las herramientas de inteligencia artificial muestran un sesgo al clasificar los nombres de los solicitantes de empleo según la raza y el género percibidos

Parece que el futuro de la contratación está automatizado. Los solicitantes ahora pueden utilizar robots de inteligencia artificial para postularse a miles de ofertas de trabajo. Las empresas, que durante mucho tiempo han automatizado partes del proceso, ahora están implementando los últimos grandes modelos de lenguaje de inteligencia artificial para escribir descripciones de puestos, verificar currículums y seleccionar candidatos. Se estima que el 99% de las empresas Fortune 500 utilizan actualmente alguna forma de automatización en su proceso de contratación.

Esta automatización puede aumentar la eficiencia y algunos afirman que puede hacer que el proceso de contratación sea menos discriminatorio. Pero una nueva investigación de la Universidad de Washington encuentra importantes sesgos raciales, de género e interseccionales en la forma en que tres modelos de lenguajes grandes (LLM, por sus siglas en inglés) de última generación clasifican los currículums. Los investigadores separaron los nombres asociados con hombres y mujeres blancos y negros en más de 550 currículums del mundo real y descubrieron que los LLM preferían nombres asociados con blancos el 85% de las veces, versus nombres asociados con mujeres solo el 11% de las veces, y nunca les gustó el negro. hombres. -Nombres asociados a nombres masculinos blancos.

Equipo presentó su investigación el 22 de octubre Conferencia AAAI/ACM sobre Inteligencia Artificial, Ética y Sociedad En San José.

"El uso de herramientas de inteligencia artificial para los procesos de contratación ya está generalizado y está creciendo más rápido de lo que podemos regularlo", dijo la autora principal Kyra Wilson, estudiante de doctorado de la Facultad de Información de la Universidad de Washington. “Actualmente, fuera de la ley de la ciudad de Nueva York, no existe una auditoría regulatoria independiente de estos sistemas, por lo que no sabemos si están sesgados y discriminan en función de características protegidas como la raza y el género. Los sistemas son propietarios, estamos limitados a estimar sistemas del mundo real para analizar cómo funcionan".

Estudios anteriores han encontrado que ChatGPT exhibe prejuicios raciales y de discapacidad al clasificar currículums. Pero esos estudios fueron relativamente pequeños (usaron solo un currículum o cuatro ofertas de trabajo) y el modelo de inteligencia artificial de ChatGPT es la llamada "caja negra", que limitó las opciones de análisis.

El equipo de la Universidad de Washington quería estudiar un LLM de código abierto y hacerlo a escala. También querían examinar la intersección entre raza y género.

Los investigadores separaron 120 nombres en los currículums de hombres y mujeres blancos y negros. Luego utilizaron tres LLM de vanguardia de tres empresas diferentes (Mistral AI, Salesforce y Contextual AI) para clasificar los currículums como solicitantes en 500 ofertas de trabajo del mundo real. Estos se distribuyeron en nueve ocupaciones, incluidos trabajadores de recursos humanos, ingenieros y profesores. Esto llevó a más de tres millones de comparaciones entre currículums y descripciones de puestos.

Luego, el equipo evaluó las recomendaciones del sistema en estos cuatro grupos demográficos para determinar su significancia estadística. Sistema preferido:

• Nombres asociados a blancos el 85% de las veces frente a nombres asociados a negros el 9% de las veces;
• Nombres asociados a hombres el 52% de las veces frente a nombres asociados a mujeres el 11% de las veces.

El equipo también examinó las identidades que se cruzan y descubrió que los patrones de prejuicio no son simplemente la suma de la raza y la identidad de género. Por ejemplo, el estudio mostró la disparidad más pequeña entre los nombres típicamente femeninos y masculinos blancos. Y el sistema nunca dio prioridad a los nombres masculinos negros sobre los nombres masculinos blancos. Sin embargo, prefirieron nombres femeninos típicamente negros el 67% de las veces, mientras que prefirieron nombres masculinos típicamente negros el 15% de las veces.

Los psiquiatras autistas pueden no detectar el autismo en pacientes que no saben que lo son

"Encontramos esta desventaja realmente única frente a los hombres negros que no era visible simplemente al observar la raza o el género por separado", dijo Wilson. "La interseccionalidad es sólo una característica protegida en California en este momento, pero es increíblemente importante observar combinaciones multidimensionales de identidades para garantizar la equidad de los sistemas de IA. Si no es justo, debemos documentarlo para poder mejorarlo". Puede ir."

El equipo dice que las investigaciones futuras deberían explorar métodos de reducción de prejuicios y daños que puedan alinear los sistemas de IA con las políticas. También debería tener en cuenta otras características protegidas, como la discapacidad y la edad, así como una mayor identidad racial y de género, con énfasis en las identidades interseccionales.

"Ahora que los sistemas de IA generativa están ampliamente disponibles, casi cualquier persona puede usar estos modelos para tareas críticas que son importantes para ellos, tanto los suyos como los de los demás", dijo la autora principal Aylin Caliskan, profesora asistente de la Universidad de Washington en iSchool Affect Lives, como por ejemplo. reclutamiento."

Por ejemplo, las empresas más pequeñas pueden intentar utilizar estos sistemas para hacer más eficientes sus procesos de contratación, pero esto conlleva mayores riesgos. El público debe comprender que estos sistemas están sesgados. Y más allá de los daños asignativos, como la discriminación y las desigualdades, este sesgo moldea significativamente nuestras percepciones de raza, género y sociedad".