Inteligencia Artificial y mujeres, una historia de discriminación

Auditoría de Algoritmos

Los algoritmos y sistemas de Inteligencia Artificial han sido discriminatorios hacia las mujeres y aún lo siguen siendo, como muestran algunos casos que recogemos en este post. La buena noticia es que podemos evitarlo si implementamos una auditoría externa de algoritmos.

Los siguientes ejemplos son problemas reales, muchos de los cuales persisten. Por la mala calidad de los algoritmos y a la falta de control externo en su desarrollo e implementación, promovemos la auditoría algorítmica como solución. Para ello, hemos publicado nuestra metodología tras años de aprendizajes auditando para compañías y administraciones públicas de todo el mundo en forma de la Guía de Auditoría Algorítmica.

El primer caso, desvelado por Reuters, conocimos el intento de Amazon de construir una herramienta de IA para ayudar con el reclutamiento. Tras su implementación, descubrieron que el sistema no calificaba a los candidatos para trabajos de desarrollador de software y otros puestos técnicos de una manera neutral en cuanto al género. La discriminación venía por los datos con los que aprendía el sistema, ya que para examinar a los candidatos la herramienta observaba los patrones en los currículos enviados a la empresa durante los 10 años previos, y en su mayoría provenían de hombres. Esto hace que el algoritmo replique una situación existente sin identificar que se trata de un sesgo que no debe perpetuarse.

Otro momento destacado de esta relación entre tecnología y mujer, fue el olvido de Apple de incluir un registro de la menstruación en su aplicación de salud. A pesar de que la mitad de la población mundial esperaría encontrar este tipo de función en una herramienta de gestión sanitaria integral. La razón, al parecer, fue la falta de profesionales femeninos en el desarrollo de este Healthkit, ya que, en aquel momento, menos del 20% del equipo de ingenieros de Apple eran mujeres.

La compañía de la manzana, en esta ocasión con su socio Goldman Sachs, cayeron en la discriminación de sus clientes mujeres con la Apple Card. El algoritmo de crédito que utilizaron era de mala calidad y parecía que discriminaba sistemáticamente a las mujeres, y las rechazaba como clientes o les concedía líneas de crédito menores, a pesar de tener mejor historial bancario que los hombres.

Además, suelen ser recurrentes los fallos en herramientas de reconocimiento facial. Por ejemplo, el estudio Gender Shades destapaba que las mujeres, especialmente las de piel más oscura, son el grupo peor reconocido tras evaluar tres sistemas de clasificación comercial con un conjunto de datos que incluye fotografías de personas de todos los tonos de piel.

Example Algorithm Audit

Y siguen existiendo sesgos en las traducciones automáticas, y en motores de búsqueda como Google, en los que se devuelve contenido sexual con la misma búsqueda si incluyes “mujer”, como mujeres de etnia pero no con hombre de etnia, o Mamá Noel en lugar de Papá Noel.

En este sentido, relacionado con reconocimiento de imágenes, un experimento de Bikolabs recogía cómo los principales algoritmos de este tipo daban resultados sexistas cuando deben identificar personas en la misma situación, incluyendo el reconocimiento de objetos “históricamente estereotipados”.

Es nuestra responsabilidad conocer los derechos que nos protegen frente al uso de herramientas defectuosas de este tipo. Contamos con la solución, y la legislación actual nos ampara, solo tenemos que ser responsables tanto en el diseño como en la implementación de estos sistemas de IA.

Recent Blog Posts

If you want to know if your algorithms work or not, let's talk!

  1. Select a date and time. 
  2. Enter your name and email.
  3. Invite your colleagues.
  1. Selecciona una fecha y hora.
  2. Ingresa tu nombre y correo electronico.
  3. Invita a tus colegas.