Con motivo de la publicación de nuestra Guía de Auditoría Algorítmica, resumimos los cinco pasos sobre cómo auditar un algoritmo, con esta metodología general y replicable.
1. Model card, el primer paso de la auditoría algorítmica
El primero de los cinco pasos de una auditoria de algoritmos, según Eticas Consulting, es la Model card. La Model card tiene como objetivo obtener la información suficiente sobre el algoritmo para empezar la auditoría.
El equipo auditor pide este listado de información al cliente quien, a su vez, puede derivar al proveedor del algoritmo. Si no se aporta algunos de los puntos que incluye disminuye la calidad de la auditoría de algoritmos y se pone en riesgo su éxito. El equipo, desde su conocimiento y experiencia en tecnología ética, valorará el impacto de la falta de alguno de estos requisitos en la calidad de la auditoría y determinará si puede continuar.
A modo de listado no exhaustivo de Model card, se requiere la siguiente información para iniciar la auditoría algorítmica:
· Objetivos del algoritmo. Nos permite saber qué pretende conseguir el algoritmo en términos cuantitativos y cualitativos.
· Usos previstos del algoritmo (principales y secundarios).
· Licencia del algoritmo.
· Arquitectura, incluyendo datos sobre la forma de aprendizaje, entrenamiento y funcionamiento.
· Marco teórico sobre el que se sustenta el algoritmo.
· Marco metodológico utilizado para definir el modelo.
· Información sobre las bases de datos usadas en el desarrollo del algoritmo, las fuentes usadas y qué motivaciones hay para usarlas.
· Categoría de personas afectadas por la implementación del algoritmo.
· Información sobre el entrenamiento y la evaluación del modelo, incluyendo frecuencia y distribución de los datos, información sobre reprocesamiento y postprocesamiento de datos.
· Descripción general de las medidas técnicas y organizativas de seguridad implementadas en el algoritmo.
· Información sobre las responsabilidades de las partes implicadas con respecto al funcionamiento del modelo.
Además de la Model card, también se desarrollarán conversaciones cara a cara con los desarrolladores del algoritmo, muy necesarias para profundizar y ampliar explicaciones.
2. Risk Assessment
Como segundo paso, se hace el Risk Assesment o la evaluación de los potenciales riesgos que pueden derivar de la implementación del algoritmo. Para ello, se hace un repaso de los sistemas de Inteligencia Artificial utilizados en el ámbito del problema que nos ocupa, se analizan las tendencias de los últimos años, y cuál es el estado del arte en este tema concreto.
Además, se investiga qué casos conocidos de soluciones algorítmicas hay en este ámbito, qué características principales tienen y qué implicaciones en términos de impacto social y discriminación algorítmica tienen. Y, por supuesto, qué análisis se han realizado sobre sesgos, qué sesgos se han encontrado y cuál era su posible causa.
Así, gracias a estos análisis ya realizados previamente sobre la problemática, soluciones implementadas y los sesgos encontrados, se extraen una serie de recomendaciones.
3. Identificación de los grupos protegidos
Definimos como grupo protegido a un grupo poblacional cuyos integrantes son personas en situación de vulnerabilidad que comparten una o varias características. Aunque cada auditoría algorítmica requiere definir atributos diferentes según el contexto de aplicación, estos son algunos de los atributos de pueden definir grupos protegidos:
· Edad. Grupos protegidos: niños y ancianos.
· Personas con diversidad funcional o enfermedad física o mental.
· Género o reasignación de género. Grupos protegidos: mujeres, transexuales.
· Orientación sexual. Grupos protegidos: gais, lesbianas, bisexuales, intersexuales…
· Raza, color, etnia. Múltiples grupos sociales (por ejemplo, afroamericanos/as, etc.)
· Personas en estado de gestación.
· Religión o creencia. Grupos protegidos: musulmanes, judíos…
· Propiedad o recursos materiales. Grupo protegido: personas con bajos ingresos/ escasos recursos.
Para definir los grupos en situación de vulnerabilidad de manera dinámica durante el proceso de auditoría hay que tener en cuenta la base legal. En el caso de la clasificación anterior, se ha elaborado, fundamentalmente, según los artículos 6, 9 y 10 del Reglamento General de Protección de Datos (RGPD). Así como los atributos mencionados en el Artículo 21 (No discriminación), de la Carta Europea de los Derechos Fundamentales: “sexo (y género), raza, color, origen étnico o social, características genéticas, idioma, religión o creencia, opinión política o de cualquier otro tipo, pertenencia a una minoría nacional, propiedad, nacimiento, discapacidad, edad u orientación sexual”.
Para realizar una identificación de los grupos protegidos adaptada a la auditoria también es necesario elaborar un análisis del contexto jurídico, social y económico del lugar de implantación del algoritmo. El objetivo es conocer las realidades sociales sobre las que se encuadra la solución técnica que servirán de base para justificar los grupos protegidos concretos sobre los que se realizarán las mediciones de impactos.
4. Métricas cuantitativas
Las métricas cuantitativas del algoritmo se realizan con el objetivo de determinar si se comporta de forma adecuada en relación con los diferentes grupos identificados en función de criterios específicos de “justicia algorítmica”.
Aunque existen distintas definiciones de justicia algorítmica o equidad algorítmica, de entre las más comúnmente aceptadas sobresale una definición ligada a la equidad grupal, que comprende que un algoritmo no debe producir resultados desventajosos para grupos específicos o vulnerables.
A la hora de elegir las métricas para evaluar el sesgo algorítmico, existen distintas posibilidades, y la más adecuada a cada caso dependerá de cuestiones relacionadas con la forma de funcionamiento del algoritmo, sus objetivos y el tipo de información que maneja, entre otras. Las métricas para evaluar el sesgo de un algoritmo que se mencionan a continuación, parten de la base de que el algoritmo puede tener un resultado positivo o favorable y otro negativo o desfavorable, o bien que es posible ordenar estos resultados en una escala que va de los más positivos a los más negativos, o viceversa, como sería el caso de un algoritmo de clasificación de los solicitantes a un trabajo.
Para valorar si un sistema trata de manera equitativa a los diferentes grupos afectados, se aconseja, como proceso general, estudiar si el análisis del sistema reporta tasas de impacto o tratamiento diferencial. Así como si existen diferencias significativas entre las tasas de falsos positivos (FNR, por sus siglas en inglés), y las tasas de falsos negativos (FPR, por sus siglas en inglés), entre diferentes grupos. Por ejemplo:
· Ratio de impacto, este ratio se calcula como el porcentaje del grupo protegido con predicción/resultado positivo dividido entre el porcentaje del grupo no protegido con predicción/resultado positivo. Cuanto más se acerquen los valores al 100%, se consideran más equitativos. Y con un ratio de impacto inferior al 80% se consideraría problemático y habría que revisar más detenidamente si dicha disparidad se debe a un caso de discriminación algorítmica.
· Tasas de falsos positivos y falsos negativos. Un falso positivo es una predicción positiva en la realidad que resulta ser negativa en los resultados algorítmicos. En sentido opuesto, un falso negativo es una predicción clasificada como negativa que en el caso real resulta ser positiva. Se considera que un grupo tiene riesgo subestimado por el algoritmo si la tasa de falsos negativos es mayor que la de falsos positivos (siendo esta última mayor que 0). Por otra parte, se suele considerar que existe disparidad entre grupos si las tasas de falsos negativos asignados a grupos comparados tienen una diferencia substancial.
En cualquier caso, estos parámetros de interpretación se tendrán que acordar con el cliente durante la fase de elaboración del Plan de Análisis. Y la interpretación de los resultados de estas medidas, dependerá siempre del caso concreto. Por ejemplo: no es lo mismo que un grupo en situación de vulnerabilidad tenga un 30% más de FNR, que si lo tiene un grupo privilegiado.
5. Interacción humano-máquina
El último de los cinco pasos de una auditoria algorítmica, según Eticas Consulting, es evaluar la interacción humano-máquina. Se trata de examinar cuál será el papel que el sistema algorítmico jugará en los procesos en los que se integra. Además de analizar el perfil, la formación o la satisfacción del equipo humano que interactúa con él. Esto implica resolver algunas cuestiones relevantes, que incluyen:
· ¿Cuáles son los procesos en los que se integra el algoritmo?
· ¿Tiene el algoritmo un rol adecuado en estos procesos?
· ¿Se han modificado las rutinas y dinámicas de la organización/organizaciones que utilizan el algoritmo, o se mantienen con respecto a la situación anterior a la integración del algoritmo?
· ¿Cuáles son estas rutinas y dinámicas actualmente?
· ¿Cuáles son los equipos y los perfiles profesionales que interactúan con el algoritmo?
· ¿Están adecuadamente formados y entrenados para utilizar el algoritmo de manera proporcionada?
El análisis de la interacción humano-máquina se centra, fundamentalmente, en examinar que los principios de cumplimiento ético y legal, aceptabilidad, deseabilidad y protección de los datos personales, se cumplen en el contexto concreto del sistema. Para ello, se estudian los objetivos y los usos del algoritmo, la protección o desprotección de los individuos y los grupos afectados por el mismo, así como el cumplimiento de las normas políticas, sociales, jurídicas y éticas aplicables, así como su integración en dinámicas más amplias. Esta información podrá recogerse y analizarse, entre otros, mediante:
· La revisión de literatura académica al respecto, u otros documentos de interés.
· El intercambio de información con las distintas partes implicadas en el diseño, desarrollo e implementación del algoritmo, y de las partes afectadas directa e indirectamente por el mismo.
· La realización e interpretación de los resultados de encuestas, entrevistas en profundidad y/o grupos de discusión.
· La observación de participante o de no participantes.
· Estudios etnográficos.
· Paneles de expertos.
Si quieres recibir más información sobre cómo auditar un algoritmo, escríbenos a info@eticasconsulting.com