Eticas Consulting realiza, desde 2017, auditorías algorítmicas para empresas y administraciones públicas de todo el mundo. Y lo hace para garantizar que los principios éticos y jurídicos se reflejan en los sistemas de Inteligencia Artificial (IA). Sistemas que toman decisiones sobre todos nosotros.
Gracias a ellas se hace la IA más transparente, explicable y eficaz, y se aplican las garantías que ya exigen leyes como la GDPR. Del mismo modo, se fomenta la responsabilidad social de las empresas en el desarrollo y uso de algoritmos.
Para generalizar esta buena auditoría de algoritmos, Eticas Consulting publica su metodología en forma de Guía de Auditoría Algorítmica. Se trata de un “manual de instrucciones” para el uso responsable de datos y algoritmos que se puede descargar aquí. Y, a modo de resumen, también publica un Decálogo para una buena auditoría de algoritmos:
-
Estudiar la documentación del sistema
Estudiar las principales características técnicas y administrativas del diseño algorítmico mediante entrevistas con el equipo desarrollador. Conocer la base teórica del algoritmo y sus hipótesis generales de base.
-
Entender el contexto social de su implantación
Analizar el contexto económico, medioambiental y sociocultural específico donde se implanta, teniendo en cuenta a las personas que afecta, directa o indirectamente.
-
Establecer las hipótesis de sesgo algorítmico
Identificar grupos poblacionales protegidos (por ejemplo, mujeres en situación de vulnerabilidad) que puedan ser impactados negativamente por el sistema. Y decidir qué criterio y métricas de justicia algorítmica es el adecuado para analizar y explicar sus motivos.
-
Examinar la disponibilidad y calidad de los datos
Examinar las fuentes de datos utilizadas. Analizar su calidad, la disponibilidad de datos necesarios para el análisis -o para partes del mismo-, su estructura, los posibles sesgos y si se trata de datos actualizados. Establecer, sobre esta base, las estrategias de análisis (directo, supervisado, etc.).
-
Comprobar sesgo y discriminación algorítmicos
Aplicar las mediciones previamente determinadas para evaluar el impacto diferencial del algoritmo por grupos, con foco en los grupos protegidos identificados. Definir si el algoritmo brinda un trato desventajoso contra los grupos definidos como (social y contextualmente) desaventajados. Y ver si lo hace de forma sistemática.
-
Evaluar la deseabilidad y aceptabilidad
Comprobar que la solución auditada mejora la práctica actual de una manera replicable, eficiente, precisa y equitativa. Evaluar el sistema en función de los aspectos críticos del estado del arte, situando los resultados cuantitativos en el marco social de aplicación. Contrastar las percepciones y opiniones de los usuarios finales, así como la población afectada.
-
Verificar la privacidad
Verificar las implicaciones del modelo algorítmico con respecto a los derechos fundamentales como la privacidad, la protección de datos, la integridad y la libertad de las personas implicadas.
-
Revisar la explicabilidad
Revisar que los usuarios y afectados por el algoritmo tienen información clara, completa y sencilla sobre los objetivos del algoritmo, así como sus funciones, el tipo de datos que trata, cómo los utiliza, cómo se utilizan los resultados del algoritmo, o con quién se comparten estos datos.
-
Elaborar recomendaciones actuables según riesgo
Informe de resultados de la buena auditoría de algoritmos con recomendaciones viables y concretas que permitan mejorar el algoritmo mediante remodelamiento o rediseño de sus bases conceptuales, así como de implementación y administración que aseguren la mitigación de los riesgos identificados.
-
Re-auditar
Volver a auditar el sistema de forma periódica para evaluar su evolución y sus formas de aprendizaje a lo largo del tiempo. De este modo, asegurar que el sistema auditado no ha integrado esquemas discriminatorios a su modelo algorítmico.
Descargar el Decálogo para una buena auditoría de algoritmos (PDF).