Método y técnica
Método y técnica

Actualmente podemos observar como millones de personas usan y se benefician de la inteligencia artificial. Usamos la inteligencia artificial, a veces sin saberlo, en búsquedas, mapas, tecnología sanitaria o asistentes como Siri o Alexa. A medida que la inteligencia artificial y los algoritmos predictivos impregnan cada vez más áreas de la toma de decisiones, desde la fijación de fianzas hasta la evaluación de solicitudes de empleo y la concesión de préstamos hipotecarios, ¿qué sucede cuando un algoritmo discrimina arbitrariamente por género, por raza o por otro tipo de sesgo?

Sucede a menudo.

Amazon es conocido por descartar un sistema de revisión de currículums (1) que penalizaba a las mujeres, posiblemente por contar con un legado de patrones de contratación sesgados por género. A su vez, un modelo de IA usado por los tribunales (2) para predecir la reincidencia etiquetó incorrectamente a los acusados de color como de 'alto riesgo' al doble de la tasa que los blancos.

¿Reducen los algoritmos el sesgo humano o simplemente lo potencian?

Algunos expertos apuestan por la IA como el principal antídoto a los sesgos humanos y sociales que siempre han existido. En el lado opuesto, hay quien defiende que los algoritmos pueden escalar y potenciar los sesgos humanos. 

Ambos paradigmas son válidos. 

En numerosos casos la IA puede reducir la subjetiva interpretación humana de los datos, dado que los algoritmos aprenden a considerar únicamente aquellas variables que mejoran su capacidad predictiva y su precisión, basándose en los datos sobre los que son entrenados. En general, existen evidencias que muestran como los algoritmos pueden mejorar el proceso de 'decision-making', haciendo que el proceso sea más justo y transparente. Un claro ejemplo es una demostración llevada a cabo por Jon Keinberg donde evidenció como los algoritmos podían reducir las disparidades raciales en un sistema de justicia criminal. Otra ventaja es que a diferencia de las decisiones humanas, las decisiones tomadas por la IA pueden ser abiertas, examinadas y hasta interrogadas (hecho no factible a veces en humanos).

Al mismo tiempo, determinadas experiencias como la de Amazon o el modelo de predicción de reincidencia demuestran como la IA puede escalar y potenciar los sesgos humanos y sociales, replicándolos a gran escala. Sistemas de IA con alta precisión y eficiencia, pero que guardan un sinfin de sesgos inadvertidos. 

La clave suele estar en los datos subyacentes.

En la mayoría de los casos, los datos subyacentes suelen ser la principal fuente del problema y no el algoritmo en sí. 

Lejos de la ilusión de objetividad, los datos pueden oscurecer al elemento humano.

¿Qué ocurre si nuestro conjunto de datos del modelo de IA presenta algún tipo de desviación y no refleja la población sobre las que se aplicarán los resultados?

Ha habido varias controversias relativas a software de reconocimiento facial (3) que no mostraban los resultados adecuados en caras de mujeres o gente de color o con rasgos determinados.

Si este ejemplo nos parece lejano, pensemos en el sector financiero, ¿que ocurriría si nuestros datos contienen también registros de personas que históricamente no han recibido crédito por pertenencia a barrios específicos minoritarios? Sin perder de vista que un sistema simple de Machine Learning capta tendencias en datos pasados para reproducirlos en nuevos sistemas de información, si no se corrige este sesgo, el modelo puede seguir denegando créditos por factores recolectados del pasado en nuestros datos y que no responden a criterios objetivos. Los conjuntos de datos son como libros de texto para que su estudiante aprenda. Cualquier libro de texto, como los datos, tienen autores.

Los algoritmos de Machine Learning son simplemente herramientas para continuar los patrones que se les muestra. Muéstreles malos patrones y eso es en lo que harán eco.

Otro modo de introducir sesgo a través de los datos es durante el proceso de recopilación o selección para su uso. Se ha demostrado por ejemplo, que el sobremuestreo de ciertos barrios porque están sobrepoblados puede resultar en más delitos registrados, lo que resulta en una mayor vigilancia. La elección de variables también puede introducir sesgos. Es el caso de un algoritmo de atención médica que cuantifica qué tan enfermos están los pacientes midiendo el costo de la atención. Los pacientes afroamericanos en el conjunto de datos tendían a tener costos de tratamiento más bajos para el mismo nivel de enfermedad, por lo que el proceso de elección de variables llevó al algoritmo a inscribir a pacientes afroamericanos en programas suplementarios a una tasa mucho menor que los pacientes blancos con el mismo nivel de enfermedad. 

La competencia algorítmica (inevitable) es otro modo de introducción de sesgo. 

Se ha demostrado que con el tiempo, los algoritmos de predicción se especializan para una porción cada vez más estrecha de población y la calidad media de sus predicciones disminuye (4). 

No es intencionado que las empresas elijan especializarse para un grupo de edad o demográfico específico, así como a los consumidores no les puede importar si Netflix ofrece mejores recomendaciones para hombres rurales de mediana edad, pero cuando se trata de predecir quién debería recibir un préstamo bancario o qué currículum debería llegar a un  gerente de contratación, estos algoritmos tienen repercusiones en el mundo real.

Cuando una empresa gana clientes o usuarios, obtiene un nuevo conjunto de datos de esos clientes, y luego, al actualizar sus modelos en este nuevo conjunto de datos, en realidad cambian el modelo y lo orientan hacia los nuevos clientes que han terminado ganando con el objetivo de mantenerlos. Esta retroalimentación conduce hacia una especialización inevitable. La competencia, a veces titánica, por mantener usuarios y clientes y realizar mejores predicciones, conlleva a una especialización algorítmica para subconjuntos de población, resultando en que la calidad promedio de las predicciones disminuye.

Imaginemos un modelo de predicción de préstamos hipotecarios. Ahora supongamos que los datos que recolectamos de nuevos usuarios o clientes nos vienen de canales digitales. Este algoritmo se volverá experto en predecir qué miembros de esa población deberían recibir préstamos. En realidad, no solo la empresa está perdiendo la oportunidad de identificar con precisión a los miembros de otros grupos (banca física o tradicional) que tendrían buen riesgo crediticio, sino que además está introduciendo una desigualdad estructural agravada. Lo mismo ocurre en un sistema de contratación de candidatos.

¿Cómo hacer que la IA juegue a nuestro favor?

Contamos con diferentes enfoques y técnicas que ayudan a imponer restricciones de equidad a los modelos de IA.

Uno de los enfoques más extendidos se basa en la idea de que una decisión debe seguir siendo la misma en un mundo contrafactual en el que se cambia el atributo sensible (género, edad, raza...).

Este hecho se logra determinando la relación entre los resultados y los atributos sensibles. Si la concesión de un crédito hipotecario depende del género de la persona, el modelo contiene sesgos. Siempre y cuando no se pierda gran precisión se recomienda eliminar de raíz cualquier atributo sensible que tenga relación con los resultados y afecte a la ética del modelo.

En el análisis facial, por ejemplo, técnicas de aprendizaje por transferencia o clasificadores desacoplados para diferentes grupos han demostrado ser útiles en reducir discrepancias. 

Hay enfoques que apuestan por la explicabilidad (5) en los sistemas de IA. Las redes neuronales por ejemplo tienen dificultad al explicar como se realiza una predicción o como se llegó a tomar esa decisión en particular.

Las técnicas de explicabilidad podrían ayudar a identificar si los factores considerados en una decisión reflejan sesgos permitiendo una mayor responsabilidad y control que en la toma de decisiones por el humano.

Otra solución pasa por la compra de conjuntos de datos (en lugar de recopilar datos solos de los clientes) para reducir la competencia algoritmia y el sesgo inevitable que conduce. 

Se trata en la mayoría de los casos de trabajos nuevos y vanguardistas que cada vez más impulsan a los investigadores a estudiar el impacto social de la IA.

Tips para construir una IA más justa y sostenible

• Asegúrate de que los datos sobre los que el modelo de IA entrena reflejan la población sobra las que se realizarán las predicciones.

• Comprueba que los datos no reflejan sesgos humanos significativos (edad, género, raza...)

• Asegura una recolección equitativa de los datos y compra conjuntos de datos externos si es necesario

• Diseña todas aquellas hipótesis donde el modelo podría presentar sesgos ocultos y evalúalo.

• Analiza, evalúa y descarta todas aquellas variables relacionadas con el resultado que puedan introducir sesgo en el modelo de IA

• Si es posible, evita algoritmos 'caja negra', como por ejemplo Redes Neuronales que aportan alta precisión a cambio de menor explicabilidad. 

• Evalúa los modelos desde un punto de vista objetivo, es decir, evita las correlaciones estadísticas que impliquen variables sociales, por ejemplo, un modelo de préstamos que encuentra que las personas mayores tienen una mayor probabilidad de incumplimiento. 

•Aplica técnicas de IA como transfer learning o explicabilidad que ayuden a mitigar el riesgo de modelos sesgados 

• Asegúrate que las decisiones que toma el algoritmo no son discriminatorias y son las mismas en caso de que no disponga de atributos sensibles (edad, género, raza, residencia...)

• La competencia algorítmica conlleva a una especialización inevitable. Mide el coste social de la especialización.

Profesionaliza el desarrollo ético de productos IA en tu organización

1. Identifica los contextos en los que la IA puede ayudar a corregir el sesgo, así como cuando hay un riesgo elevado de que la IA escale y potencia el sesgo.

2. Establece procesos y prácticas para testear y mitigar el sesgo en los sistemas de IA.

3. Identifica sesgos en las decisiones humanas sobre las que entrena el modelo de IA.

4. Invierte en labores de investigación de sesgos, participa en la cesión de datos (respetando la privacidad) para la comunidad científica y crea equipos multidisciplinares que contengan perfiles éticos y científicos sociales.


______________________________________________

(1) An overview of ethical issues in using AI systems in hiring with a case study of Amazon´s AI based hiring tool

(2) Julia Angwin et al., “Machine Bias”, ProPublica, Mayo 2016

(3) Joy Buolamwini et al., “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification”, 2018

(4) Competing AI: How does competition feedback affect machine learning?

(5)  Marco Tulio Ribeiro et al., “Introduction to local interpretable model-agnostic (LIME) explanations: An introduction”O’Reilly, 2016; Been Kim et al., “Interpretability beyond feature attribution: Quantitative testing with  concept activation vectors”, ArXiv, 2018

Autor: Jesús Manuel Ruiz

Artificial Intelligence, Machine Learning en Minsait
Profesor en Nebrija University

¡Si te ha gustado este artículo, no dudes en compartirlo para inspirar a futuros agentes de cambio! Sino, encantada de tener tu feedback. 🙌

(Comentario, feedback o pregunta anónimos enviados al autor en privado. Si esperas una respuesta, por favor facilita cualquier información de contacto)
¡Gracias! ¡Tu comentario ha sido recibido! Te leeremos muy pronto.
¡Uy! Algo salió mal al enviar el formulario. ¿puedes intentarlo de nuevo?
Scroll to top