El sesgo algorítmico se puede encontrar en todos lados, tanto en los resultados de los motores de búsqueda como en las redes sociales. Pueden tener un gran impacto en temas como la privacidad o agravar sesgos sociales como los existentes respecto a razas, género, sexualidad o etnias. Recientemente, este tipo de sesgos han sido tomados en cuenta en marcos legales. Este jueves un comité de la ONU publicó una guía para combatir los prejuicios raciales entre las policías de todo el mundo, que enfatiza en el grave riesgo de sesgo algorítmico cuando se utiliza la inteligencia artificial en la aplicación de la ley.
El Comité para la Eliminación de la Discriminación Racial, integrado por 18 expertos individuales, dirige su recomendación general sobre la prevención y la lucha contra la discriminación racial a los 182 Estados miembros de la Convención sobre la Eliminación de todas las Formas de Discriminación Racial.
Los expertos en derechos humanos señalan que con el mayor uso por parte de las fuerzas del orden de los macrodatos, la inteligencia artificial, el reconocimiento facial, entre otras nuevas tecnologías, se corre el riesgo de ahondar el racismo, la discriminación racial, la xenofobia y, en consecuencia, la violación de los derechos humanos.
El uso cada vez mayor de tecnologías para rastrear y controlar datos demográficos específicos genera preocupaciones con respecto a los derechos humanos. Incluidos los derechos a la intimidad, la libertad de reunión pacífica y asociación, la libertad de expresión y la libertad de movimiento.
Transparencia en el uso de los sistemas
Entre sus recomendaciones, el Comité destacó que los sistemas de elaboración de perfiles algorítmicos deberían ser totalmente transparentes en el diseño y la aplicación de sistemas de elaboración de perfiles algorítmicos cuando se implementan con fines policiales. Esto incluye la divulgación pública de su uso y explicaciones de cómo funcionan los sistemas. Además de qué conjuntos de datos se están utilizando y qué medidas se han implementado para evitar la vulneración de derechos humanos.
Otra de las recomendaciones es que los Estados evalúen cuidadosamente el impacto en los derechos humanos antes de emplear la tecnología de reconocimiento facial. El comité cree que las empresas privadas que desarrollan, venden u operan sistemas de elaboración de perfiles algorítmicos con fines de aplicación de la ley tienen la responsabilidad de involucrar a personas de diversos sectores, incluidos expertos legales, para evaluar el riesgo que tales sistemas pueden conllevar.
Advierten que la elaboración de perfiles raciales es ilegal y puede ser ineficaz y contraproducente como herramienta de aplicación de la ley. Las personas sometidas a la aplicación de una ley discriminatoria tienden a tener menos confianza en la policía. Como resultado, están menos dispuestas a cooperar.
¿Pueden discriminar los algoritmos?
Los algoritmos generan grandes cantidades de datos, idealmente estadísticos, para cerrar las brechas de información. Se utiliza la información preestablecida para extraer conclusiones sobre las características y comportamiento futuro de las personas, cuyos datos personales de identidad no necesariamente ha analizado el algoritmo. Por medio de categorías de representación, varias características se atribuyen a los individuos, por ejemplo, la probabilidad de integrarse en el mercado laboral.
Un ejemplo más concreto sería Austria, país en el que desde 2019, un algoritmo clasifica a las personas desempleadas según sus posibilidades en el mercado laboral. El software divide a las personas que buscan empleo en tres grupos: las que tienen buenas, medianas o malas expectativas de encontrar un trabajo. Sobre esta base, el Servicio Público de Empleo de Austria enfoca sus recursos principalmente en las personas que se encuentran en el grupo medio, donde se utilizara de forma más efectiva.
La oportunidad de tener un empleo la determina un algoritmo
El organismo hizo público algunos criterios que el algoritmo utiliza para calcular las posibilidades de que un trabajador tenga suerte y el otro quede por fuera. El sexo, la edad, la nacionalidad, el sector en el que se trabajó por última vez o si ha estado en el paro en los últimos cuatro años, son algunos de ellos.
Según lo que evalúa el algoritmo, las posibilidades de integración en el mercado laboral de las mujeres son totalmente negativas. Además, tener hijos dependientes provoca a una mala clasificación, pero solo para las mujeres. En el caso de los hombres, los programadores de software argumentan que la obligación de cuidado no tiene un impacto negativo estadístico en sus expectativas en el mercado laboral.
Es probable que en algunos casos el uso del algoritmo mejore la atención al demandante de empleo. Pero por otro lado, un algoritmo es una cadena de decisiones lógicas programadas por un ser humano y absolutamente todos los algoritmos tienen algún sesgo.
Para comenzar a regular los algoritmos hay que reconocer que no son neutrales. Incluso el proceso de nombrar ciertas características y encontrar correlaciones con otras supone un prejuicio que luego conduce a una decisión. Pero la realidad es que no son los algoritmos los que discriminan, sino los que lo desarrollan o utilizan sin cuestionarlos.
Lea también:
Conforme a los criterios de 
Saber más
