Sesgo algorítmico - Mariana Camacho Losada
El sesgo algorítmico es la tendencia de un sistema de inteligencia artificial a producir resultados sistemáticamente injustos, limitados o discriminatorios por los datos con los que fue entrenado, las decisiones tomadas por sus desarrolladores o las estructuras sociales que reproduce. En otras palabras, la IA no es completamente neutral, pues aprende de información creada por seres humanos y, por lo tanto, también hereda sus prejuicios, desigualdades y formas de ver el mundo.
Esta idea es muy importante en el contexto de la educación superior porque muchas veces se muestra a la inteligencia artificial como una herramienta objetiva, eficiente y “científica”, cuando en realidad sus respuestas están condicionadas por los datos disponibles y por los intereses o visiones dominantes presentes en ellos. Tal y cómo lo dice la lectura sobre la investigación de las percepciones de los jóvenes estudiantes latinoamericanos sobre la IA, existen “desventajas, como el sesgo de los algoritmos derivados de las tendencias sociales de sus diseñadores” (Ferrante, 2023). Esto significa que los algoritmos no solo reflejan la realidad, sino que también pueden amplificar desigualdades ya existentes.
La lectura relaciona este problema directamente con la educación y con la necesidad de construir un modelo de IA inclusivo y equitativo den de las universidades latinoamericanas. Es más, uno de los ejes centrales del estudio es precisamente la “reducción de brechas y desigualdades” por medio del uso responsable de la IA. Sin embargo, lo que se sigue viendo son ejemplos tales como una IA entrenada principalmente con información producida en inglés y desde perspectivas europeas o estadounidenses que tienden a responder mejor a usuarios cercanos a esos contextos culturales. En cambio, estudiantes latinoamericanos, comunidades indígenas o personas con formas distintas de escribir y argumentar pueden recibir respuestas menos precisas o menos representativas de su realidad. Así, la IA puede terminar beneficiando más a quienes ya tienen ventajas tecnológicas, educativas o de lenguaje.
Según los resultados del estudio, solo una parte de los estudiantes cree firmemente que la IA puede disminuir la desigualdad educativa, mientras otros perciben riesgos asociados al acceso desigual a internet, dispositivos y competencias digitales. Siendo así, el sesgo algorítmico puede aumentar esa brecha, porque quienes tienen menos acceso tecnológico también suelen estar menos representados en los datos con los que aprenden los sistemas de IA.
Además, el problema no es solamente técnico, sino también ético. La lectura enfatiza en la importancia del uso ético y responsable de la inteligencia artificial en la educación superior. Esto implica desarrollar pensamiento crítico y competencia mediática para cuestionar las respuestas generadas por la IA y no asumirlas automáticamente como verdades objetivas.
Hay varios ejemplos muy claro sobre el sesgo algorítmico. Uno de los más conocidos es el caso de los sistemas de reconocimiento facial, que identificaban con mucha mayor precisión a hombres blancos que a mujeres negras, por qué los datos de entrenamiento estaban creados principalmente por caras blancos masculinos. Otro ejemplo preocupante es con la generación de imágenes y haciendo la prueba por mi cuenta lo pude confirmar. Cuando se pide una imagen de CEO o un científico, la IA suele generar hombres blancos, mientras que profesiones de cuidado, suelen representarse con mujeres. Esto demuestra cómo los algoritmos reproducen estereotipos sociales ya existentes.
Una matemática y científica de datos estadounidense, llamada Cathy O’Neil, asegura que “los algoritmos matemáticos pueden formularse y modificarse en función de intereses poderosos” (Abbany, 2016), lo que Lo mismo pasa con la frase “si piensas que el código es éticamente neutral, te estás mintiendo a ti mismo” porque resume perfectamente el problema: detrás de cada algoritmo existen decisiones humanas, valores y perspectivas.
En conclusión, el sesgo algorítmico es uno de los desafíos más importantes de la inteligencia artificial en la educación superior. Comprenderlo es esencial y permite cuestionarnos la idea de que la tecnología siempre es objetiva y reconocer que la IA puede tanto ayudar como perjudicar los procesos educativos. Por eso, la integración de la IA tiene que hacerse de manera crítica, ética e inclusiva, para evitar que termine ampliando las mismas desigualdades que promete resolver.
Película recomendada: Sesgo codificado (Coded Bias, 2020)en Netflix
Referencias: - https://www.theguardian.com/books/2016/oct/27/cathy-oneil-weapons-of-math-destruction-algorithms-big-data - https://www.dw.com/en/opinion-if-you-think-software-code-is-ethically-neutral-youre-lying-to-yourself/a-19368941