Hay un problema con los sesgos algorítmicos en la IA que no suele aparecer en los titulares de tecnología, pero que está ahí, silencioso y persistente: las máquinas aprenden de nosotros. De todo lo que hemos escrito, decidido, clasificado y juzgado durante décadas. Y eso incluye, inevitablemente, todo lo que hemos hecho mal. Los prejuicios raciales, de género, de clase, de origen. La discriminación histórica que quedó codificada en datos que ahora se usan para entrenar sistemas que deciden si te dan un crédito, si te llaman para una entrevista de trabajo o si el sistema de reconocimiento facial de seguridad te identifica correctamente.
El espejo que no miente (pero que tampoco ayuda)
Existe una idea muy extendida de que los algoritmos son objetivos. Son matemáticas, son código, no tienen emociones ni intenciones. Y técnicamente, eso es cierto. Pero lo que esa idea pasa por alto es que los datos no son neutros. Los datos son el reflejo de decisiones humanas tomadas en contextos humanos, con todos sus sesgos, inercias y desigualdades.
Cuando una empresa entrena un algoritmo de selección de personal con los perfiles de sus empleados de los últimos veinte años, y esos empleados son mayoritariamente hombres blancos de entre treinta y cuarenta años, el sistema aprende que ese perfil es el “buen candidato”. No porque lo haya decidido con mala intención, sino porque eso es lo que los datos le dicen.
Amazon descubrió esto de primera mano. En 2018 se hizo público que había desarrollado internamente una herramienta de IA para filtrar currículos que penalizaba automáticamente a las mujeres. El sistema había aprendido con los CV de empleados contratados en la última década, y como la mayoría eran hombres, empezó a descontar puntos a candidatas que incluían palabras como “mujeres” en su historial. Finalmente, el proyecto fue cancelado. Pero el ejemplo persiste como uno de los más claros de cómo la discriminación puede automatizarse sin querer.
Los sesgos algorítmicos en la IA no son un error: son un síntoma
Aquí está el matiz más incómodo: el problema no es que los ingenieros sean descuidados. El problema es estructural. Cuando diseñas un sistema de inteligencia artificial, necesitas datos. Muchos. Y esos datos provienen del mundo real, que es un mundo desigual.
Un estudio publicado por investigadoras del MIT en 2018 demostró que los sistemas de reconocimiento facial de varias empresas tecnológicas cometían errores con una tasa significativamente mayor en mujeres de piel oscura que en hombres de piel clara. En algunos casos, el margen de error llegaba al 34% frente a menos del 1%. El motivo era sencillo: los conjuntos de datos usados para entrenar esos modelos estaban formados, en su inmensa mayoría, por rostros de hombres blancos.
No hubo intención maliciosa. Hubo, simplemente, una falta de representación que se convirtió en discriminación técnica. Y esa discriminación técnica tiene consecuencias muy reales: en Estados Unidos, varios sistemas de reconocimiento facial usados por cuerpos policiales han llevado a identificaciones erróneas de personas negras, con detenciones equivocadas documentadas.
El sesgo algorítmico no es un bug que se pueda parchear. Es una consecuencia de entrenar máquinas con datos humanos en un mundo que todavía no ha resuelto sus propias injusticias. Algo que, por cierto, conecta directamente con el debate sobre qué tipo de inteligencia artificial estamos construyendo y para qué.
Dónde aparecen los sesgos: más cerca de lo que crees
Es tentador pensar que los sesgos algorítmicos son un problema de laboratorio, de grandes corporaciones o de ciencia ficción distópica. Pero están presentes en herramientas que usamos o que nos afectan cada día.
- Selección de empleo: filtros automáticos de CV que descartan ciertos nombres, géneros o códigos postales antes de que ningún humano lea nada.
- Crédito y finanzas: algoritmos de scoring que penalizan a comunidades históricamente excluidas del sistema financiero, perpetuando esa exclusión.
- Justicia penal: herramientas como COMPAS, usadas en Estados Unidos para predecir la reincidencia de delincuentes, han sido señaladas por asignar puntuaciones de riesgo más altas a personas negras de forma desproporcionada.
- Sanidad: sistemas de triaje o diagnóstico entrenados con datos de poblaciones mayoritariamente blancas que funcionan peor para otras etnias. Un tema que también abordamos cuando analizamos cómo la IA nos diagnosticará antes que el médico.
- Publicidad digital: algoritmos que muestran ofertas de trabajo mejor remuneradas a hombres o que segmentan audiencias de forma que refuerza estereotipos.
- Traducción automática: sistemas que asignan géneros por defecto (habitualmente masculino) a profesiones como “médico” o “ingeniero”.
La lista no es anecdótica. Es sistemática.
¿Se puede corregir un algoritmo sesgado?
La respuesta corta es: parcialmente. La respuesta larga es más complicada.
Existen técnicas de lo que se llama IA responsable o IA ética: auditorías de modelos, conjuntos de datos más diversos, métricas de equidad, revisión humana de decisiones críticas. Regulaciones como el Reglamento Europeo de Inteligencia Artificial van en esa dirección, obligando a mayores controles en sistemas de “alto riesgo” como los que afectan al empleo, la justicia o los servicios públicos.
Pero hay un límite técnico que ninguna buena intención supera fácilmente: si el sesgo está en el pasado, en los datos históricos que reflejan décadas de discriminación estructural, eliminarlo del modelo sin más puede hacer que el modelo pierda precisión. Y si lo corriges artificialmente, puedes introducir nuevos problemas.
Hay además un debate filosófico de fondo. ¿Qué significa que un algoritmo sea “justo”? ¿Que trate igual a todo el mundo? ¿Que compense desigualdades previas? ¿Que minimice errores para todos los grupos por igual? Estas definiciones matemáticas de equidad son, en muchos casos, incompatibles entre sí. No puedes optimizar para todas a la vez. Alguien tiene que elegir cuál importa más. Y esa elección es política, no técnica.
Es un problema que va mucho más allá del código. Como ocurre con el debate sobre la creatividad artificial, lo que está en juego no es solo qué puede hacer la máquina, sino quién decide cómo lo hace y con qué valores.
El problema de la caja negra
Hay otro factor que complica todo esto: la opacidad. Muchos de los modelos más potentes de IA son lo que se conoce como cajas negras. Pueden darte un resultado, pero no explicarte con claridad por qué han llegado a él. Esto dificulta enormemente detectar sesgos, cuestionarlos o impugnarlos.
Si un banco te deniega una hipoteca porque un empleado tomó esa decisión, puedes preguntarle. Puedes recurrirla. Hay un proceso. Si te la deniega un algoritmo cuya lógica interna nadie puede explicar del todo, ¿a quién le pides cuentas?
Este es uno de los argumentos más sólidos a favor de la regulación y de lo que se denomina “IA explicable”: sistemas que no solo decidan, sino que puedan justificar sus decisiones de forma comprensible. Algo que la industria acepta en teoría pero que, en la práctica, choca con la eficiencia y la competitividad. Los modelos más precisos suelen ser los menos explicables.
La tensión entre rendimiento y transparencia no tiene una solución fácil. Y mientras tanto, las decisiones siguen tomándose.
¿Quién tiene la responsabilidad?
Cuando un sistema de IA discrimina, ¿quién responde? ¿El programador que escribió el código? ¿La empresa que lo desplegó? ¿El cliente que lo contrató? ¿El regulador que no impidió su uso?
Ahora mismo, la respuesta es difusa. Y esa difusión de responsabilidad es, en sí misma, un problema. Porque cuando nadie es claramente responsable, nadie tiene incentivos claros para corregir el daño.
Hay quienes señalan que la solución pasa por la diversidad en los equipos que construyen estos sistemas. Si los ingenieros, diseñadores y tomadores de decisiones son más diversos, es más probable que identifiquen sesgos antes de que lleguen a producción. Es una idea razonable, aunque insuficiente por sí sola.
Otros apuntan a que necesitamos más regulación, más auditorías externas, más transparencia. Y también hay voces que dicen que el problema no es técnico sino político: que mientras la sociedad sea desigual, sus algoritmos también lo serán, y que la tecnología no puede resolver lo que la política y la historia han creado.
Todo esto tiene que ver con algo más amplio: el debate sobre si la IA nos lleva hacia un futuro mejor o hacia una distopía tecnológica que ya estaba en los libros. La respuesta, probablemente, depende de las decisiones que tomemos ahora.
Lo que los datos no dicen de ti
Hay algo profundamente inquietante en la idea de que un sistema te evalúe basándose en patrones estadísticos de otras personas que se parecen a ti en alguna dimensión: tu código postal, tu nombre, tu historial médico, tu género. El algoritmo no te conoce. Conoce tu categoría.
Y ahí está una de las fricciones más humanas de todo este debate: los datos pueden describir grupos, pero las personas somos individuos. Cuando un sistema de IA decide que eres un riesgo porque las personas con tu perfil estadístico lo son, está haciendo exactamente lo mismo que lleva siglos haciendo la discriminación más clásica. Solo que ahora viene envuelta en matemáticas y en una pantalla.
Eso no significa que la IA no pueda ser útil, o que debamos rechazarla. Significa que desplegar IA sin examen crítico es tan peligroso como cualquier otra herramienta poderosa sin control. Y que la promesa de la objetividad algorítmica puede ser, en algunos contextos, más peligrosa que la subjetividad humana, porque al menos la subjetividad humana puede cuestionarse, presionarse y cambiarse.
Conviene recordar también que estos sistemas se alimentan de datos que, en algún momento, se agotarán o se contaminarán. La pregunta sobre qué pasa cuando la IA se queda sin datos para aprender tiene una respuesta todavía más inquietante si esos datos estaban sesgados desde el principio.
¿Podemos enseñar a las máquinas a ser más justas que nosotros?
Esa es la pregunta que queda flotando. No si la IA puede ser perfecta, sino si puede ser mejor que nosotros. Si podemos usar estas herramientas no para replicar las injusticias del pasado, sino para detectarlas, corregirlas y construir algo diferente.
Hay razones para el optimismo cauteloso: cada vez hay más investigación en equidad algorítmica, más conciencia pública, más presión regulatoria. Pero también hay razones para la vigilancia: los incentivos económicos empujan hacia la velocidad y la escala, no hacia la reflexión y la corrección.
La pregunta real no es si los algoritmos tienen sesgos. Los tienen, y seguirán teniéndolos mientras los construyamos con datos humanos en un mundo desigual. La pregunta es si estamos dispuestos a tomarnos en serio ese problema, o si preferimos seguir creyendo que una máquina no puede equivocarse porque no tiene emociones. Porque ese es, precisamente, el sesgo más peligroso de todos: el que nos impide ver los demás.
