Mucho viene sonando en distintos ámbitos académicos y mediáticos bajo la común etiqueta de AI algorithmic bias o sesgo en los algoritmos de inteligencia artificial. Quiero compartirles un poco de qué se trata y contarles por qué me parece importante que los abogados nos convirtamos en parte esencial de la discusión en torno a este tema y, sobre todo, de la acción.
Sucede que empecé a escribir y me di cuenta que iba a hacerse demasiado largo para una sola entrada ya que quise intentar abordar el problema desde su raíz, pensando en que quizás pueda servirles como punto de partida a algunos que todavía no están familiarizados con la problemática. Por eso decidí dividir esta entrada en dos partes, anticipándoles, sin embargo, el objetivo final de esta reflexión con el título principal. Entonces en esta Parte I vamos de lleno y con algunos detalles a pensar un poco juntos en la problemática del sesgo en los algoritmos de inteligencia artificial. Y para quienes ya conocen un poco, o mucho, espero aportarles algo con la Parte II.
A lo Descartes, propongo, dividamos nuestro objeto de estudio en tantas partes como podamos. Ello impone separar los términos sesgo, algoritmo e inteligencia artificial para entender cada parte individualmente y luego el sistema en su conjunto.
Sesgos cognitivos
Cuando pensamos en el término “sesgo” y en el uso cotidiano que le damos a la palabra, intuimos que estamos en presencia de un prejuicio. Es decir, de una idea no necesariamente fundada en un juicio racional, sino en una opinión preconcebida hacia alguien o algo. Y algo de cierto hay en eso, pero, en realidad, sesgo es mucho más que un prejuicio. Sesgo, según la RAE, significa “[o]blicuidad o torcimiento de una cosa hacia un lado, o en el corte, o en la situación, o en el movimiento”.
¿Qué tiene que ver esto con el juicio humano? Es que, en pocas palabras, un sesgo es un torcimiento en el razonamiento que puede conducir a error. ¿Y cómo sabemos esto? Gracias a los estudios realizados en el campo de la economía del comportamiento.
Haciendo una historia larga (y muy interesante), corta, la economía conductual es una rama de la ciencia económica que desafió una de las condiciones más importantes sobre las cuales se estructuran los modelos y teorías económicas, la racionalidad del individuo como agente de decisión. O sea, básicamente, vinieron los muchachos de la economía del comportamiento y plantearon que el homus economicus no es tan racional como se pensaba porque puede caer en las trampas de los sesgos cognitivos. ¿Quiénes son esos muchachos atrevidos? Bueno, son varios y cubriendo diferentes campos, pero el punto de inflexión suele ubicarse en 1974, cuando dos psicólogos, Daniel Kahneman y Amos Tversky, publicaron un paper titulado “Juicios bajo incertidumbre: heurísticas y sesgos”. Allí describieron con detenimiento algunas “trampas” en las que cae el cerebro humano para adoptar decisiones en situaciones de incertidumbre, destacando que pueden conducir a errores sistemáticos. Por ejemplo, de acuerdo a los experimentos de la economía conductual, si le preguntan a alguien que hace una semana presenció la caída de un avión cuál es la probabilidad de ocurrencia de un accidente semejante, su juicio va a estar influenciado por lo fácil y rápido que se hace para su cerebro pensar ejemplos de ese acontecimiento o situación, ya que acaba de presenciarlo. Su respuesta va a ser, entonces, una probabilidad muy alta cuando en realidad las estadísticas aeronáuticas indican algo completamente distinto. Tal el sesgo de disponibilidad de información.
A los que les interese un poco más, les dejo el paper que es muy divertido (y cortito); allí podrán ver en detalle y con ejemplos muy piolas los llamados sesgos de representatividad, anclaje y disponibilidad. Lo importante, para nuestro objetivo de hoy, es que la economía conductual sistematizó el estudio de los sesgos cognitivos y al hacerlo fomentó, en distintas personas e instituciones, mayor conciencia sobre los potenciales errores -entre ellos basados en sesgos- en que pueden incurrir los agentes que toman decisiones.
Algoritmo
Siguiendo con el método cartesiano, habiendo definido sesgo, toca “algoritmo”. Sé que todos saben de qué se trata pero siempre ayudan un poco las definiciones para estudiar un objeto en detalle. En términos muy simples, un algoritmo es un programa, es decir una secuencia de operaciones sujetas a condiciones con una finalidad específica.
Dicho esto, hay algoritmos de la más diversa clase y complejidad. Hay un ejemplo de algoritmo simple que me encanta, porque siempre me gustaron mucho los caramelos, que es el algoritmo que subyace a las máquinas expendedoras. Las mismas están programadas de manera que si el sujeto selecciona un producto e inserta el valor indicado en monedas, en la medida que haya stock del producto requerido, la máquina acciona el mecanismo previsto para expulsar el producto requerido. En lenguaje informático, el programador le dijo al programa: si se dan determinadas condiciones (IF/ELSE/ELIF), ejecute (PRINT/RETURN) la acción.
Entre los algoritmos más sofisticados están los algoritmos de inteligencia artificial que, en la última década, nos han proporcionado vehículos que funcionan sin conductor, reconocimiento de voz e incluso un conocimiento mejorado del genoma humano ¿Cómo fue esto posible? Veamos.
Inteligencia artificial (“IA”)
La IA es una disciplina científica que se ocupa de crear algoritmos que ejecutan operaciones comparables a las que realiza la mente humana, como el aprendizaje y razonamiento lógico. Sus orígenes se consideran en la Conferencia de Dartmouth en 1955. En dicha oportunidad se propuso, por primera vez de manera formal, el estudio de la posibilidad de que cada aspecto del proceso de aprendizaje del cerebro humano pueda ser descrito tan precisamente que luego sería susceptible de ser simulado por una máquina. O sea que un par de genios se pusieron a estudiar a fondo el proceso de sinapsis y concluyeron que la estructura de nuestras redes neuronales puede ser imitada. Maravilloso.
Desde entonces, la IA tiene como objetivo desarrollar técnicas que permitan a las computadoras aprender y resolver problemas sin haber sido explícitamente programadas para todos los casos. Se trata de crear algoritmos capaces de generalizar comportamientos y reconocer patrones a partir de una información suministrada en forma de ejemplos.
Un ejemplo ilustrativo es el de los algoritmos de aprendizaje automático (supervisado) de clasificación de imágenes. Particularmente los binarios (a diferencia de los multiclase), tienen por objeto predecir una respuesta simple de 0/1, es decir a cuál de las dos categorías pertenece una instancia de datos. Con las disculpas a los que saben por la sobresimplificación, estos algoritmos son entrenados de la siguiente manera:
El equipo programador decide crear un algoritmo con el objetivo de diferenciar imágenes de gatos de imágenes de perros. Para ello, primero reúne una enorme cantidad de imágenes de gatos y perros. Cada imagen está asociada a una etiqueta (gato o perro, respectivamente). Este conjunto se conoce como set de datos de entrenamiento
Luego, en el proceso de entrenamiento, el algoritmo aprende de los patrones de las imágenes del set de entrenamiento en relación con las etiquetas respectivas de manera tal que la salida es un modelo que captura esas relaciones y puede predecir si una determinada imagen corresponde a un gato o a un perro.
Luego, con un set de datos diferente (datos de testeo), el equipo le pide al modelo que, de acuerdo a lo aprendido en el proceso de entrenamiento antes descrito, prediga si cada una de las imágenes del set de testeo corresponden a un gato o a un perro.
Finalmente, el resultado de un algoritmo de clasificación binaria es un clasificador, que se puede usar para predecir la clase de nuevas instancias sin etiqueta (imágenes de gatos o perros que no estaban ni en el set de entrenamiento ni en el set de testeo). Con cada nueva predicción, el algoritmo sigue aprendiendo.
Sesgo en los algoritmos de inteligencia artificial
Hasta acá todo fantástico. Sin embargo, los algoritmos son programados por seres humanos, obviamente ¿Y cuál es el problema? Que los seres y grupos humanos son falibles y, como vimos, están sujetos a sesgos cognitivos. Ello implica, por lógica consecuencia, que los algoritmos de inteligencia artificial cristalizan y eventualmente potencian los sesgos cognitivos, errores y patrones históricos en programas que toman decisiones muy relevantes sobre nuestras vidas. Si el equipo que programa el modelo cae en la trampa de un sesgo de disponibilidad, por ejemplo, el algoritmo resultante va a “heredar” ese sesgo y posiblemente lo consolidará en cada instancia de iteración.
Así, si un banco quisiera programar un algoritmo predictor de capacidad crediticia de sus clientes y lo entrenara solamente con los datos disponibles de capacidad crediticia por sexo desde que se creó el banco en cuestión -supongamos hace 100 años-, el resultado sería que, de acuerdo al modelo predictor, la capacidad crediticia de cualquier mujer sería menor a la de un hombre. Sencillamente porque menos mujeres accedieron a créditos hace 100 años.
Pensemos, por ejemplo, en un algoritmo de reconocimiento facial. Es posible que a la hora de consolidar el primer set de entrenamiento, el equipo de programación reúna imágenes representativas de grupos étnicos a los que pertenecen o contactan con mayor frecuencia. Ello podría implicar que el algoritmo tenga muy bajo poder predictivo en caso de enfrentarse con una imagen de una persona perteneciente a una minoría étnica que vive en el otro extremo del planeta.
Hay, como están imaginando, muchos tipos de potenciales errores y prejuicios que ingresan a los algoritmos de inteligencia artificial “por la ventana” en virtud del contexto de los programadores, la naturaleza y fuente de los datos utilizados o la manera en que los programadores interpretan los datos a través del modelo. Sin perjuicio de que esto es un gran problema per se, entramos en zona de alerta roja cuando los algoritmos receptan y reproducen datos y/o soluciones discriminatorias potencialmente ilegales. Vamos a un par de ejemplos reales.
Un estudio desarrollado en 2018 por el laboratorio del MIT reportó que las tecnologías de reconocimiento facial entonces ofrecidas por grandes empresas de tecnología tenían un notable decrecimiento de su poder predictivo cuando el color de piel del rostro sujeto a análisis era oscuro. Un caso paradigmático de sesgo en los datos utilizados para entrenar el modelo (se usaron más fotos de personas de piel blanca).
En otro ámbito, entre 2016 y 2018 diversas organizaciones no gubernamentales interpusieron por lo menos 5 demandas en contra de Facebook en Estados Unidos alegando discriminación por parte del algoritmo en que está sustentada la herramienta de publicidad de la compañía. Según lo sostenido por los demandantes, el modelo de targeting entonces ofrecido por facebook discriminaría a los destinatarios de acuerdo a su raza, origen nacional, sexo y estado de familia. Aquí lo sesgado sería el modelo en sí.
Un último ejemplo y los dejo en paz. En 2014 Amazon creó un algoritmo de inteligencia artificial para optimizar su proceso interno de revisión de currículums a los fines de sumar talento a la empresa ¿Que pasó? La compañía tuvo que dar de baja el proyecto ya que advirtió que el modelo no estaba siendo preciso en el rating dado a mujeres para puestos técnicos. Es decir, indirectamente discriminaba a las candidatas mujeres ¿Por qué? Sucede que el set de entrenamiento era la base de datos de currículums de Amazon de un periodo de 10 años, con una mayoría de hombres en los puestos técnicos en ese periodo. De manera que, dicho en criollo, el algoritmo aprendió que ser hombre tenía cierto valor agregado para calificar a un puesto técnico.
Si están interesados en leer más casos de este tipo, les recomiendo el libro titulado “Weapons of math destruction” (armas de destrucción matemática) escrito en 2016 por la matemática Catherine O'Neil, en clara alusión simbólica a un nuevo tipo de armas de destrucción masiva. En inglés el juego de palabras es todavía más efectivo por la cercanía fonética entre mass y math.
Estamos, quizás, ante uno de los desafíos más grandes que deberá enfrentar la humanidad en el marco de la cuarta revolución industrial. Sin embargo, pronto veremos todo lo que podemos hacer desde nuestro respectivo lugar y rol para enfrentar a este villano llamado sesgo algorítmico y evitar que detenga el progreso que representan las aplicaciones de inteligencia artificial en múltiples ámbitos de la vida en sociedad.