El cerebro artificial de Google que aterra (y fascina) a ingenieros y científicos
Dejar la ética en manos de las máquinas es un suicidio colectivo
La inteligencia artificial es uno de los mayores avances de los últimos año, pero también tiene enormes riesgos. ¿Qué ocurre cuando el 'software' toma decisiones racistas?
Autor
Tiempo de lectura6 min
Los algoritmos de inteligencia artificial han saltado ya fuera de su mundo particular dentro de los videojuegos o para identificar el rostro de su novia en Facebook, para incorporarse en prácticamente cualquier negocio y actividad: presupuestos corporativos, seguros, empleo, educación... Y eso supone un problema. Estos sistemas predictivos de 'big data' corren el riesgo de cometer graves errores que impacten en la vida de las personas o, incluso, llegar a amplificar la injusticia social y las discriminaciones estructurales.
Por ejemplo, consideremos un caso donde la responsabilidad algorítmica es muy necesaria: las puntuaciones de riesgo que dan apoyo a las decisiones de los jueces en el sistema legal de EEUU. No se trata de un experimento aislado, sino de un sistema usado diariamente en Arizona, Colorado, Delaware, Kentucky, Lousiana, Oklahoma, Virginia, Washington y Wisconsin.
Dichas puntuaciones se calculan en base a factores como la edad del acusado, su historia criminal, y otras características. Los datos se introducen en un algoritmo para calcular un valor que se utiliza en decisiones que determinan la detención previa al juicio, la fianza, o incluso la sentencia. Estos modelos son difíciles de auditar ya que normalmente contienen algoritmos propietarios y se entrenan usando datos de acusados anteriores a los que el público no tiene acceso. A pesar de ello, hay evidencia creciente de que están muy sesgados.
Múltiples casos ilustran el hecho de que los algoritmos no atienden a consideraciones éticas a la hora de ejecutar su aprendizaje
Tomemos el caso de Brisha Borden que ProPublica ha investigado de forma excelente. En el 2014, Borden 'tomó prestado' un triciclo de $80 en la calle para bromear un rato con su amiga. Una estupidez concebible en una chica de 18 años que acabó en detención cuando intervino la policía. Comparemos este crimen con el de Vernon Prater, de 41 años, a quien atraparon robando $86 de herramientas en una tienda Home Depot cercana.
La ficha policial de Borden tenía un par de incidentes por mal comportamiento, pero parecía la de una hermana de la caridad comparada con la de Prater, quien en varias ocasiones fue convicto por robo a mano armada y pasó 5 años en prisión. A pesar de ello, el algoritmo determinó que Borden tenía un alto riesgo de volver a cometer un crimen, mientras que el riesgo de reincidencia para Prater era mucho menor. Por supuesto a día de hoy, dos años después de la sentencia, sabemos que el ordenador la pifió a lo grande: Borden tiene una hoja limpia, mientras que Prater está sirviendo 8 años en prisión por robar un almacén. ¿Qué sucedió?
Inteligencia artificial 'racista'
Lo adivinaron: Borden es negra, mientras que Prater es blanco. Múltiples casos como este en cortes a lo largo de todo el sistema judicial americano ilustran el hecho de que los algoritmos no atienden a consideraciones éticas a la hora de ejecutar su aprendizaje. Fíjese que lo relevante aquí no es que la predicción sea acertada o no. Lo relevante es que se use el color de la piel, o el género, o la orientación sexual como un criterio objetivo para formularla porque vulnera el principio ético de que todas las personas son iguales ante la ley y sólo deben ser juzgados por sus actos.
¿Por qué sucede esto? Cuando los algoritmos se ponen a la tarea de aprender, es decir, extraer correlaciones relevantes de un océano de información, no se plantean qué parte de esos datos son 'limpios' (éticamente correctos) y cuáles son 'sucios' (moralmente reprobables). La máquina se concentra en, hablando con la jerga del sector, 'maximizar la función objetivo'. Traducido: no busca ni justicia social ni corrección política ni mandangas. Sólo eficiencia en los resultados. Y si detecta que hay una mayor proporción de criminales negros, está claro: los negros son peores. Imagine ahora un sistema de seguros que le cobre más para atenderle porque es negro, un grupo de mayor riesgo según nuestro querido algoritmo. En consecuencia menos negros accederán al sistema sanitario, con lo cual su salud empeorará más rápido, y se perpetuará la discriminación estructural.
También es concebible diseñar sistemas que maximicen en base a criterios éticos, como los de solidaridad social, acceso no discriminatorio a la sanidad o incluso “discriminación positiva”… pero estas condiciones suelen ser mucho más difíciles de modelar que objetivos puramente transaccionales, como por ejemplo la reducción del tiempo de espera en sala o el EBITDA anual del centro hospitalario.
Decidir en base a un código postal significa catalogar por vecindad, lo cual significa apoyarse en un criterio de poder adquisitivo
Y fíjese que no es tan fácil eliminar este sesgo de los algoritmos incluso si de verdad nos ponemos a la tarea, porque puede que los efectos discriminatorios no sean tan evidentes como juzgar el color de la piel sino que se encuentren perdidos en una enrevesada maraña de variables agente. Por ejemplo, decidir en base a un código postal significa catalogar por vecindad, lo cual significa apoyarse en un criterio de poder adquisitivo, por tanto de clase social y así, en mayor parte de estados americanos, también de raza. Vuelta a la casilla de salida. Y si a esto le añadimos el problema de la caja negra, del cual hablamos con anterioridad, ya es que ni sabemos por qué se producen dichas decisiones, más allá de que sean justas o no.
Estas cuestiones no pueden ser ignoradas por más tiempo. Varios grupos en la industria, incluyendo un consorcio creado por los nombres más grandes de Silicon Valley (Google y Facebook entre ellos), están empezando a ver la necesidad de manejarse con las implicaciones éticas de poner en producción algoritmos que pueden tener efectos imprevisibles sobre la sociedad.
En estos círculos, hay un consenso creciente que el diseño de tecnologías futuras debe guiarse por el principio de la “explicabilidad”: un sistema algorítmico debe ser capaz de explicar en términos humanos las causas que llevan a la decisión. En consecuencia, debe ser posible explicar las decisiones producidas por el sistema a las personas afectadas por ellas.
En algunas situaciones no será razonable hacerlo de forma directa, por ejemplo en los casos en los que el conocimiento de los criterios otorgue una ventaja competitiva o la opción de 'hacer trampas' a los participantes, pero en cualquier caso las explicaciones deben ser comprensibles: las descripciones puramente técnicas no son apropiadas. Por ejemplo, explicar los criterios en las puntuaciones del sistema legal tanto a los jueces como a los acusados ayudará a un mejor entendimiento así como cazar gazapos e injusticias con mayor facilidad.
Por otro lado el equipo de Tommi Jaakkola en MIT ha desarrollado recientemente una técnica para combatir contra el problema de la caja negra que está en sintonía también con este principio de explicabilidad. En grandes líneas, consiste en poner dos redes neurales a colaborar juntas, una ejecutando las predicciones y la otra puntuando los criterios que se han usado para alcanzar dichas predicciones, es decir, evaluando la calidad de las explicaciones. Esta técnica se ha usado de forma experimental en miles de diagnósticos de biopsias con buenos resultados, con lo cual se puede convertir en un método robusto para revelar las bases de las decisiones ocultas dentro de un sistema de aprendizaje automatizado.
Hasta que los algoritmos aprendan a mentir, por supuesto.
3comentarios
email contacto moderador elconfidencial3 comentarios
Por FechaMejor Valorados
Mostrar más comentarios