Es noticia
El problema de la caja negra: por qué la inteligencia artificial es una amenaza
  1. Tecnología
  2. Tribuna
Isaac de la Peña

Tribuna

Por

El problema de la caja negra: por qué la inteligencia artificial es una amenaza

La inteligencia artificial es uno de los mayores avances de las últimas décadas, pero viene con un riesgo: no conocemos cómo el 'software' aprende y toma decisiones. Es el 'problema de la caja negra'

Foto:

Si todavía no ha oído hablar de la Inteligencia Artificial (IA) probablemente se deba a que vive en esa pintoresca comunidad Amish de La Algaba, cerca de Sevilla, o al calor de alguna otra secta neoludita, con lo cual dudo que se preocupe de lo que un servidor pueda escribir aquí. El resto de la audiencia bien sabrá que la IA es en la actualidad una de las tecnologías más revolucionarias del planeta, encontrando aplicaciones en campos tan variados como la clasificación de imágenes en redes sociales, el control de robots en cadenas industriales o la detección de fraude en aseguradoras.

Foto: Imagen de un escáner cerebral tras ser analizada por una red neuronal 'Deep Dream' creada por Google. (Foto: Juan Sánchez Ramos)

Sin embargo los tremendos avances que la IA ha experimentado en los tiempos recientes han provocado una ola de preocupación en ciertas personas. Yy no estamos hablando de cualquiera, sino gente del calibre de Stephen Hawking, Bill Gates, Steve Wozniak y Elon Musk, que se han unido para alertarnos de la “amenaza IA”. ¿Representa un peligro existencial para la raza humana? ¿Nos estaremos acercando a un escenario en el que las máquinas se puedan alzar en nuestra contra, tal que Skynet en Terminator? Una gran ironía si pensamos que por ejemplo Elon Musk es, tanto a título personal como a través de sus empresas Tesla y Space-X, uno de los mayores benefactores mundiales de la investigación en IA.

Otros tantos expertos no han dudado en tachar dichas predicciones de alarmismo innecesario. Así lo han hecho los firmantes de un reciente informe de la Universidad de Stanford entre los que se cuentan más de 20 líderes en los campos de la IA y la robótica. Si bien el informe considera que el riesgo de una hecatombe robótica en el futuro cercano es despreciable, también reconoce que la IA transformará de forma radical casi todos los aspectos de la vida diaria, desde el empleo y la educación hasta el entretenimiento y el transporte. El informe señala que las implicaciones éticas que más deberían preocuparnos son las derivadas de la obsolescencia laboral y desempleo masivo de grandes sectores de la población: el coste social del progreso tecnológico.

El problema de la caja negra

Sin llegar a caer en el alarmismo, quiero resaltar una cuestión a la que no se suele prestar la atención debida en estos debates. Se trata de una dificultad asociada a las técnicas utilizadas por la inteligencia artificial y que es paradigmático de su diferencia con otras formas tradicionales de computación. Se le conoce como el problema de la caja negra.

Para ilustrarlo utilicemos un caso real sacado del proyecto del coche autónomo, que ha ganado gran notoriedad mediática gracias a las inversiones millonarias de compañías como Google, Tesla e incluso Uber. Un ingeniero ha estado trabajando durante varios años para crear un sistema de conducción autónoma gobernado por IA. Primero probó dicho sistema en la seguridad de su laboratorio, usando simulaciones, con posterioridad en el mundo real, pasando de caminos apenas transitados a carreteras públicas con mayor velocidad conforme aumentaba la robustez del sistema. Desde hace meses la conducción es suave, segura, impecable, diríase que casi mejor que la humana. Confiado por la ausencia de incidentes, decide transitar por nuevos paisajes, y cuando se acerca a un puente en la carretera, a la vera de un acantilado, nota un ligero desvío a la izquierda. Nada grave, algo que seguro que el sistema corregirá pronto. Pero no lo hace. El desvío se convierte en un decidido giro de volante, y con suerte puede reaccionar a tiempo para frenar el coche en seco antes de despeñarse.

El sistema de IA puede comportarse como una caja negra: sabemos qué ocurre al final pero no lo que sucede en el interior de las capas intermedias

Después de tomarse varias tilas y volver al laboratorio, el ingeniero - cuyo nombre real es Dean Pomerleau - investiga las posibles causas del accidente y llega a una conclusión sorprendente: al parecer la red neuronal que gobierna las actividades del sistema había aprendido utilizar la hierba de los márgenes del camino como una guía para orientarse, y se había quedado completamente confundida cuando esta desapareció en la vereda del puente. Literalmente, para habernos matado.

La idea básica de una red neuronal consiste en simular el comportamiento de un cerebro biológico mediante pequeñas unidades computacionales, las 'neuronas', dispuestas en capas conectadas mediante enlaces digitales, las 'sinapsis'. La primera capa de neuronas captura datos externo (por ejemplo, los píxeles de una foto de su mascota favorita) y distribuye dicha representación de los datos a la siguiente capa a través de los lazos sinápticos, que se refuerzan o debilitan siguiendo un proceso definido por reglas matemáticas. Las representaciones se van transformando según las neuronas propagan la información hacia adelante y, eventualmente, la capa superior nos proporciona una respuesta (por ejemplo, clasificando el animal como un perro o un gato). Este proceso, repetido miles de veces mediante un mecanismo de retroalimentación, permite a la red neuronal aprender las diferencias entre uno y otro para clasificar con mayor exactitud.

El problema es que sabemos que ha clasificado el animal como un perro o un gato, pero no sabemos por qué. El conocimiento que se obtiene no queda en nuestras manos, sino que está codificado dentro de la propia red. Suponemos que las capas inferiores se encargan de reconocer figuras geométricas básicas, como líneas y ángulos, mientras que las capas superiores las agrupan para formar caras, orejas, rabos y otras figuras que le permiten, en última instancia dar un veredicto. Lo suponemos, pero no lo sabemos, porque es un proceso opaco para nosotros. Recuerde, a diferencia de los antiguos sistemas expertos, el humano no codifica las reglas, sino que el sistema las descubre por sí solo. Esa es precisamente la gracia, pero también implica que nos quedemos fuera del proceso. Que el sistema sea una caja negra en la que sabemos lo que se introduce, lo que se obtiene, pero no lo que sucede en el interior de las capas intermedias, conocidas como capas ocultas.

Es posible que un sistema de IA produzca de pronto resultados erróneos, fuera del sentido común. En términos humanos: que enloquezca

Es fácil vislumbrar por qué el problema de la caja negra puede llegar a convertirse en una preocupante amenaza en el futuro. Hasta hoy en día, el mayor escenario de riesgo al que se debía enfrentar un individuo que usaba un sistema adecuadamente testado era el de un 'hackeo', una disrupción externa. Los chinos robando secretos industriales de Google, la CIA desbaratando plantas de enriquecimiento de uranio en Irán o los rusos influyendo en el resultado de las elecciones americanas. Elija su teoría de la conspiración favorita. En cambio, con la inteligencia artificial nos encontramos con una situación sin precedentes en la que el sistema aprende, cambia en relación reflexiva con el entorno. Como no dictamos las reglas y no podemos testear un número infinito de escenarios, es posible que un sistema que ha respondido con total normalidad durante años de pronto, ante unos estímulos nuevos dentro de la caja negra, produzca resultados estrepitosamente erróneos e impredecibles, completamente fuera del sentido común. En términos humanos, que enloquezca.

Esto no significa que debamos lanzar a la hoguera cualquier sistema que utilice la fórmula del aprendizaje automático, y así perder los múltiples beneficios que la IA ya nos está proporcionando. Pero sí es urgente comenzar a establecer protocolos para la inteligencia artificial en caso de fallo, tal y como se hace con los individuos para evitar catástrofes. Por eso siempre vuelan dos pilotos en cabina, las llaves de las cajas fuertes se dividen entre varias personas, y no hay un único operario en una planta nuclear. Excepto en los capítulos de Los Simpson.

Este problema es serio, pero tengo una extrema confianza en que aprenderemos a lidiarlo, incluso si somos incapaces de lanzar luz dentro de la caja. ¿Saben por qué? Pues porque de alguna forma ya estamos acostumbrados a él. Al fin y al cabo, todos los seres humanos tenemos un cerebro que usamos sin parar y en el que confiamos ciegamente. Pero no tenemos ni remota idea de cómo funciona.

Todos llevamos una caja negra en nuestras cabezas.

*Isaac de la Peña es partner y CTO de la firma Agora EAFI, Sloan Fellow del MIT, y especializado en 'inteligencia artificial', 'big data' y finanzas.

Si todavía no ha oído hablar de la Inteligencia Artificial (IA) probablemente se deba a que vive en esa pintoresca comunidad Amish de La Algaba, cerca de Sevilla, o al calor de alguna otra secta neoludita, con lo cual dudo que se preocupe de lo que un servidor pueda escribir aquí. El resto de la audiencia bien sabrá que la IA es en la actualidad una de las tecnologías más revolucionarias del planeta, encontrando aplicaciones en campos tan variados como la clasificación de imágenes en redes sociales, el control de robots en cadenas industriales o la detección de fraude en aseguradoras.

Inteligencia Artificial Elon Musk Big Data