El 1 de octubre de 2015 publiqué un post en el que una joven Marta Peirano nos explicaba que estábamos completamente expuestos al espionaje y recopilación de datos por parte de Silicon Valley a través de la tecnología que se nos ofrecía gratuitamente con la alegría inocente de nuestros dispositivos.
Once años después, gracias a la sugerencia de Santi, he recuperado a Marta Peirano, con su intervención en un podcast de El Orden Mundial. Y once años después, Marta sigue insistiendo en la misma línea, aunque la cosa ha ido a más, es decir, a peor. Se trata esta vez de analizar al gigante tecnológico americano Palantir, poco conocido para los usuarios convencionales que le proporcionamos los datos con los que trabaja, pero tremendamente importante para las instituciones y gobiernos que lo contratan para obtener esos datos, indexarlos y hacer posible su utilización posterior con fines de vigilancia —hay muchas protestas por su uso en la “caza y captura” de inmigrantes ilegales en EEUU, por ejemplo—, espionaje y, sobre todo, para la toma de decisiones en el área militar.
El podcast nos explica que el Proyecto Maven, la herramienta de inteligencia artificial de Palantir, se ha convertido en una pieza central del ejército norteamericano al acelerar las decisiones en el campo de batalla y hacer que la selección de objetivos esté mediada por algoritmos (tal y como ya se ha experimentado en el conflicto iraní, no con todo el éxito esperado y sí con graves daños colaterales). En este sentido, Alex Karp, su director, explica que la intención de Palantir es integrar sistemas logísticos y militares físicos con el mundo del software y la IA, hasta crear una especie de sistema operativo para las guerras: «El hecho de que ahora se puede apuntar con mayor precisión, con mayor exactitud, con mayor rapidez, y que Estados Unidos pueda organizar todos sus recursos y utilizarlos contra adversarios y enemigos ha cambiado la forma en que se libra la guerra».
De la era de la amenaza disuasoria de la bomba atómica —nos dice Marta— hemos pasado a la era de la competencia por la IA: el desarrollo de armas más eficaces en inteligencia que las de los demás tanto desde el punto de vista defensivo como ofensivo.
Cuando decide la IA, no decide nadie. ¿Quién es el responsable? Es el math washing: el algoritmo lava y elimina la asunción humana de responsabilidades. Lo ha dicho León XIV en la encíclica que sintetizábamos en el posts anterior: «Cuando la decisión de atacar se automatiza o se vuelve opaca, aumenta el riesgo de que se pierda el sentido de responsabilidad. Por eso la cadena de responsabilidades debe seguir siendo identificable y verificable. […] La IA tiende a acortar los tiempos de decisión; pero en la guerra, las decisiones irreversibles no pueden tener como criterios supremos la rapidez y la eficiencia. […] Toda tecnología que facilite atacar sin ver el rostro del otro baja el umbral moral del conflicto (199). Las armas, las máquinas, no matan a la gente… es la gente la que mata a la gente.
Se trata de sacrificar cualquier planteamiento ético en la organización social, en la privacidad, en el tema militar y en la democracia en aras de la eficiencia y la seguridad.
Gobernar vigilando era el síntoma del totalitarismo. Ahora es el cáncer de la democracia en la que es el pueblo quien debe vigilar al gobierno y no al revés. Antes estabas fichado cuando te detenían con la intervención de un juez… Ahora todos estamos fichados de manera preventiva y nuestros antecedentes están todos en la nube a disposición de empresas como Palantir. Y lo peor es que, además, esta forma de gobernar, esta forma de poseer poder de manera fácil, opaca y eficiente es adictiva… y suele provocar una huida hacia delante en la que desaparece cualquier límite.
Eficiencia y vigilancia. Otra vez la eficiencia y la vigilancia en aras de la seguridad. Por encima de la burocracia, de la Administración, del Derecho. Por delante de la Democracia. Por delante de la persona.
Y de nuevo el Papa. Eficiencia y vigilancia unidas por un mismo presupuesto: la centralidad de la técnica y el sueño de superar los límites de la condición humana. Transhumanismo y posthumanismo. El transhumanismo imagina una potenciación del ser humano […] con la aspiración de incrementar el rendimiento y las capacidades. El posthumanismo […] va más allá: critica el antropocentrismo y plantea una forma de hibridación entre el ser humano, la máquina y el ambiente, hasta imaginar que atravesará el umbral en el que la humanidad se superará a sí misma, entrando en una nueva era evolutiva (116).
El riesgo —insiste una y otra vez el Papa— no es sólo que algunas tecnologías se usen mal, sino que el paradigma tecnocrático […] haga parecer justa y normal una visión antihumana. […] Cuando la eficiencia se vuelve medida de valor, el ser humano es tentado a considerarse como un proyecto que debe optimizarse más que como una criatura llamada a la relación y a la comunión (112). Una persona.
Otras frases de Marta en una entrevista en Zenda:
[Las amenazas y toxicidades de la red] «son cosas abstractas, mientras que la necesidad de utilizar las aplicaciones que han sido diseñadas para ser adictivas es una realidad completamente cercana. Pasa como con fumar: la gente cada vez que fuma no tiene cáncer. Por tanto, la amenaza abstracta del cáncer es más lejana y pequeña que la necesidad de fumar.»
«Te pueden decir que un algoritmo está diseñado para ayudarte a gestionar tu tiempo libre, pero suele estar diseñado para el engagement, es decir, está ayudando a la empresa a extraer datos durante tu tiempo libre. No te da más tiempo: te lo quita»
«La Alicia que se cae por el agujero de conejo, es una metáfora que también se usa mucho para describir lo que nos pasa cuando llega una notificación al móvil, miramos para ver lo que es, desbloqueamos el móvil, y entonces caemos por ese agujero de conejo por el que empezamos a abrir Twitter, y luego Facebook, y luego Gmail, y luego empiezo otra vez sin darme cuenta, y olvido lo que tenía que hacer. [Es] como estar en esta caída lenta que no tiene principio y no tiene fin. Estas aplicaciones están diseñadas para no tener fin. Un libro tiene páginas. Una serie tiene un final. Una canción tiene un final. Pero estas aplicaciones son una cascada interminable de contenidos que no tiene fin. Estás cayendo y no sabes dónde está el suelo. Pierdes, como cuando te traga una ola, el sentido de la realidad»
Referencias:
Post de hace once años con las opiniones de Marta Peirano en una charla TED
Podcast de El Orden Mundial, con la intervención de Marta once años después…
León XIV y el medioambiente simbólico. Síntesis en el blog.
Libros de Marta:
EL PEQUEÑO LIBRO ROJO DEL ACTIVISTA EN LA RED
Interesantísima entrevista a Marta en Zenda
