Cathy O´Neil

Armas de destrucción matemática

Cómo el big data aumenta la desigualdad y amenaza la democracia

Capitán Swing, Madrid, 2017, 269 págs.

 

Por lo general, los libros más fiables sobre una determinada cuestión no estrictamente académica son aquellos escritos por quienes no sólo la han estudiado teóricamente, sino que la han visto desenvolverse en la realidad cotidiana. Este es el caso de la autora del libro que se reseña en las siguientes líneas, Cathy O'Neil, matemática de formación que ha trabajado en el mundo de las finanzas y del voluntariado. O'Neil pretende con su obra mostrarnos críticamente el funcionamiento de la tecnología de big data en tanto que instrumento de toma de decisiones en los ámbitos más variados de la vida social, en especial, en el ámbito de las inversiones financieras, en el de la justicia penal, en el educativo, en el de la selección de personal, en el de la organización de los horarios de trabajo, en el de la concesión de créditos, en el de los seguros, en el de la publicidad y en el del marketing político-electoral. Desgraciadamente, la investigación de O'Neil se limita a los Estados Unidos. Pero también es cierto que ese es el país donde la tecnología de big data se halla más desarrollada.

La tecnología del big data en dichos ámbitos sociales consiste, en lo fundamental, en la elaboración de fórmulas matemáticas —llamadas algoritmos— a partir del análisis informatizado de cantidades ingentes de datos de individuos o grupos de individuos. Fórmulas que, a su vez, permiten el análisis de millones de datos personales con el objeto de hacer previsiones sobre el comportamiento o las vicisitudes futuras de individuos concretos o grupos de individuos y, en función de esas previsiones, o predicciones, tomar decisiones acerca de esas personas. El fondo científico-técnico de esta tecnología no tiene nada de novedoso, pues se trata de simples cálculos estadísticos y de probabilidades; lo que sí es novedoso es la capacidad que las nuevas herramientas informáticas, a las que se está añadiendo la inteligencia artificial, proporcionan a las sociedades humanas para hacer cálculos de esa naturaleza de manera automática, en muy poco tiempo y manejando cantidades de datos con los que los matemáticos de la era analógica no podían ni siquiera soñar. O, al menos, esto es lo que el autor de la presente reseña ha inferido de la lectura del ensayo de O'Neil.

Una vez definida la tecnología de los big data en tanto que tecnología social, podemos detallar los principales efectos sociales dimanantes de su uso actual, que son los que nos ayudarán a caracterizarla mejor, y, a través de esa caracterización, resumir las principales ideas expuestas en el ensayo de O'Neil. Estos efectos pueden ser enumerados en los siguientes términos:

▪ Efecto de naturalización del orden social existente. Este es el más profundo de todos y se deriva del modo en que la tecnología de los big data se configura y se utiliza en unas sociedades específicas, nuestras sociedades de economía de mercado capitalistas. Los fundamentos de dicha tecnología y sus resultados se presentan como científicos o neutrales, pero, obviamente, no lo son. Lo único científico o neutral son las matemáticas empleadas en esa tecnología, pero todo lo demás no tiene nada de científico o neutral. Los criterios que se utilizan para seleccionar y ponderar la importancia de los datos, esto es, para cuantificarlos en función del peso que se da a cada tipo de dato, y los objetivos que se persiguen con la utilización de los algoritmos para tomar decisiones no son, como es lógico, valorativa, moral o políticamente neutros, sino que responden a determinados juicios de valor, prejuicios, concepciones político-sociales e intereses y, en último término, responden a los particulares fines de las organizaciones sociales, básicamente estados y empresas, que los emplean. Este hecho es ocultado, a veces intencionadamente y otras no, por las personas y organizaciones que recurren a la tecnología de big data como instrumento de ingeniería social, esto es, de control y gestión de grupos de personas y de individuos, las cuales suelen proteger celosamente el secreto de sus algoritmos con mecanismos técnicos y legales (como la propiedad intelectual/industrial) [1]. Más aún, la circunstancia misma de que la realidad social a la cual se aplica la tecnología de los big data se conciba y sea tratada por sus expertos como equivalente a la realidad física sobre cuya base se elaboran los modelos predictivos de las ciencias naturales (por ejemplo, los meteorológicos o los astrofísicos) supone ya una naturalización de un orden social determinado por falta de cuestionamiento ético-político del mismo.

Se puede decir que los demás efectos de la tecnología de los big data aplicada a la toma de decisiones sociales son producto de este primer y básico efecto de naturalización que se acaba de exponer.

▪ Efecto de retroalimentación perversa. Ya se ha señalado que en la sociedad actual los concretos criterios que orientan el manejo social de la tecnología de los big data responden a valores, prejuicios, intereses y fines sociales no menos concretos que quedan ocultos tras la apariencia de cientificidad y neutralidad que se desprende de la ꞌmatematicidadꞌ y el uso de programas informáticos inherentes a dicha tecnología y a la falta de cuestionamiento del orden social existente que la misma presupone hoy en día. Puesto que la justicia de ese orden social, de la realidad social de la que se extraen los datos, no se pone en duda a), los valores ético-políticos que inspiran la selección y ponderación de datos son los dominantes b) y los intereses a cuya satisfacción se orientan las decisiones que supuestamente se fundamentan en los algoritmos son los propios de la elite socioeconómica y las organizaciones más estrechamente vinculadas a dicha elite —sobre todo las empresas y la denominada “mano derecha” del estado [2]— c), es inevitable que aparezca un efecto de retroalimentación perversa asociado a la tecnología de los big data consistente en la reproducción constante, más aún, en el refuerzo o intensificación, de las injusticias y jerarquías sociales, en especial, las relativas a la desigualdad socioeconómica (en suma, a la clase social). En el texto de O'Neil se pueden encontrar numerosos y detallados ejemplos de cómo opera la tecnología de los big data a la hora de reforzar la desigualdad e, incluso, de potenciar el actual capitalismo de “acumulación por desposesión” (Harvey), centrado en la reducción de costes laborales y sociales mediante su externalización sobre los hombros de las clases populares por parte de las empresas como principal fuente de generación de beneficios (una verdadera economía de saqueo que, en sus modalidades más extremas, poco tiene que envidiar al ꞌcomercio triangularꞌ esclavista colonial de los siglos XVI a XVIII).

▪ Efecto de homogeneización social. También cabe hablar de un efecto homogeneizador, uniformizador o normalizador, de la tecnología de big data, unido a los efectos de naturalización y de retroalimentación perversa. Dado que esta tecnología se fundamenta en la conjunción de matemáticas, informática y una serie de valores e intereses que son los dominantes o los propios de las elites y organizaciones sociales más poderosas, valores e intereses que son el aspecto sustantivo de los big data, mientras que las matemáticas y la informática son su aspecto formal o técnico, y puesto que es ese aspecto sustantivo el que en último término determina la selección de los datos y criterios operativos relevantes sin cuestionar en ningún momento el orden social existente, las decisiones basadas en la tecnología de big data tienden a inducir a los afectados por esas decisiones a adoptar los valores y patrones de conducta dominantes o juzgados deseables en una determinada sociedad, en la medida en que intuyen o llegan a conocer cuáles son los comportamientos y opiniones más adecuados para que los algoritmos arrojen unas decisiones más favorables para el curso de sus vidas. Cuanto menos se ajusten ciertas opiniones, intereses y patrones de conducta a los considerados relevantes —configurados y priorizados por las fórmulas a que han llegado los expertos (que, no se olvide nunca, no trabajan en el vacío, sino dentro de organizaciones sociales)— más quedaran estigmatizados por los modelos de previsión elaborados mediante la tecnología de big data y menos dispuesta estará la gente a asumirlos o verlos con buenos ojos.

▪ Efecto de exclusión social. Aunque no es más que una forma extrema del efecto de retroalimentación perversa de la tecnología de big data, parece conveniente hacer una indicación expresa del mismo por su dramatismo y radicales consecuencias para la vida de las personas. En una época de creciente mercantilización, obsolescencia sociolaboral, darwinismo social y obsesión por la seguridad, la retroalimentación perversa producida por decisiones sesgadas con ayuda de la tecnología de big data puede llevar a la marginación y exclusión sociales de crecientes cohortes de desfavorecidos por el sistema. A fin de cuentas, esta tecnología se usa para poder tomar decisiones en un tiempo récord con el menor coste posible en personal administrativo y decisor a escala industrial, esto es, masivamente, sobre todo tipo de asuntos que son vitales para millones de seres humanos. La tecnología genera un ranking de categorías de personas en función de una serie de datos juzgados relevantes en relación con una determinada cuestión (acceso a bienes y servicios, contratación laboral, acceso a la educación superior, evaluación del rendimiento laboral, acceso y primas de seguro, tratamiento penal, asistencia médica, peso político electoral…) y puntúa a cada individuo —cuantifica su ꞌvalorꞌ— colocándolo en una determinada posición en ese ranking. Una vez que se sabe la posición del individuo evaluado en el ranking, se toma una decisión sobre el individuo. La tecnología permite la evaluación de y la decisión sobre la situación de millones de individuos a una gran velocidad y con el mínimo coste, así que millones de individuos resultarán afectados por ella. A medida que el uso de esta tecnología vaya modulando cada vez más el acceso de las personas a bienes y servicios y su tratamiento en los diferentes ámbitos sociales y cada ranking y cada puntuación interactúe con los demás al incluirse como criterio o dato relevante en algún algoritmo, las personas socialmente peor situadas se hundirán cada vez más en el abismo social hasta quedar socialmente excluidas—-si nadie pone remedio, claro—. No puede ser de otro modo, si pensamos en el hecho de que la actual tecnología de big data no ha sido pensada para incidir en el desigual punto de partida de los miembros de una sociedad, sino para reproducirlo y amplificarlo.

A pesar de los efectos acabados de mencionar, la autora no considera la tecnología de big data aplicada a asuntos sociales prácticos (es decir, más allá del uso de la tecnología como herramienta de conocimiento al servicio de las ciencias sociales) como intrínsecamente mala. Entiende que los defectos de los modelos de predicción de ella resultantes descritos en su libro pueden ser corregidos y pueden crearse nuevos modelos con presupuestos valorativos y con fines ético-políticos diferentes a los hoy en día hegemónicos, hasta el punto de que la tecnología de big data puede ser un precioso factor de cambio social civilizador. Sin duda alguna, ello es cierto, pero el libro adolece de una falta de reflexión sobre el enorme poder de control y manipulación sociales generado por la tecnología de big data como instrumento de ingeniería social en sí misma considerada, aunque se corrijan los defectos de su actual configuración o se ꞌreprogramenꞌ sus presupuestos ético-políticos. En efecto, una aproximación más filosófica, más especulativa, sobre el potencial totalitario inherente a la tecnología de big data brilla por su ausencia en el libro de O'Neil.

Notas:

[1] Véase al respecto: Ramos Toledano, J., Propiedad digital. La cultura en Internet como objeto de intercambio, Trotta, Madrid, 2018.

[2] Terminología del sociólogo Pierre Bourdieu para referirse al aparato policial-judicial, en su vertiente penal y de mantenimiento del orden público primario.

Ramón Campderrich Bravo

27/6/2019

Sitio elaborado con Drupal, un sistema de gestión de contenido de código abierto