La ley del algoritmo

Usar la ciencia y las nuevas tecnologías para lograr mejorar la justicia y reducir el crimen no es una idea nueva. Tampoco ha sido una exenta de polémicas. Detrás de no pocos exámenes científicos sobre el crimen y los criminales realizados durante el siglo XIX —y que en algunos casos tuvieron una importancia crucial hasta bien entrado el siglo XX— estaban los prejuicios de quienes hacían la investigación. Partir de los números, de las estadísticas o de los datos puros parece, de entrada, mucho más neutro e incluso más prometedor. Ya en los años 30, como recuerda el documental El algoritmo contra el crimen, Scotland Yard estaba haciendo mapas estadísticos sobre delitos para afinar la prevención del crimen. Luego, los diferentes cuerpos de policía estadounidenses fueron incluyendo análisis de datos y tecnología predictiva. En el cambio de siglo ya hablaban de «policía predictiva», gracias al uso intenso de datos. Chicago llegó a desarrollar su «lista estratégica de sujetos», en la que un algoritmo había perfilado un risk score. Es una puntuación del riesgo que suponía a cada persona como potencial criminal.

Pero los algoritmos no han entrado solo a formar parte de la prevención del crimen, sino también de la propia administración de justicia. Varias empresas han desarrollado herramientas que ayudan a los jueces a sentenciar prediciendo reincidencias o peligrosidad. De 2016 es el caso Loomis, también en Estados Unidos: un informe de IA (una herramienta llamada Compas) identificó a Eric Loomis como de «alto riesgo para la comunidad», lo que llevó a que la pena impuesta fuese más elevada de lo previsto (Loomis se había declarado culpable y eso le habría permitido salir en libertad vigilada, pero, en cambio, fue condenado a 5 años de cárcel y 6 de libertad vigilada). La sentencia fue apelada, porque la defensa consideraba que se violaban los derechos fundamentales del acusado al no permitirle seguir el proceso que llevó a esa sentencia. Por el contrario, el Tribunal Supremo de Wisconsin consideró que no cabía réplica: la IA había simplemente usado datos.

Y ahí está el quid de la cuestión: el boom de los algoritmos en las diferentes áreas de la justicia está conectado no solo con la idea de prevenir, sino también con la percepción de que lograrán hacer un trabajo ajeno a las emociones. No se dejarán llevar, como los seres humanos, por sus pasiones y sus emociones. Serán más ecuánimes. Pero esto es una falacia. Los algoritmos —empezando ya con los propios datos que alimentan toda esta tecnología— tampoco están libres de fallos y de sesgos. Si las fuentes de información de las que beben están sesgadas, sus conclusiones también lo estarán.

Si las fuentes de información de las que beben los algoritmos están sesgadas, sus conclusiones también lo estarán

Los datos que genera un sistema judicial como el estadounidense, con un serio problema de racismo sistémico, no son ajenos a sus problemas. Si durante décadas se han estado dando sentencias más duras a las personas que no son blancas por los sesgos de los jueces, esa será la información que alimente al algoritmo y la que le llevará a tomar decisiones. Las personas no blancas seguirán recibiendo sentencias más duras.

Como explican en el documental, es algo similar a lo que pasa en los sistemas de policía predictiva, que además acaban entrando en un bucle de retroalimentación. Si se destinan más policías a una calle o un barrio, en esa zona se procesarán más crímenes. Eso no quiere decir que en otras zonas de la ciudad no se estén produciendo delitos: puede ser que esté ocurriendo pero que no haya ningún policía allí para verlo. Sin embargo, el algoritmo no verá eso: percibirá que esa es la zona más peligrosa y destinará allí más vigilancia policial. Y se entrará en un bucle.

Durante unas cuantas décadas, ha existido una cierta ceguera social ante esta cuestión. Como apunta una de las expertas de El algoritmo contra el crimen, a un algoritmo lo cuestionamos menos que a un juez racista, aunque ambos puedan tener el mismo sesgo. Damos por sentado que la tecnología es neutral, cuando realmente depende mucho de como haya sido alimentada y de cómo esté siendo utilizada.

El algoritmo no es neutro

Por eso, la justicia algorítmica puede aumentar las disparidades. En 2016, una investigación de ProPublica demostró que los algoritmos que usaban en la justicia estadounidense eran racistas: las personas no blancas (negras, hispanas…) recibían condenas mucho más duras que las personas blancas, incluso cuando el crimen de las segundas era más grave que el de las primeras. Y una investigación de la Unión Estadounidense por las Libertades Civiles (ACLU) que recoge El enemigo conoce el sistema, de Marta Peirano, determinó que las personas de color recibían penas un 20% más largas que las blancas por culpa de los algoritmos. En la lista de personas de riesgo de la policía de Chicago, el 77% de los potenciales criminales identificados eran personas negras o hispanas.

Comprender que los algoritmos no son neutrales es el primer paso para abordar los retos de la justicia algorítmica, pero lo cierto es que no es el único punto conflictivo. Otro de los grandes retos es la falta de transparencia de estos sistemas. Los algoritmos judiciales han sido desarrollados por compañías tecnológicas y son, por tanto, «tecnología propietaria»: pertenecen a una empresa y están blindados por el copyright. Es imposible saber cómo funciona esta tecnología y cómo toma decisiones, porque es un secreto corporativo. Por ello, los acusados no podrán entender del todo en base a qué se decidió su sentencia.

Las personas de color reciben penas un 20% más largas que las blancas debido a los algoritmos

El otro de los grandes puntos es la ética. ¿Hasta qué punto es moral que las decisiones dependan de un sistema que no nos puede explicar realmente qué ha hecho y por qué?

Con todo, los sesgos de la IA son saneables: con corrección, atención a estas cuestiones en el diseño o incorporar la ética desde el primer paso de trabajo en estos algoritmos se podrían mejorar las cosas. Igualmente importa abordar qué supone el uso de algoritmos en la justicia y qué impacto podría tener en la sociedad.

Europa cuenta con una normativa exigente en materia de inteligencia artificial, que limita qué se puede hacer y qué no al tiempo que suma mecanismos de seguridad para la ciudadanía. Eso supone que la justicia algorítmica tiene ciertas barreras. «Las personas no deberán ser objeto de una decisión basada únicamente en el tratamiento automatizado (como algoritmos) y que sea jurídicamente vinculante o que les afecte significativamente», recuerda la Comisión Europea. La UE no permite crear sistemas de puntuación social ni de policía predictiva basada en perfiles (como el sistema de Chicago).

Aun así, esto no quiere decir que no se use la inteligencia artificial en cuestiones de seguridad. En España, por ejemplo, el Ministerio de Interior usa un algoritmo (VioGén) para prevenir el riesgo futuro para las mujeres víctimas de violencia de género.

La entrada La ley del algoritmo se publicó primero en Ethic.