En una era donde la inteligencia artificial (IA) promete revolucionar cada faceta de nuestra existencia, su incursión en el sistema de justicia penal plantea interrogantes tan profundos como perturbadores. El Reino Unido se encuentra en el epicentro de este debate con el desarrollo de una herramienta, inicialmente conocida como "Proyecto de Predicción de Homicidios", que busca anticipar quién podría cometer un asesinato. Este artículo se adentra en los vericuetos de esta iniciativa, explorando sus promesas, sus peligros y las fundamentales cuestiones éticas que suscita.
El inquietante amanecer de la justicia predictiva
Las fuerzas del orden a nivel mundial se sienten cada vez más atraídas por el potencial de la IA para anticipar delitos y optimizar recursos, con la esperanza de forjar sociedades más seguras. La idea de que los algoritmos puedan desentrañar patrones ocultos en vastos conjuntos de datos, permitiendo intervenciones proactivas, resulta seductora. Sin embargo, esta búsqueda de seguridad algorítmica está sembrada de riesgos que amenazan los cimientos de las sociedades democráticas.
La privacidad se ve comprometida por la masiva recopilación de datos personales, mientras que el fantasma del sesgo algorítmico –donde la IA perpetúa e incluso amplifica las injusticias reflejadas en datos históricos– se cierne amenazante. La propia ambición de "predecir asesinatos" supone una desviación radical de la filosofía tradicional de la justicia, que históricamente ha operado de forma reactiva, interviniendo tras la comisión de un delito probado. Si el Estado comienza a actuar sobre probabilidades estadísticas en lugar de hechos consumados, principios como la presunción de inocencia y el debido proceso se tambalean.
La existencia de este proyecto en el Reino Unido, sacada a la luz gracias a la organización Statewatch mediante solicitudes de Acceso a la Información, desató una alarma pública y experta inmediata. Comparaciones con escenarios distópicos de ciencia ficción como Minority Report se hicieron habituales, subrayando la inquietud ante la perspectiva de llevar tales conceptos a la realidad.
La privacidad se ve comprometida por la masiva recopilación de datos personales, mientras que el fantasma del sesgo algorítmico –donde la IA perpetúa e incluso amplifica las injusticias reflejadas en datos históricos– se cierne amenazante. La propia ambición de "predecir asesinatos" supone una desviación radical de la filosofía tradicional de la justicia, que históricamente ha operado de forma reactiva, interviniendo tras la comisión de un delito probado. Si el Estado comienza a actuar sobre probabilidades estadísticas en lugar de hechos consumados, principios como la presunción de inocencia y el debido proceso se tambalean.
La existencia de este proyecto en el Reino Unido, sacada a la luz gracias a la organización Statewatch mediante solicitudes de Acceso a la Información, desató una alarma pública y experta inmediata. Comparaciones con escenarios distópicos de ciencia ficción como Minority Report se hicieron habituales, subrayando la inquietud ante la perspectiva de llevar tales conceptos a la realidad.
Bajo la lupa: Orígenes y engranajes del proyecto
La iniciativa para desarrollar esta herramienta predictiva está liderada por el Ministerio de Justicia del Reino Unido (MoJ), con la colaboración del Ministerio del Interior, la Policía del Gran Manchester (GMP) y la Policía Metropolitana de Londres (Met).
Encargado formalmente por el gobierno de Rishi Sunak en enero de 2023, el proyecto, con una fase de investigación programada hasta diciembre de 2024, fue originalmente bautizado como "Proyecto de Predicción de Homicidios". Posteriormente, este nombre explícito y alarmante fue cambiado por el más burocrático y benigno "compartir datos para mejorar la evaluación de riesgos", una táctica que sugiere un intento de mitigar la controversia inherente al proyecto.
El objetivo oficial declarado es explorar cómo los conjuntos de datos del MoJ pueden ayudar a evaluar el riesgo de homicidio e identificar características de los delincuentes que aumentan dicho riesgo. Sin embargo, una de las principales polémicas radica en la discrepancia entre la insistencia gubernamental de que el proyecto se encuentra "solo con fines de investigación" y la evidencia documental obtenida por Statewatch que apunta a una "futura operacionalización" del sistema. Esta contradicción alimenta la sospecha de que la fase actual es solo un preludio para un despliegue completo. Fuentes incluso han indicado que se trata de una expansión de tecnologías de predicción de riesgos ya existentes y problemáticas, como el Offender Assessment System (OASys).
Encargado formalmente por el gobierno de Rishi Sunak en enero de 2023, el proyecto, con una fase de investigación programada hasta diciembre de 2024, fue originalmente bautizado como "Proyecto de Predicción de Homicidios". Posteriormente, este nombre explícito y alarmante fue cambiado por el más burocrático y benigno "compartir datos para mejorar la evaluación de riesgos", una táctica que sugiere un intento de mitigar la controversia inherente al proyecto.
El objetivo oficial declarado es explorar cómo los conjuntos de datos del MoJ pueden ayudar a evaluar el riesgo de homicidio e identificar características de los delincuentes que aumentan dicho riesgo. Sin embargo, una de las principales polémicas radica en la discrepancia entre la insistencia gubernamental de que el proyecto se encuentra "solo con fines de investigación" y la evidencia documental obtenida por Statewatch que apunta a una "futura operacionalización" del sistema. Esta contradicción alimenta la sospecha de que la fase actual es solo un preludio para un despliegue completo. Fuentes incluso han indicado que se trata de una expansión de tecnologías de predicción de riesgos ya existentes y problemáticas, como el Offender Assessment System (OASys).
Anatomía de los datos: ¿De qué se alimenta el oráculo digital?
La equidad y eficacia de cualquier sistema de IA predictiva dependen crucialmente de los datos con los que se entrena. En este caso, las fuentes son extensas y preocupantes. Se nutre principalmente de los conjuntos de datos del MoJ, el Ordenador Nacional de la Policía (PNC) –que contiene información sobre condenas, advertencias y otra información policial– y datos de fuerzas policiales como la GMP anteriores a 2015. Un acuerdo de intercambio de datos entre el MoJ y la GMP detalla la transferencia de información de entre 100.000 y 500.000 individuos, incluyendo nombres, fechas de nacimiento, etnia y género. La controversia se agudiza con la revelación de que el proyecto incluye "marcadores de salud" con supuesto "poder predictivo significativo".
Esta lista incluye información altamente sensible sobre salud mental, adicciones, historial de autolesiones, riesgo de suicidio, vulnerabilidades y discapacidades. Más alarmante aún es la aparente inclusión de datos de individuos que no han cometido ningún delito, como víctimas de delitos (incluida la violencia doméstica), testigos y personas desaparecidas. Aunque el gobierno ha negado el uso de datos de no delincuentes, la evidencia presentada por Statewatch, basada en acuerdos de intercambio de datos, contradice estas afirmaciones.
Esta discrepancia siembra serias dudas sobre la credibilidad gubernamental o, alternativamente, sobre la gobernanza interna del proyecto. La afirmación de que los marcadores de salud tienen un poder predictivo significativo para el homicidio representa una peligrosa medicalización de la propensión criminal, simplificando en exceso un fenómeno complejo y arriesgándose a estigmatizar a individuos con problemas de salud. Además, el uso de datos de la GMP anteriores a 2015 implica entrenar el modelo con información potencialmente obsoleta, que podría reflejar sesgos históricos o condiciones que ya no son relevantes.
Es altamente improbable que los cientos de miles de personas cuyos datos se utilizan, especialmente información sensible de salud y datos de no condenados, hayan dado su consentimiento, lo que plantea serias dudas sobre el cumplimiento de las leyes de protección de datos como el RGPD.
Esta lista incluye información altamente sensible sobre salud mental, adicciones, historial de autolesiones, riesgo de suicidio, vulnerabilidades y discapacidades. Más alarmante aún es la aparente inclusión de datos de individuos que no han cometido ningún delito, como víctimas de delitos (incluida la violencia doméstica), testigos y personas desaparecidas. Aunque el gobierno ha negado el uso de datos de no delincuentes, la evidencia presentada por Statewatch, basada en acuerdos de intercambio de datos, contradice estas afirmaciones.
Esta discrepancia siembra serias dudas sobre la credibilidad gubernamental o, alternativamente, sobre la gobernanza interna del proyecto. La afirmación de que los marcadores de salud tienen un poder predictivo significativo para el homicidio representa una peligrosa medicalización de la propensión criminal, simplificando en exceso un fenómeno complejo y arriesgándose a estigmatizar a individuos con problemas de salud. Además, el uso de datos de la GMP anteriores a 2015 implica entrenar el modelo con información potencialmente obsoleta, que podría reflejar sesgos históricos o condiciones que ya no son relevantes.
Es altamente improbable que los cientos de miles de personas cuyos datos se utilizan, especialmente información sensible de salud y datos de no condenados, hayan dado su consentimiento, lo que plantea serias dudas sobre el cumplimiento de las leyes de protección de datos como el RGPD.
Entre la promesa y el peligro
La premisa de "predecir asesinatos" mediante algoritmos es científicamente precaria. Numerosos expertos han señalado que estos sistemas son "inherentemente defectuosos". No son tecnologías milagrosas, sino modelos estadísticos que identifican correlaciones en datos históricos, las cuales no implican necesariamente causalidad. Un problema inherente es el "sumidero de responsabilidad": los algoritmos pueden fallar, pero a menudo nadie es directamente responsable. Además, verificar la "prevención" de un delito es prácticamente imposible, lo que socava la evaluación científica rigurosa.
Uno de los riesgos más graves es el sesgo algorítmico, encapsulado en el principio de "sesgo de entrada, sesgo de salida". Si los datos históricos reflejan desigualdades estructurales, particularmente raciales y socioeconómicas, el algoritmo las reproducirá e incluso las amplificará.
Statewatch teme que el modelo refuerce la discriminación estructural, codificando el sesgo contra comunidades racializadas y de bajos ingresos, grupos ya sobrerrepresentados en los datos del MoJ. Incluso sin usar la raza explícitamente, otros datos como el código postal pueden actuar como sustitutos, llevando a resultados discriminatorios.
El desarrollo de esta herramienta, a pesar de la evidencia sobre los fallos de la predicción algorítmica, sugiere una fe en el "tecnosolucionismo" para resolver problemas sociales complejos que podrían abordarse mejor con inversión en servicios de bienestar y apoyo comunitario.
Los dilemas éticos son profundos: la privacidad se ve amenazada por el uso de datos masivos y sensibles sin consentimiento; el debido proceso y la presunción de inocencia se socavan al perfilar individuos como futuros delincuentes "antes de que hayan hecho nada"; la naturaleza de "caja negra" de muchos algoritmos dificulta la transparencia y la rendición de cuentas; y la equidad es matemáticamente difícil de alcanzar en todas sus métricas simultáneamente cuando las tasas base de los resultados difieren entre grupos.
Uno de los riesgos más graves es el sesgo algorítmico, encapsulado en el principio de "sesgo de entrada, sesgo de salida". Si los datos históricos reflejan desigualdades estructurales, particularmente raciales y socioeconómicas, el algoritmo las reproducirá e incluso las amplificará.
Statewatch teme que el modelo refuerce la discriminación estructural, codificando el sesgo contra comunidades racializadas y de bajos ingresos, grupos ya sobrerrepresentados en los datos del MoJ. Incluso sin usar la raza explícitamente, otros datos como el código postal pueden actuar como sustitutos, llevando a resultados discriminatorios.
El desarrollo de esta herramienta, a pesar de la evidencia sobre los fallos de la predicción algorítmica, sugiere una fe en el "tecnosolucionismo" para resolver problemas sociales complejos que podrían abordarse mejor con inversión en servicios de bienestar y apoyo comunitario.
Los dilemas éticos son profundos: la privacidad se ve amenazada por el uso de datos masivos y sensibles sin consentimiento; el debido proceso y la presunción de inocencia se socavan al perfilar individuos como futuros delincuentes "antes de que hayan hecho nada"; la naturaleza de "caja negra" de muchos algoritmos dificulta la transparencia y la rendición de cuentas; y la equidad es matemáticamente difícil de alcanzar en todas sus métricas simultáneamente cuando las tasas base de los resultados difieren entre grupos.
Lecciones del pasado, augurios del futuro
Para comprender los riesgos, es útil examinar sistemas previos como el Offender Assessment System (OASys), utilizado por el MoJ para predecir la probabilidad de reincidencia e influir en sentencias y libertad condicional. OASys ha sido ampliamente criticado por su sesgo racial sistémico, donde las prácticas policiales sesgadas pueden contaminar los datos y hacer que individuos de minorías parezcan de mayor riesgo.
Evaluaciones oficiales encontraron una menor validez predictiva para delincuentes de etnias asiática, negra y mixta en comparación con los blancos. Además, se ha señalado que OASys sobrepredice la reincidencia y sufre de la entrada de información inexacta, como etiquetas discriminatorias de "pandillas" sin pruebas suficientes. Los presos han reportado enormes dificultades para corregir esta información. Que el nuevo proyecto se considere una expansión de esta tecnología es profundamente alarmante, sugiriendo que las fallas de OASys podrían heredarse y amplificarse. Otra iniciativa, la Solución Nacional de Análisis de Datos (NDAS), patrocinada por el Ministerio del Interior, puso en pausa sus casos de uso predictivos para "Violencia Más Grave" debido a preocupaciones no especificadas.
Esto plantea la pregunta de por qué el MoJ avanza con una herramienta predictiva de homicidios, posiblemente más sensible, si otra iniciativa nacional ha frenado proyectos similares. A nivel internacional, el sistema COMPAS en Estados Unidos también ha sido criticado por su sesgo racial en la predicción de la reincidencia, mostrando tasas de falsos positivos significativamente más altas para acusados negros.
Evaluaciones oficiales encontraron una menor validez predictiva para delincuentes de etnias asiática, negra y mixta en comparación con los blancos. Además, se ha señalado que OASys sobrepredice la reincidencia y sufre de la entrada de información inexacta, como etiquetas discriminatorias de "pandillas" sin pruebas suficientes. Los presos han reportado enormes dificultades para corregir esta información. Que el nuevo proyecto se considere una expansión de esta tecnología es profundamente alarmante, sugiriendo que las fallas de OASys podrían heredarse y amplificarse. Otra iniciativa, la Solución Nacional de Análisis de Datos (NDAS), patrocinada por el Ministerio del Interior, puso en pausa sus casos de uso predictivos para "Violencia Más Grave" debido a preocupaciones no especificadas.
Esto plantea la pregunta de por qué el MoJ avanza con una herramienta predictiva de homicidios, posiblemente más sensible, si otra iniciativa nacional ha frenado proyectos similares. A nivel internacional, el sistema COMPAS en Estados Unidos también ha sido criticado por su sesgo racial en la predicción de la reincidencia, mostrando tasas de falsos positivos significativamente más altas para acusados negros.
El factor humano en la era algorítmica: El juicio digital
La implementación de estos sistemas, incluso "solo para investigación", puede tener un impacto perjudicial en individuos y comunidades. Ser señalado por un algoritmo como un riesgo potencial de homicidio podría llevar a una mayor vigilancia y estigmatización, especialmente para comunidades ya marginadas.
Existe el peligro de crear una "sociedad de sospechosos", erosionando la confianza entre la policía y la comunidad. La "caja negra" algorítmica es un problema agudo en la justicia penal. Aunque la IA Explicable (XAI) busca ofrecer transparencia, explicar una decisión no la hace necesariamente justa. El derecho a impugnar decisiones adversas es fundamental, pero si el razonamiento algorítmico es opaco o se basa en datos defectuosos, las vías de reparación son inciertas.
El despliegue de sistemas predictivos secretos y sesgados puede minar la confianza pública en las autoridades. Además, existe un riesgo de "efecto inhibidor": si los ciudadanos temen que su información personal (como datos de salud mental) pueda ser usada en su contra, podrían ser menos propensos a buscar ayuda o denunciar delitos.
Existe el peligro de crear una "sociedad de sospechosos", erosionando la confianza entre la policía y la comunidad. La "caja negra" algorítmica es un problema agudo en la justicia penal. Aunque la IA Explicable (XAI) busca ofrecer transparencia, explicar una decisión no la hace necesariamente justa. El derecho a impugnar decisiones adversas es fundamental, pero si el razonamiento algorítmico es opaco o se basa en datos defectuosos, las vías de reparación son inciertas.
El despliegue de sistemas predictivos secretos y sesgados puede minar la confianza pública en las autoridades. Además, existe un riesgo de "efecto inhibidor": si los ciudadanos temen que su información personal (como datos de salud mental) pueda ser usada en su contra, podrían ser menos propensos a buscar ayuda o denunciar delitos.
El Desafío de la IA en la Ley
La regulación de estas tecnologías es compleja. En el Reino Unido, el RGPD y la Ley de Protección de Datos de 2018 ofrecen un marco general, pero su adecuación para los desafíos específicos de la IA predictiva en justicia penal es cuestionable.
La Oficina del Comisionado de Información (ICO) es el regulador, pero su capacidad para supervisar estos sistemas puede ser limitada sin recursos especializados. La Ley de IA de la UE, con su enfoque basado en el riesgo, clasifica como de "alto riesgo" muchos sistemas de IA para la aplicación de la ley e incluso prohíbe ciertas prácticas, como algunos tipos de policía predictiva basados únicamente en el perfilado. Aunque el Reino Unido no está en la UE, esta ley podría tener influencia indirecta.
El desarrollo de proyectos como este en un período de evolución regulatoria sugiere un posible intento de avanzar antes de que se establezcan normas estrictas. Es esencial un marco de gobernanza robusto, con auditorías independientes obligatorias y directrices éticas claras.
La supervisión humana, aunque citada como salvaguarda, debe ser significativa y capaz de cuestionar las salidas algorítmicas, requiriendo organismos multidisciplinares con experiencia diversa.
La Oficina del Comisionado de Información (ICO) es el regulador, pero su capacidad para supervisar estos sistemas puede ser limitada sin recursos especializados. La Ley de IA de la UE, con su enfoque basado en el riesgo, clasifica como de "alto riesgo" muchos sistemas de IA para la aplicación de la ley e incluso prohíbe ciertas prácticas, como algunos tipos de policía predictiva basados únicamente en el perfilado. Aunque el Reino Unido no está en la UE, esta ley podría tener influencia indirecta.
El desarrollo de proyectos como este en un período de evolución regulatoria sugiere un posible intento de avanzar antes de que se establezcan normas estrictas. Es esencial un marco de gobernanza robusto, con auditorías independientes obligatorias y directrices éticas claras.
La supervisión humana, aunque citada como salvaguarda, debe ser significativa y capaz de cuestionar las salidas algorítmicas, requiriendo organismos multidisciplinares con experiencia diversa.
Hacia un futuro tecnológico responsable en la Seguridad Pública
El "Proyecto de Predicción de Homicidios" del Reino Unido presenta un panorama plagado de riesgos éticos, legales y sociales. Su dependencia de datos potencialmente sesgados, la inclusión de información sensible de no delincuentes, la dudosa validez científica, la falta de transparencia y el potencial de discriminación lo convierten en una iniciativa inherentemente peligrosa.
Este proyecto parece continuar una trayectoria de adopción de tecnologías problemáticas sin aprender de fallos pasados. Se recomienda la cesación inmediata del proyecto y una revisión independiente y transparente. De confirmarse infracciones, los datos recopilados inapropiadamente deberían eliminarse. Más ampliamente, se propone una moratoria sobre sistemas de policía predictiva de alto riesgo hasta que existan marcos regulatorios sólidos.
Los recursos deberían redirigirse hacia iniciativas de seguridad comunitaria basadas en la evidencia y programas que aborden las causas profundas de la violencia. Es crucial fortalecer la gobernanza de datos, exigir transparencia total y asegurar que cualquier futura herramienta de IA sea rigurosamente probada para detectar sesgos.
La verdadera innovación en seguridad pública no reside solo en la sofisticación tecnológica, sino en la sabiduría para aplicarla de manera justa y en el compromiso de abordar las complejas raíces sociales de la delincuencia.
Este proyecto parece continuar una trayectoria de adopción de tecnologías problemáticas sin aprender de fallos pasados. Se recomienda la cesación inmediata del proyecto y una revisión independiente y transparente. De confirmarse infracciones, los datos recopilados inapropiadamente deberían eliminarse. Más ampliamente, se propone una moratoria sobre sistemas de policía predictiva de alto riesgo hasta que existan marcos regulatorios sólidos.
Los recursos deberían redirigirse hacia iniciativas de seguridad comunitaria basadas en la evidencia y programas que aborden las causas profundas de la violencia. Es crucial fortalecer la gobernanza de datos, exigir transparencia total y asegurar que cualquier futura herramienta de IA sea rigurosamente probada para detectar sesgos.
La verdadera innovación en seguridad pública no reside solo en la sofisticación tecnológica, sino en la sabiduría para aplicarla de manera justa y en el compromiso de abordar las complejas raíces sociales de la delincuencia.
