• Esta dirección de correo electrónico está siendo protegida contra los robots de spam. Necesita tener JavaScript habilitado para poder verlo.
El sesgo algorítmico en derecho: ¿Cómo garantizar decisiones imparciales?

El sesgo algorítmico en derecho: ¿Cómo garantizar decisiones imparciales?

Por Milagros Denise Tallarico (*)

Sumario: I.- Introducción.  II.- Abordaje de los sesgos algorítmicos en Argentina. III.- Mecanismos para su mitigación: supervisión humana, control de calidad y actualización de los modelos algorítmicos IV.- Necesidad de un enfoque humano en la toma de decisiones judiciales – Conclusiones.

I.- Introducción

En el último año, el Poder Judicial en Argentina ha comenzado a incorporar inteligencia artificial en diversos juzgados -con el objetivo de optimizar tareas que van desde la automatización de procesos repetitivos hasta la mejora en la gestión de expedientes-. Si bien la implementación de estos sistemas representa un gran avance, este impulso hacia la modernización del Poder Judicial también trae aparejados desafíos éticos, especialmente en relación con los sesgos algorítmicos.

El sesgo algorítmico se refiere a la distorsión de los resultados generados por los algoritmos debido a la influencia de datos incompletos, desactualizados o cargados de prejuicios históricos, dado que fueron diseñados para ser imparciales, pero pueden replicar y amplificar las inequidades existentes en la sociedad si no se gestionan de manera adecuada.

Si bien los modelos en los que se basa la inteligencia artificial absorben los prejuicios de la sociedad que pueden estar silenciosamente incrustados en las montañas de datos con los que se entrenan1, en nuestro ámbito puede traducirse en decisiones judiciales injustas, discriminación hacia grupos vulnerables o la perpetuación de estereotipos sociales. 

La justicia, como principio fundamental del sistema legal, depende de la equidad, imparcialidad y del respeto a los derechos humanos. Por ello, surge la pregunta crucial: ¿cómo sabemos que el algoritmo está tomando la decisión correcta? A medida que los algoritmos juegan un papel más protagónico en la toma de decisiones judiciales, es imprescindible establecer mecanismos para garantizar que estas tecnologías no perjudiquen el principio de justicia, sino que se utilicen de manera ética y responsable.

II.- Abordaje de los sesgos algorítmicos en Argentina

En este marco, la Subsecretaría de Tecnologías de la Información de la Jefatura de Gabinete de Ministros de la Nación estableció las “Recomendaciones para una Inteligencia Artificial Fiable2.

Este documento tiene como principal objetivo: diseñar, proponer y coordinar las políticas de innovación administrativa y tecnológica del Estado Nacional en sus distintas áreas, su Administración central y descentralizada, y determinar los lineamientos estratégicos y la propuesta de las normas reglamentarias en la materia. En sus Anexos I y II, se destaca que las soluciones tecnológicas basadas en inteligencia artificial permiten mayores niveles de automatización y el salto hacia sistemas descentralizados y predictivos para la toma de decisiones, las cuales permiten mejorar el diseño, implementación y evaluación de las políticas.

La iniciativa hace referencia a la importancia de conformar un equipo humano diverso y multidisciplinario para abordar los riesgos de los sesgos algorítmicos. Tal es así, que en su punto 3.2.1 específicamente menciona: 

‘‘La diversidad de conocimientos y de perspectivas en estos equipos es fundamental para abordar los desafíos éticos, comprender las implicaciones sociales, priorizar soluciones centradas en el usuario, evitar sesgos y discriminación, y fomentar la innovación

Contar con un equipo humano con diversidad en las perspectivas, conocimientos y experiencias variadas en diferentes áreas, puede ayudar a lograr una comprensión más profunda de los usuarios y sus contextos, y por lo tanto, a abordar los desafíos de la IA desde diferentes puntos de vista. Puede conducir a soluciones más completas y creativas, más intuitivas y adaptadas a las necesidades reales de las personas. La diversidad en los equipos también puede ayudar a identificar y abordar sesgos inherentes en los datos, algoritmos y decisiones automatizadas, contribuyendo a mitigar la discriminación y garantizar que los sistemas de IA sean diseñados y/o implementados de manera responsable, justa y equitativa. Además, siempre es recomendable generar canales de comunicación con actores externos al gobierno, que puedan ser consultados y escuchados, aunque no se involucren directamente en el desarrollo, implementación o ejecución del proyecto. Por ejemplo, actores de la sociedad civil, de las universidades, la academia, el empresariado, especialistas en ética y en las disciplinas involucradas, entre otros.’’

Las recomendaciones ofrecen un marco base, reconociendo que los sistemas de toma de decisiones automatizados pueden tener un impacto significativo en los derechos de las personas y en la equidad social.

III.- Mecanismos para mitigar el sesgo algorítmico: supervisión humana y control de calidad.

La influencia de datos sesgados es determinante en la reproducción de esos sesgos en los algoritmos de inteligencia artificial. Cuando estos algoritmos se entrenan con conjuntos de datos que reflejan prejuicios de género presentes en la sociedad, la IA puede replicar y amplificar esos sesgos en sus decisiones y resultados3.                    

Para mitigar estos riesgos, es imprescindible implementar mecanismos robustos de supervisión humana y control de calidad en todas las etapas de desarrollo y utilización de los sistemas de inteligencia artificial en el ámbito judicial. Entre ellos:

Supervisión humana
La supervisión humana es fundamental para detectar y corregir cualquier sesgo o error que pueda surgir durante el uso de algoritmos en decisiones judiciales. Si bien la inteligencia artificial puede procesar grandes volúmenes de datos y realizar tareas de manera más eficiente que los humanos, no tiene la capacidad de considerar todos los matices éticos y sociales de un caso específico. Es por eso que la intervención de jueces, abogados y otros profesionales del derecho se vuelve determinante. La supervisión humana no solo debe centrarse en la revisión de los resultados generados por los algoritmos, sino también en la validación de los datos que alimentan estos sistemas, asegurando que no estén sesgados ni incompletos.

Los jueces, en su rol como autoridades responsables de la toma de decisiones, deben revisar los proyectos generados por los sistemas automáticos y, en caso de identificar un error o sesgo, corregirlo o anularlo. Esta supervisión asegura que las decisiones automatizadas no infrinjan principios de justicia, equidad o derechos humanos.

Control de calidad
El control de calidad es otro mecanismo esencial para mitigar el sesgo algorítmico. Implementar auditorías periódicas de los sistemas de inteligencia artificial puede garantizar que los algoritmos funcionen de manera correcta y no refuercen prejuicios sociales o discriminación.

Los sistemas utilizados en el ámbito judicial deben ser auditables y sus decisiones deben ser explicables. La explicabilidad significa que tanto los profesionales del derecho como las personas afectadas por las decisiones automatizadas deben poder entender cómo se llegó a una conclusión específica, y si existen elementos de sesgo, cómo estos se están manejando.

Entrenamiento y actualización de los modelos algorítmicos
Para que los algoritmos mantengan un alto nivel de precisión y justicia, es necesario entrenarlos con datos representativos y actualizarlos regularmente. De hecho, la inteligencia artificial se basa en tres pilares fundamentales: algoritmos, hardware y datos4. Un modelo entrenado solo con datos históricos podría reflejar patrones de discriminación, mientras que uno entrenado con datos más completos y diversos tiene mayores posibilidades de generar decisiones justas y equitativas. El entrenamiento de algoritmos tiene que incluir una revisión constante de los datos y los resultados para detectar cualquier sesgo y adaptarse a los cambios sociales. Además, la diversidad de datos elemental para evitar que los algoritmos reflejen prejuicios de género, raza, o clase social.

IV.- Necesidad de un enfoque humano en la toma de decisiones judiciales – Conclusiones

Aunque la inteligencia artificial está transformando la forma en que los sistemas judiciales operan, la necesidad de un enfoque humano en la toma de decisiones judiciales es indiscutible. Los algoritmos, por muy avanzados que sean, carecen de las capacidades emocionales, éticas y contextuales que los jueces, abogados y otros profesionales del derecho pueden aportar al proceso judicial. Si bien la inteligencia artificial puede ser útil en la optimización de tareas administrativas del Tribunal o en el procesamiento de grandes cantidades de datos, el juicio humano sigue siendo esencial para asegurar que las decisiones sean justas, equitativas y respetuosas con los derechos humanos.

La complejidad de los casos judiciales, especialmente aquellos que involucran aspectos humanos y sociales, exige una consideración de los matices que solo un ser humano puede apreciar. Las decisiones judiciales no se limitan a aplicar la ley de forma fría y técnica; también requieren una comprensión profunda de las circunstancias/contexto de cada caso, así como una evaluación de las implicaciones éticas, sociales y emocionales de la resolución. Este tipo de juicio es algo que los algoritmos, aunque altamente sofisticados, no pueden replicar de manera completa.

1. International Business Machines Corporation (IBM) - ‘’¿Qué es el sesgo de la IA?’’- James Holdsworth (22/12/23) https://www.ibm.com/es-es/topics/ai-bias

2. Boletín Oficial de la República Argentina - “Recomendaciones para una Inteligencia Artificial Fiable” https://www.boletinoficial.gob.ar/detalleAviso/primera/287679/20230602

3. Universidad de Chile – ‘‘Inteligencia artificial y sesgos de género: Entrenar a los algoritmos para no perpetuar discriminaciones’’ (11.03.2024) https://uchile.cl/noticias/213982/avances-y-desafios-sobre-inteligencia-artificial-y-sesgos-de-genero

4. Consejo de Tecnología de Forbes – ‘’Datos de entrenamiento: el problema olvidado de la IA moderna’’.  https://www.forbes.com/councils/forbestechcouncil/2022/06/27/training-data-the-overlooked-problem-of-modern-ai/


(*) Milagros Denise Tallarico. Abogada graduada de la Universidad Nacional de Lomas de Zamora (UNLZ).  Legal Analytics Universidad Torcuato Di Tella (UTDT). Semi Sr. Associate en Alfaro Abogados.