ARTÍCULO
Por: Carla Margarita Pérez Meléndez*
“The future is here, it’s just not very evenly distributed.”[efn_note]William Gibson, The Science in Science Fiction, NPR (Oct. 22, 2018, 8:23 PM), https://www.npr.org/2018/10/22/1067220/the-science-in-science-fiction, William Gibson, The Science in Science Fiction, Talk of the Nation, NPR (Nov. 30, 1999, 11:55 PM), https://quotepark.com/quotes/1023334-william-gibson-the-future-is-already-here-its-just-not-very-ev/.[/efn_note]
Introducción
¿Qué tienen que ver los algoritmos y los medios digitales con la igualdad ante la ley? La digitalización es gran parte de nuestra vida, más allá de ser tema de película de ciencia ficción, es una realidad. Actualmente, gran parte de los trámites, tanto públicos como privados, se llevan a cabo mediante plataformas digitales. La proliferación de tecnologías digitales — como teléfonos móviles, relojes inteligentes, tabletas, computadoras, etc. — ha aumentado exponencialmente la participación humana en plataformas digitales. Cuando el Pew Research Center comenzó a monitorear el uso de redes sociales en el 2005, solamente 5% de los adultos estadounidenses utilizaban al menos una de estas plataformas.[efn_note]PEW RESEARCH CENTER, Social Media Fact Sheet, PEW RESEARCH CENTER (7 de abril de 2021) https://www.pewresearch.org/internet/fact-sheet/social-media/ (19 de noviembre de 2021).[/efn_note] En el 2011, esa cifra aumentó a 50% y, actualmente, 72% del público usa algún tipo de red social.[efn_note]Id.[/efn_note]
Para poder prever las controversias futuras y poder salvaguardar íntegramente nuestros derechos fundamentales, es imperativo que los juristas nos adentremos en el estudio de dos conceptos: la inteligencia artificial y la acumulación de cantidades inmensas de datos personales. Ambos conceptos, a pesar de aparentar neutralidad, automatización y mecanización, están grandemente mediados por la intervención, la interpretación y el ingenio humano. La inteligencia artificial en gran medida es el producto de la representación matemática de reglas establecidas por la persona que programa.[efn_note]John McCarthy, Mathematical Logic in Artificial Intelligence, 117 Daedalus 297 (1988).[/efn_note] A este conjunto de reglas se le provee información para que aprenda cómo llegar a conclusiones y arrojar resultados.[efn_note]Selena Silva & Martin Kenney, Algorithms, Platforms and Ethnic Bias, 55 Phylon 9, 15-18 (2018) (citas omitidas).[/efn_note] Estos, a su vez, son utilizados por diversas entidades, tanto públicas como privadas, a la hora de tomar decisiones y generar política pública.[efn_note]Julia Angwin, Making algorithms accountable, ProPublica (1 de agosto de 2016), https://www.propublica.org/article/making-algorithms-accountable.[/efn_note]
¿Cómo los sesgos subconscientes y conscientes se inmiscuyen en la creación de estas herramientas y plataformas digitales? ¿Cómo los datos que nutren estas plataformas afectan los resultados que estas proveen? ¿Qué implicaciones en nuestro día a día tiene el uso de estas plataformas? ¿Hay algún tipo de regulación para asegurar que los resultados producidos por las plataformas digitales sean confiables? A modo de ejemplo, estos métodos predictivos son utilizados en procedimientos judiciales, por entidades crediticias, y por la Policía.[efn_note]Id.[/efn_note] Este ensayo intentará abordar a grandes rasgos las implicaciones de la utilización de algoritmos predictivos y tecnologías basadas en el reconocimiento facial a la hora de tomar decisiones que inciden directamente sobre la decimocuarta enmienda.
I. Igualdad ante la ley e igual protección de las leyes
La decimocuarta enmienda establece, entre otras cosas, que ningún estado le negará a ninguna persona la igual protección de las leyes.[efn_note]U.S. Const. amend. XIV, §1, cl. 3.[/efn_note] Dicha clausula se activa cuando el Tribunal se enfrenta a legislación, reglamentación o programas gubernamentales que establecen distinción entre personas o grupos.[efn_note]Ronald D. Rotunda & John E. Nowak, Principles of Constitutional Law 424 (5ta ed. 2016).[/efn_note] Esta protección no prohíbe que el gobierno clasifique a las personas o establezca límites al crear y aplicar leyes.[efn_note]Id. en la pág. 420.[/efn_note] Lo que sí prohíbe es que dichas clasificaciones se basen en criterios impermisibles o arbitrarios que constituyan una carga onerosa sobre un grupo determinado.[efn_note]Id.[/efn_note] A pesar de que la Constitución de los Estados Unidos tiene otras referencias que apuntan a la noción de igualdad, la decimocuarta enmienda ha sido el vehículo por excelencia a la hora de buscar proteger los derechos individuales. Y es que la clausula de igual protección de las leyes se activa precisamente ante los tipos de situaciones que afectan dichos derechos.[efn_note]Id. en las págs. 424-26.[/efn_note]
A. Análisis judicial bajo la cláusula de Igual Protección de las Leyes
El Tribunal Supremo de los Estados Unidos ha establecido tres tipos de análisis para evaluar si una legislación se sostiene ante la cláusula de igual protección de las leyes: el escrutinio estricto, el escrutinio intermedio y el criterio de racionalidad mínima.[efn_note]Id. en las págs. 426-28.[/efn_note] Al determinar qué escrutinio utilizar, el Tribunal primeramente pasará a evaluar qué tipo de clasificación utiliza la legislación o si afecta un derecho fundamental, o un derecho o interés importante.[efn_note]Id. en las págs. 424, 426.[/efn_note] Para aplicar el escrutinio estricto, el Tribunal observará si la legislación o acción gubernamental utiliza una clasificación que se entiende como sospechosa o si afecta un derecho fundamental.[efn_note]Id. en las págs. 426-27.[/efn_note] Cuando la clasificación discrimina contra una minoría que tradicionalmente ha sido objeto de discrimen en el proceso político se entiende como sospechosa.[efn_note]Id. en la pág. 427.[/efn_note] Dentro de esta categoría caen criterios raciales, de sexo, étnicos o de extranjería.[efn_note]Id.[/efn_note] Usualmente esta categoría se refiere a rasgos inherentes de la persona que esta no puede cambiar, o a si la clasificación distingue entre personas en base al ejercicio de derechos fundamentales.[efn_note]Id.[/efn_note] Para que la legislación se declare constitucional, el Estado deberá probar que tiene un interés apremiante, que la clasificación o el discrimen es necesario para alcanzar dicho interés y que no hay medios menos onerosos para alcanzarlo.[efn_note]Id. en las págs. 426-27.[/efn_note]
Por otro lado, para aplicar el escrutinio intermedio, el Tribunal observará si la legislación o acción gubernamental afecta un derecho o interés importante o si emplea una clasificación semi-sospechosa.[efn_note]Id. en la pág. 428.[/efn_note] Bajo este escrutinio, el Estado debe demostrar que se persigue un propósito importante y que la clasificación propende sustancialmente a alcanzarlo.[efn_note]Id.[/efn_note] Por último, el criterio de racionalidad mínima se utiliza para evaluar reglamentación social y económica que no crea clasificaciones sospechosas y no afecta derechos fundamentales.[efn_note]Id. en la pág. 426.[/efn_note] Bajo este criterio se presume la constitucionalidad de la clasificación y esta se sostiene si puede concluirse que existe alguna relación racional entre la clasificación y el propósito del estatuto o actuación gubernamental.[efn_note]Id.[/efn_note] Cuando se utiliza este escrutinio, la ley se presume constitucional si existe un mero nexo racional entre el propósito legislativo y la clasificación establecida, por lo que, la ley será constitucional siempre que razonablemente pueda concebirse una situación que justifique la clasificación.[efn_note]Id.[/efn_note]
a. Contexto histórico de la decimocuarta enmienda
La decimocuarta enmienda, ratificada en 1868, es una de tres enmiendas aprobadas durante el periodo de la Reconstrucción conocidas como The Civil War Amendments.[efn_note]History, 14th Amendment (12 de enero de 2021), https://www.history.com/topics/black-history/fourteenth-amendment.[/efn_note] La ratificación de estas enmiendas — la decimotercera, decimocuarta y decimoquinta — se dio en medio de un tranque político entre el presidente del momento, Andrew Johnson, y los llamados republicanos radicales.[efn_note]Id.[/efn_note] Los estados que deseaban ser admitidos nuevamente a la unión debían ratificar las tres enmiendas.[efn_note]Id.[/efn_note] A pesar de que en su concepción la decimocuarta enmienda se ideó como una manera de garantizar el trato igualitario de los negros luego de la abolición de la esclavitud y la Guerra Civil,[efn_note]Id.[/efn_note] —como mencioné anteriormente— su función evolucionó y se convirtió en un vehículo para la protección de derechos individuales.[efn_note]Nathan S. Chapman & Kenji Oshino, The Fourteenth Amendment Due Process Clause, Interactive Constitution (última visita 24 de noviembre de 2021) https://constitutioncenter.org/interactive-constitution/interpretation/amendment-xiv/clauses/701.[/efn_note]
B. Algoritmos, medios digitales y sesgos implícitos
a. Creación y funcionamiento de los algoritmos
“En su nivel más elemental, un algoritmo es un conjunto de reglas o proceso utilizado en calculaciones, especialmente computarizadas, u otras operaciones para resolver problemas. . .. Los algoritmos se integran al programa y este procesa la data acorde al conjunto de reglas y produce un resultado”.[efn_note]Selena Silva & Martin Kenney, Algorithms, Platforms and Ethnic Bias, 55 PHYLON 9, 11 (2018) (traducción suplida).[/efn_note] En términos generales, los algoritmos procesan la información que se les provee y generan un resultado a partir de ella.[efn_note]Id.[/efn_note] Estos resultados tienen un sinnúmero de aplicaciones, no obstante, para propósitos de este ensayo nos enfocaremos en las aplicaciones que tiene que inciden sobre la decimocuarta enmienda. El proceso de un algoritmo puede dividirse en tres partes: (1) input; (2) procesamiento; y (3) output, y a estas tres partes se le añade una cuarta que es la aplicación del resultado suministrado por el algoritmo.[efn_note]Id. en la pág. 14.[/efn_note]
La primera, conocida como input consiste a su vez de dos sub-pasos: (a) la información de entrenamiento y (b) el enfoque del funcionamiento del algoritmo.[efn_note]Id.[/efn_note] En esta parte se determinan qué factores el algoritmo va a utilizar para llegar a su resultado, y se le provee información para que aprenda, a esto se le conoce como machine learning. International Business Machines Corporations (IBM) define machine learning como:
[U]na rama de la inteligencia artificial y la ciencia de cómputos que se enfoca en el uso de data y algoritmos para imitar la manera en la cual los seres humanos aprenden, que gradualmente mejora su precisión. . .. El aprendizaje automático es un componente importante del campo en desarrollo que la ciencia de datos. A través del uso de métodos estadísticos, los algoritmos son entrenados para clasificar o predecir, descubriendo así aspectos claves en proyectos de procesamiento de datos. Subsecuentemente, estos aspectos lideran el proceso de toma de decisiones en aplicaciones y negocios, impactando, idealmente, métricas claves de crecimiento.[efn_note]IBM Cloud Education, What is machine learning?, IBM (15 de julio de 2020), https://www.ibm.com/cloud/learn/machine-learning (traducción suplida).[/efn_note]
La segunda parte, conocida como procesamiento, es el paso en el que algoritmo predictivo, aplica lo aprendido para proveer un resultado.[efn_note]Silva & Kenney, supra nota 29, en las págs. 14.[/efn_note] La tercera, conocida como output es el paso en el que el algoritmo, a partir de la información provista, provee un resultado.[efn_note]Id.[/efn_note] La cuarta y última parte es la interpretación y aplicación humana del resultado provisto por el algoritmo.[efn_note]Id.[/efn_note]
Diversas partes de este proceso son vulnerables a los sesgos. Senela Silva y Martin Kenney en Algorithms, Platforms, and Ethnic Bias: An Integrative Essay identificaron nueve tipos de sesgos que pueden ocurrir desde la génesis del algoritmo hasta en la aplicación del resultado que este produzca.[efn_note]Id.[/efn_note] Los nueve tipos de sesgos identificados por los autores son: (1) sesgos en los datos de entrenamiento; (2) sesgos en el enfoque del algoritmo; (3) sesgos en el procesamiento del algoritmo; (4) sesgo en el resultado del algoritmo; (5) sesgo en la interpretación del resultado; (6) sesgo en la transparencia del resultado; (7) sesgo en la automatización del resultado; (8) sesgo en los consumidores; y, (9) sesgo en la retroalimentación.[efn_note]Id.[/efn_note]
Los primeros dos sesgos se presentan en la primera etapa del algoritmo, entiéndase en su creación y en la información que se le provee para entrenarlo.[efn_note]Véase id. en la pág. 14, según presentado en la Figura 1.[/efn_note] El tercero se presenta en cómo el algoritmo procesa la información provista.[efn_note]Id.[/efn_note] El cuarto, quinto y sexto se presentan en el resultado que el algoritmo provee.[efn_note]Id.[/efn_note] El séptimo, octavo y noveno se presentan una vez la decisión es aplicada y esta a su vez vuelve a nutrir el algoritmo.[efn_note]Id.[/efn_note] Es importante destacar que cada sesgo nutre al próximo y a su vez al anterior.[efn_note]Id.[/efn_note] Si analizamos el proceso del algoritmo como un ciclo, el producto final sesgado construye un pensamiento sesgado en la persona que da por objetiva y cierta la decisión generada por el algoritmo. Esta, a su vez, lo aplica en su proceso de toma de decisiones que termina generando repercusiones en la vida real. Estas últimas pasan a nutrir otros algoritmos ya que pasan a construir y formar parte del pensamiento colectivo.
b. Sesgos implícitos
Estos sesgos usualmente se entienden como implícitos, ya que en muchas instancias se considera que la actora no está consciente de que los posee.[efn_note]Anthony Greenwald & Linda Hamilton Krieger, Implicit Bias: Scientific Foundations, 94 Cal. L. Rev. 945, 946-47 (2006).[/efn_note] Anthony G. Greenwald y Linda Hamilton Krieger indican en Implicit Bias: Scientific Foundations que:
[L]a ciencia de la cognición implícita sugiere que los actores no tienen siempre control consciente e intencional sobre los procesos de percepción social, formación de impresión, y discernimiento que motivan sus acciones. Muchos procesos mentales funcionan implícitamente, o fuera del enfoque de atención consciente. . .. Por ejemplo, los estudios sobre memoria implícita demuestran que hasta cuando una persona voluntariamente (explícitamente) no puede recordar una memoria, el comportamiento de dicha persona puede revelar que alguna experiencia previa ha dejado un récord en la mente.[efn_note]Id. en las págs. 946-47 (traducción suplida).[/efn_note]
Los sesgos implícitos están, a su vez, compuestos de actitudes y estereotipos implícitos.[efn_note]Id. en la pág. 948.[/efn_note] Las actitudes son definidas como la tendencia de que algo guste o disguste, o la tendencia de actuar favorablemente en cuanto a algo y desfavorablemente en cuanto a otra cosa o persona.[efn_note]Id.[/efn_note] Mientras que un estereotipo social se describe como una asociación mental entre un grupo social o categoría y un rasgo; asociación que puede, pero no necesariamente debe, reflejar una realidad estadística.[efn_note]Id. en la pág. 949.[/efn_note] A pesar de que pensemos que no tenemos sesgos, todas las personas los tenemos.
Al aplicar estos conceptos a los modelos algorítmicos presentados anteriormente podemos ver cómo es común que los algoritmos reflejen los sesgos implícitos de sus creadores. Consideremos los sesgos que pueden tener las programadoras y cómo estos podrían inmiscuirse e incidir sobre el funcionamiento de algoritmos. Por ejemplo, la precisión de las tecnologías de reconocimiento facial fluctúa acorde a la raza.[efn_note]Christina Zhao, Is the iPhone Racist? Apple Refunds Device that Can’t tell Chinese People Apart, Newsweek (18 de diciembre de 2017), https://www.newsweek.com/iphone-x-racist-apple-refunds-device-cant-tell-chinese-people-apart-woman-751263.[/efn_note] Durante el 2017 se descubrió que el software de reconocimiento facial de Apple no podía distinguir entre dos caras asiáticas.[efn_note]Id.[/efn_note] Este tipo de situación puede darse en el momento en el que se le provee información al algoritmo para que aprenda. Si los datos que se le proveyeron no fueron diversos, el algoritmo no aprenderá cómo identificar múltiples tipos de caras ya que solamente se le proveyó un tipo de cara. Esta situación puede llevar a falsos positivos.[efn_note]MIT Technology Review, A US government study confirms most face recognition systems are racist, (2 de diciembre de 2020), (https://www.technologyreview.com/2019/12/20/79/ai-face-recognition-racist-us-government-nist-study/.[/efn_note] Ya se han dado casos en los que personas afroamericanas son acusadas y encarceladas erróneamente ya que son reconocidas por el algoritmo de reconocimiento facial mediante un falso positivo.[efn_note]Id.; Kashmir Hill, Wrongfully Accussed by an Algorithm, THE NEW YORK TIMES (24 de junio de 2020), https://www.nytimes.com/2020/06/24/technology/facial-recognition-arrest.html.[/efn_note]
En la mayoría de los casos, la decisión de un algoritmo no se cuestiona y su neutralidad se presume ya que se entiende que una computadora, y no un humano, está evaluando determinadas variables y proveyendo la información libre de sesgos. A esta situación se le suma que los algoritmos funcionan como una caja negra; ni tan siquiera el programador sabe como un algoritmo llegó a la decisión que provee.[efn_note]Ashley Deeks, The Judicial Demand for Explainable Artificial Intelligence, 119 COLUM. L. REV. 1829 (2019) (traducción suplida).[/efn_note] Ashley Deeks en The Judicial Demand for Explainable Artificial Intelligence explica que:
[U]na preocupación recurrente sobre los algoritmos de aprendizaje automático es que operan como cajas negras. Ya que los algoritmos constantemente ajustan la manera en la que sopesan la información provista para mejorar la precisión de sus predicciones, puede ser difícil identificar cómo y porqué los algoritmos alcanzan los resultados que alcanzan.[efn_note]Id (traducción suplida).[/efn_note]
Esto presenta un problema tanto de debido proceso de ley como de igual protección de las leyes. Debido proceso ya que no se puede evaluar el proceso para asegurar su integridad y de igual protección de las leyes ya que los sesgos funcionan como categorías para propósitos de la doctrina.
II. Sesgos algorítmicos y categorías protegidas
Como bien sabemos, para poder revisar judicialmente una ley o actuación estatal bajo la cláusula de igual protección de las leyes se debe demostrar que la ley clasifica personas.[efn_note]Nowak & Rotunda, supra nota 8, en la pág. 419.[/efn_note] Para que se observen las clasificaciones de la ley, estas deben ser en cuanto a un derecho fundamental o en base a raza, origen nacional, extranjería, nacimiento, o sexo.[efn_note]Id. en las págs. 426-29.[/efn_note] La ley puede establecer la clasificación de su faz, en su aplicación o no establecerla en lo absoluto pero aun así imponer cargas dispares entre personas que deben tratarse similarmente.[efn_note]Id. en las págs. 420-21.[/efn_note] Al igual que las leyes, los algoritmos pueden establecer clasificaciones en su faz (en su diseño), en su aplicación (al aplicar o accionar en base a su resultado), o no establecerla en lo absoluto pero establecer cargas dispares entre personas que deben tratarse similarmente.
Al comenzar a pensar en maneras para determinar si un modelo algorítmico es discriminatorio, el primer curso de acción que tomaríamos sería investigar si el modelo incluye alguna de las categorías legalmente protegidas o si afecta de su faz un derecho fundamental. El problema de base que encontraremos es que muchos de estos modelos no toman la raza, el sexo, el nacimiento, la extranjería y otras categorías protegidas en consideración a la hora de tomar su determinación. Solon Barocas, Elizabeth Bradley, Vasant Honavar y Foster Provost en Big Data, Data Science, and Civil Rights hablan sobre cómo diversos trabajos académicos han atendido la problemática de que otras categorías, que no son las protegidas, actúan como proxies para categorías protegidas, entre estas se encuentran la dirección residencial, el historial familiar, entre otros.[efn_note]Solon Barocas, et al., Big Data, Data Science and Civil Rights, Computer Community Consortium (2017), https://cra.org/ccc/wp-content/uploads/sites/2/2017/06/BigDataDataScienceandCivilRights-v6.pdf.[/efn_note] Sobre el particular los autores destacan que:
Cualquier sesgo presentado por dichos modelos sería involuntario, pero no menos perjudicial que las decisiones que consideran explícitamente categorías protegidas legalmente. De hecho, dichos modelos podrían ser más perjudiciales precisamente porque el sesgo se deriva de problemas con la data de entrenamiento que se pueden pasar por alto fácilmente. A causa de la imposibilidad de establecer una verdad objetiva, y de las muchas maneras en que se puede medir el desempeño de los modelos, hay una necesidad urgente de apoyar investigaciones que desarrollen modelos más rigurosos para establecer si un modelo exhibe sesgos inaceptables.[efn_note]Id. en la pág. 3. (énfasis omitido) (traducción suplida).[/efn_note]
Como explicamos anteriormente, el Tribunal, al evaluar si una medida es discriminatoria, evalúa si esta es discriminatoria de su faz, en su aplicación o si establece cargas dispares entre grupos que deberían tratarse equitativamente.[efn_note]Nowak & Rotunda, supra nota 8, en la pág. 420-21.[/efn_note] En la situación que presentamos, en el caso que un modelo algorítmico no sea discriminatorio de su faz, debe evaluarse si este es discriminatorio en su aplicación o si establece cargas dispares. Al evaluar el impacto de una medida, el Tribunal se preguntará si, en su aplicación, la medida impacta a alguna de las categorías protegidas o si afecta un derecho fundamental.
El problema que se presenta al evaluar el resultado de la aplicación de un modelo algorítmico es que estos funcionan como una caja negra, y el acceso a su funcionamiento y a los datos de entrenamiento está protegido por la doctrina de secreto de negocios.[efn_note]Taylor R. Moore, Trade secrets & Algorithms as Barriers to Social Justice, Center for Democracy and Technology (Agosto 2017), https://cdt.org/wp-content/uploads/2017/08/2017-07-31-Trade-Secret-Algorithms-as-Barriers-to-Social-Justice.pdf.[/efn_note] Es importante destacar que muchos de los modelos utilizados actualmente para llevar a cabo predicción algorítmica pertenecen al sector privado, lo que limita y obstaculiza su fiscalización.[efn_note]Julia Angwin et al., Machine Bias, ProPublica (23 de mayo de 2016), https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing/.[/efn_note] Además de ser un obstáculo para la fiscalización, esta situación presenta un problema de debido proceso ya que se desconoce el proceso que lleva a la decisión del algoritmo. Por ejemplo, en un caso criminal una persona acusada no puede interrogar o rebatir la presunción de exactitud y veracidad que tiene una determinación de un modelo algorítmico que se tome en consideración en alguna parte del proceso judicial. Presenta también un problema de igual protección de las leyes ya que, como hemos mencionado anteriormente, el modelo algorítmico puede contener sesgos en diversas partes de su estructura de funcionamiento que son difíciles o hasta imposibles de detectar.
La fuente del sesgo, para muchas personas, se encuentra en los datos de entrenamiento que se le provee al modelo algorítmico para que aprenda.[efn_note]Solon Barocas, supra nota 58, en la pág 4.[/efn_note] Mientras que otros han identificado que independientemente de la cantidad y diversidad de los datos que se le provea al algoritmo, estos modelos muestran fallas al operar con respecto a minorías ya que los patrones que estas presentan son diferentes a los de la mayoría.[efn_note]Id.[/efn_note][2] Actualmente, ya se han presentado múltiples instancias en diversos ámbitos en las que el uso de modelos algorítmicos a la hora de hacer determinaciones judiciales ha desembocado en resultados discriminatorios y erróneos. A continuación, examinaremos diversos casos puntuales en los cuales personas y comunidades se han visto afectadas por el uso y aplicación de modelos algorítmicos.
a. Determinación de riesgos en casos criminales
Durante mucho tiempo los criminólogos han intentado predecir cuáles criminales son más peligrosos antes de decidir si deben dejarlos en libertad o no. Características como raza, nacionalidad y color de piel fueron utilizadas como método de predicción hasta aproximadamente 1970, cuando se convirtió en políticamente inaceptable, según un sondeo de herramientas de evaluación del profesor de derecho de la Universidad de Columbia, Bernard Harcourt.[efn_note]Julia Angwin, supra nota 62 (traducción suplida).[/efn_note]
Las herramientas de determinación de riesgos o risk assessment son los diversos métodos utilizados por el sistema judicial en cuatro áreas: antes del juicio (detención previa) y al establecer fianza, al impartir sentencia, al tomar determinaciones sobre probatoria y libertad condicional, y en el ámbito de la justicia juvenil.[efn_note]Angelè Christi et al., Courts and Predictive Algorithms, Datacivilrights.org (2015), https://www.law.nyu.edu/sites/default/files/upload_documents/Angele%20Christin.pdf.[/efn_note] Las herramientas de determinación de riesgos suponen informar el proceso decisional del juez, del fiscal, del abogado de defensa y de otros actores jurídicos.[efn_note]Id.[/efn_note] Estos sistemas funcionan en base a métodos estadísticos en vez de clínicos.[efn_note]Id.[/efn_note] A estos métodos puramente estadísticos se les conoce como el método actuarial o el actuarial method.[efn_note]Bernard E. Harcourt, Against Prediction: Sentencing, Policing, and Punishing in an Actuarial Age 3 (The University of Chicago Public Law and Legal Theory Working Paper Series, Working Paper No. 94, 2005), http://www.law.uchicago.edu/academics/publiclaw/index.html.[/efn_note] Este método utiliza cantidades gigantescas de datos — en el caso que nos ocupa de ofensas criminales — para determinar los diferentes niveles de ofensas asociados con una o varias características de un grupo determinado.[efn_note]Id. en la pág. 4.[/efn_note]
“El acercamiento exclusivamente actuarial requiere la revisión de data contenida en todos los archivos disponibles. El método actuarial no requiere insumo clínico, solo una traducción del material relevante de los archivos para calcular la puntuación de riesgo”.[efn_note]Shoba Sreenivasan, et al., Actuarial Risk Assessment Models: A Review of Critical Issues Related to Violence and sex-Offender Recidivism Assessments, 28 The Journal of the American Academy of Psychiatry and the Law 438, 439 (2000) (traducción suplida).[/efn_note] En síntesis, el método actuarial es uno automatizado, el método clínico es aquel proceso analítico llevado a cabo por un profesional en el área que se busca evaluar.[efn_note]Robyn M. Dawes et al, Clinical Versus Actuarial Judgement, 243 American Association for the Advancement of Science 1668 (1989).[/efn_note] Un ejemplo de un proceso clínico en el ámbito legal lo sería un juicio. En este proceso, personas expertas (abogados, fiscales, jueces, peritos) presentan una serie de información a un juez que la evalúa y toma una decisión en base a su conocimiento. El método actuarial carece del elemento humano, es puramente estadístico.
b. State v. Loomis
En el caso de State v. Loomis, el Tribunal Supremo de Wisconsin sostuvo que el uso de un modelo de determinación de riesgos en el proceso de sentencia no violó la cláusula de debido proceso de ley ni la cláusula de igual protección de las leyes.[efn_note]State v. Loomis, 881 N.W.2d 749, 766, 771 (Wis. 2016).[/efn_note] En el 2013, el estado de Wisconsin acusó a Eric Loomis de cinco cargos relacionados a un tiroteo desde un vehículo en movimiento, en este caso, el acusado se declaró culpable en los dos cargos menos graves.[efn_note]Id. en la pág. 754.[/efn_note] El Estado produjo un reporte investigativo pre-sentencia — generado por el oficial del Departamento de Correcciones de Wisconsin a cargo del caso — en el que incluyó una determinación de riesgos de un modelo algorítmico llamado COMPAS.[efn_note]Id.[/efn_note] Loomis fue sentenciado a seis años de encarcelamiento y cinco años bajo supervisión.[efn_note]Id. en la pág. 756.[/efn_note] En su determinación, la Corte se refirió a la evaluación de COMPAS y basó parte de la sentencia en la misma.[efn_note]Id. en las págs. 769-70.[/efn_note]
Loomis radicó una moción en la que argumentó que la deferencia que la Corte le otorgó a COMPAS violó su derecho al debido proceso de ley.[efn_note]Id. en la pág. 756.[/efn_note] El acusado basó su argumento en que COMPAS provee datos relevantes solo para algunos grupos en particular y en que su metodología es un secreto de negocio.[efn_note]Id. en las págs. 761, 764.[/efn_note] Además, argumentó que el proceso de determinación de sentencia fue inconstitucional ya que descansó en la evaluación de COMPAS la cual toma en consideración el género.[efn_note]Id. en la pág. 757.[/efn_note] La Corte afirmó la decisión de la Corte inferior.[efn_note]Id. en la pág. 772.[/efn_note]
COMPAS o Correctional Offender Management Profiling for Alternative Sanctions es una herramienta algorítmica de determinación de riesgos de la compañía Northpointe.[efn_note]Julia Angwin, supra nota 62.[/efn_note] Al describir COMPAS, ProPublica indica que la herramienta: “Evalúa no solo riesgo, pero además casi dos docenas de los tan llamados criminogenic needs que se relacionan con las teorías más importantes sobre criminalidad, incluyendo personalidad criminal, aislamiento social, abuso de sustancias controladas y residencia/estabilidad. Los acusados son clasificados como bajo, mediano o alto en cada categoría”.[efn_note]Id. (traducción suplida). [/efn_note] La herramienta estima el riesgo de reincidencia criminal en base a una entrevista con el acusado e información de su historial criminal.[efn_note]Northpointe, COMPAS Risk & Need Assessment System Selected Questions Posed by Inquiring Agencies http://www.northpointeinc.com/files/downloads/FAQ_Document.pdf (última visita 24 de noviembre de 2021).[/efn_note] Ya que la metodología de COMPAS es un secreto de negocio, esta no se revela a la corte; lo único que se revela es el estimado de riesgo de reincidencia.[efn_note]State v. Loomis, 881 N.W.2d 749, 761 (Wis. 2016).[/efn_note]
Para propósitos de este escrito nos enfocaremos en la porción de discrimen en base a género. En opinión escrita por la juez Ann Walsh Bradley, la Corte indicó que el uso de género en la evaluación de COMPAS no era discriminatoria ya que: “[S]i la inclusión del género promueve precisión, sirve a los intereses de las instituciones y los acusados, y no tiene un propósito discriminatorio”.[efn_note]Id. en las págs 766 (traducción suplida).[/efn_note] El Tribunal destacó que Loomis no proveyó suficiente evidencia de que la Corte consideró el género a la hora de emitir su sentencia.[efn_note]Id. en las págs 767.[/efn_note] Además, indicó que el acusado podía negar o explicar cualquier información que se tomó en consideración a la hora de emitir la evaluación —ya que esta era pública o provista por el acusado— para que fuese más exacta.[efn_note]Id. en las págs. 761.[/efn_note]
La Corte estableció los parámetros que deben seguir los jueces al utilizar las determinaciones de riesgos; estas no pueden utilizarse para determinar si un ofensor es encarcelado, para determinar la severidad de la sentencia, o como factor determinante al decidir si un ofensor puede ser supervisado segura y eficazmente en la comunidad.[efn_note]Id. en la pág. 769.[/efn_note] Además, la Corte determinó que:
[A]demás de una evaluación de riesgo de COMPAS, la corte de circuito debe explicar los factores que apoyan independientemente la sentencia impuesta….Una evaluación de riesgo de COMPAS es solo uno de muchos factores que pueden ser considerados y sopesados a la hora de emitir sentencia. . . .Cualquier [I]nforme de [I]nvestigación [P]re-condenatorio (PSI por sus siglas en inglés) radicado en corte que contenga una evaluación de riesgo de COMPAS debe contener, además, un aviso escrito enumerando las limitaciones.[efn_note]Id. en la pág. 751 (traducción suplida).[/efn_note]
Además, la Corte indicó que se debe presentar: (1) la naturaleza propietaria de COMPAS y que esta prohíbe que se divulgue la metodología de la plataforma, (2) que COMPAS identifica un grupo de ofensores de alto riesgo pero no un individuo particular, (3) que algunos estudios han cuestionado el hecho de que la herramienta encuentra, desproporcionalmente, que las personas de minorías presentan un riesgo mas alto de reincidencia, (4) que la herramienta compara al acusado a nivel nacional, no estatal, y que (5) COMPAS se diseñó para determinaciones de tratamiento, supervisión y libertad bajo palabra.[efn_note]Id. en las págs. 769-770.[/efn_note]
La decisión en Loomis pasa por alto el desconocimiento técnico que los jueces tienen en cuanto al funcionamiento de los modelos algorítmicos como COMPAS y falla al no presentar íntegramente las investigaciones que señalan faltas graves en el funcionamiento de la herramienta. Un estudio publicado por los fundadores de Northpointe, encontró que COMPAS –– en una muestra de 2,328 personas –– tenía un rango de precisión de 68%. [efn_note]Id.[/efn_note] El estudio también encontró que la puntuación era levemente menos efectiva para hombres negros que para hombres blancos, 67% versus 69%. [efn_note]Julia Angwin, supra nota 62.[/efn_note] El estudió no evaluó las disparidades raciales más allá, ni si algunos grupos eran más propensos a ser identificados erróneamente como de alto riesgo. [efn_note]Id.[/efn_note] En su investigación, ProPublica indicó que Wisconsin es uno de los estados que mas utiliza COMPAS en las determinaciones de sentencia. [efn_note]Id.[/efn_note] A pesar de esto, el estado no ha llevado a cabo una validación estadística de la herramienta. [efn_note]Id.[/efn_note]
B. Houston Federation of Teachers, Local 2415, et al. v. Houston Independent School District
En el 2014, la Federación de Maestros de Houston radicó una demanda en representación de catorce maestros que alegaban que el método de evaluación de maestros utilizado por el distrito —el cual servía de base para ascensos y despidos— violaba sus derechos constitucionales, en específico, los derechos a debido proceso de ley e igual protección de las leyes. [efn_note]Houston Fed. of Teachers v. Houston Independent, 251 F. Supp. 3d 1168 (S.D. Tex. 2017).[/efn_note] En cuanto a la violación de la cláusula de igual protección de las leyes, los demandantes alegaron que el proceso los trataba de manera dispar a pesar de estar situados en posiciones similares y que no había base racional para esto. [efn_note]Id. en la pág. 1183.[/efn_note] Los maestros en cuestión —Daniel Santos, Alicia Montgomery, Araceli Ramos, Paloma Garner, Ivan Castillo, Andy Dewey, Joyce Helfman, Myla Van Duyn, y Debra Savage, entre otros— fueron colocados en Prescriptive Plans of Assistance (en adelante, “PPAs”) luego de que sus resultados del método de evaluación, conocido como Education Value-Added Assessment (en adelante, “EVAAS”) fueran bajo promedio. Previo a esto, los maestros, quienes eran considerados veteranos, habían sido calificados como eficientes que cumplían e inclusive excedían las expectativas. [efn_note]Id. en la pág. 1174; Govinfo, https://www.govinfo.gov/app/details/USCOURTS-txsd-4_14-cv-01189 (última visita 18 de enero de 2022).[/efn_note]
El método de evaluación EVAAS emplea algoritmos matemáticos para intentar aislar —de todos los otros factores— la aportación individual de un maestro al aprendizaje de sus estudiantes.[efn_note]Value-added measures: How and why the strategic data project uses them to study teacher effectiveness, CENTER FOR EDUCATION POLICY RESEARCH AT HARVARD UNIVERSITY (2011), https://hwpi.harvard.edu/files/sdp/files/sdp-va-memo_0.pdf.[/efn_note] En síntesis, estos modelos se utilizan para estimar cuán positivo o negativo es el efecto de un maestro en particular sobre el aprendizaje de un estudiante durante el año académico.[efn_note]Id. en la pág. 3.[/efn_note] Para producir los estimados, estos modelos algorítmicos combinan estadísticas y resultados de pruebas estandarizadas con información de los estudiantes para determinar la puntuación del maestro.[efn_note]Id.[/efn_note] Esta puntuación es utilizada por el administrador de la escuela para tomar decisiones sobre permanencia, compensación o empleo. [efn_note]Id. en la pág. 5; Shelby Webb & John D. Harden, Houston ISD settles with union over controversial teacher evaluations, Chron. (12 de octubre de 2017), https://www.chron.com/news/houston-texas/education/article/Houston-ISD-settles-with-union-over-teacher-12267893.php#photo-11286609; Valerie Strauss, Houston teachers sue over controversial teacher evaluation method, The Washington Post (30 de abril de 2014), https://www.washingtonpost.com/news/answer-sheet/wp/2014/04/30/houston-teachers-sue-over-controversial-teacher-evaluation-method/.[/efn_note]
EVAAS es un modelo algorítmico de la compañía privada SAS y por ende no se tiene acceso a su funcionamiento.[efn_note]Houston Fed. of Teachers v. Houston Independent, 251 F. Supp. 3d 1168, 1172 (S.D. Tex. 2017).[/efn_note] En la declaración de hechos, el Tribunal indicó que: “SAS trata a estos algoritmos y programas como secretos de negocio, rehusándose así a divulgarlos a HISD or a los maestros. HISD ha admitido que no verifica o audita las puntuaciones de EVAAS que recibe de SAS, ni contrata a un tercero para hacerlo”.[efn_note]Id. en la pág. 1177 (traducción suplida).[/efn_note] A pesar de esto, el Tribunal encontró que los hechos alegados “no encajan en el molde de un reclamo de igual protección. La corte erró ya que no encontró que la práctica de alinear la calificación de la práctica educativa con puntuaciones de EVAAS es un sistema de clasificación”.[efn_note]Id. en la pág. 1183 (traducción suplida).[/efn_note] La falta de evidencia para sustentar el reclamo de igual protección de las leyes que el Tribunal señala puede ser el resultado de la falta de transparencia del proceso de evaluación. Al igual que en el caso que evaluamos anteriormente, el funcionamiento de EVAAS es protegido por la doctrina de secreto de negocio ya que es propiedad intelectual de una compañía privada.[efn_note]Id. en la pág. 1175.[/efn_note] ¿Cómo podemos cuestionar de manera efectiva y válida un proceso si no tenemos acceso su funcionamiento?
C. Wronglly Accussed by an Algorithm: El caso de Robert Julian-Borchak Williams y el estado de Michigan
En enero 2020, Robert Julian-Borchak Williams fue arrestado en la marquesina de su casa luego de que la tecnología de reconocimiento facial utilizada por la policía de Wayne County en Detroit, Michigan lo identificara erróneamente en la comisión de un robo.[efn_note]Kashmir Hill, Wrongfully accused by an algorithm, THE NEW YORK TIMES, 24 de junio de 2020, en la pág. 1, https://www.nytimes.com/2020/06/24/technology/facial-recognition-arrest.html.[/efn_note] En el interrogatorio, los detectives presentaron dos piezas de evidencia: una imagen de una grabación de la cámara de vigilancia y una imagen magnificada borrosa de una cara extraída de la misma grabación.[efn_note]Id.[/efn_note] Los detectives compararon la cara de Borchak Williams con el video; el modelo algorítmico de reconocimiento facial había identificado a Williams erróneamente.[efn_note]Id. en la pág. 4.[/efn_note] Al preguntar si podía irse, los detectives le dijeron que no.[efn_note]Id.[/efn_note] Williams estuvo arrestado treinta horas y fue dejado en libertad luego de pagar $1,000 de fianza.[efn_note]Id.[/efn_note] Dos semanas luego de su arresto, Williams compareció ante la Corte de Wayne County para la lectura de cargos, fiscalía desestimó los cargos sin perjuicio, lo cual significa que Williams podría enfrentar cargos nuevamente.[efn_note]Id. en la pág. 5.[/efn_note] La policía nunca se preocupó por averiguar si Williams tenía una cuartada, la cual tenía.[efn_note]Id. en las págs. 5-6.[/efn_note]
Al igual que las determinaciones de riesgo, los pareos de tecnologías de reconocimiento facial suponen informar la investigación y no constituyen una causa probable para arresto.[efn_note]Id. en la pág. 3.[/efn_note] “Antes de arrestar a Mr. Williams, los investigadores podían recopilar evidencia de que él cometió el robo, como testimonios oculares, datos de ubicación de su teléfono o prueba de que era dueño de la ropa que el sospechoso estaba utilizando”.[efn_note]Id. (traducción suplida).[/efn_note] Una representante de la policía de Detroit indicó al New York Times que el departamento de la policía había actualizado sus políticas de uso de reconocimiento facial para que solo sean utilizadas para investigar crímenes violentos.[efn_note]Id. en la pág. 5.[/efn_note] Hace más de veinte años que la policía utiliza tecnologías de reconocimiento facial.[efn_note]Id. en la pág. 1.[/efn_note] A pesar de esto, estudios recientes han encontrado que la tecnología es mucho menos precisa al identificar caras negras y asiáticas que al identificar caras blancas.[efn_note]Larry Hardesty, Study finds gender and skin-type bias in commercial artificial-intelligence systems, MASSACHUSETTS INSTITUTE OF TECHNOLOGY, (11 de febrero de 2018), en la pág. 2, https://news.mit.edu/2018/study-finds-gender-skin-type-bias-artificial-intelligence-systems-0212. NIST Study Evaluates Effects of Race, Age, Sex on Face Recognition Software, NIST (19 de diciembre de 2019), https://www.nist.gov/news-events/news/2019/12/nist-study-evaluates-effects-race-age-sex-face-recognition-software.[/efn_note] Sobre ello se ha indicado lo siguiente:
- En compatibilidad uno a uno, el equipo vio altos índices de falsos positivos para caras asiáticas y africanas en relación con imágenes de caras caucásicas. Dependiendo del algoritmo individual, las diferencias comúnmente variaban de un factor de 10 a 100 veces. Los falsos positivos pueden presentar una preocupación de seguridad para el dueño del sistema, ya que pueden permitir el acceso de impostores.
- En los E.E.U.U. – entre los algoritmos desarrollados, hubo índices altos de falsos positivos en compatibilidad uno a uno para caras asiáticas, afroamericanas y grupos nativos (que incluyen nativos americanos, indoamericanos, indios de Alaska e Indios del Pacífico). El demográfico de indoamericanos tiene el índice más alto de falsos positivos.
- Sin embargo, una excepción notable se encontró en algoritmos desarrollados en países asiáticos. Mientras que Grother reiteró que el estudio de NIST no explora la relación entre causa y efecto, una conexión y posible área de investigación lo es la relación entre el desempeño de un algoritmo y la data que se utiliza para entrenarlo. ‘Estos resultados son una señal alentadora de que data más diversas podría producir resultados más equitativos, siempre y cuando sea posible que los desarrolladores utilicen dicho tipo de data’, dijo.[efn_note]NIST Study Evaluates Effects of Race, Age, Sex on Face Recognition Software, NIST (19 de diciembre de 2019), https://www.nist.gov/news-events/news/2019/12/nist-study-evaluates-effects-race-age-sex-face-recognition-software (traducción suplida).[/efn_note]
¿Cómo puede desembocar esta situación en una controversia de la decimocuarta enmienda? Tienden a presentarse varias situaciones que desembocan en situaciones de discrimen prohibidas bajo la igual protección de las leyes. La primera es que muchos de estos algoritmos pierden precisión si dejan de utilizar categorías protegidas en su análisis.[efn_note]Julia Angwin et al., Machine Bias, PROPUBLICA (23 de mayo de 2016), https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing/.[/efn_note] La segunda es que muchos de estos algoritmos no utilizan categorías protegidas en su modelo de procesamiento, pero aun así arrojan resultados que son discriminatorios de su faz, o en su aplicación, o que aplican cargas dispares en personas similarmente situadas.[efn_note]Id.[/efn_note] El problema principal es que, dado a la falta de transparencia en el funcionamiento de estas tecnologías, es sumamente difícil identificar en qué parte del proceso es que ocurren las fallas.
III. Regulación, legislación y lagunas jurídicas
A pesar de la amenaza que representan los algoritmos predictivos y las tecnologías de reconocimiento facial a grupos históricamente protegidos y a nuestros derechos fundamentales, muy poco se ha hecho para intentar regular el uso y manejo de estas tecnologías. Bajo la administración del expresidente de los Estados Unidos, Barack Obama, se creó The Obama Administration’s Big Data Working Group con el fin de investigar cómo las tecnologías que utilizan recopilación de grandes cantidades de datos impactan la economía, el gobierno, la sociedad y nuestro derecho a la privacidad.[efn_note]John Podesta, Findings of the Big Data and Privacy Working Group Review, THE WHITE HOUSE (1 de mayo de 2014), https://obamawhitehouse.archives.gov/blog/2014/05/01/findings-big-data-and-privacy-working-group-review; John Podesta et al., Big Data: Seizing Opportunities, Preserving Values, EXECUTIVE OFFICE OF THE PRESIDENT (Mayo 2014), https://obamawhitehouse.archives.gov/sites/default/files/docs/big_data_privacy_report_5.1.14_final_print.pdf.[/efn_note] A pesar de todas ventajas que se identificaron en estas tecnologías, también se encontraron deficiencias.[efn_note]Id. en la pág. 2.[/efn_note] En el 2014 —al presentar el estudio Big Data: Seizing Opportunities, Preserving— John Podesta indicó que “[u]n hallazgo significativo de nuestra revisión fue el potencial para que big data analytics arroje resultados discriminatorios y evada legislación referente a protección de derechos civiles en áreas como la vivienda, empleo, crédito, y mercado de consumo.”[efn_note]Id. (traducción suplida).[/efn_note] Dicho estudio fue seguido por uno similar en el 2015.[efn_note]John Podesta et al., Big Data: Seizing Opportunities, Preserving Values Interim Report, White House (Febrero 2015) https://www.hsdl.org/?view&did=762312.[/efn_note]
En mayo del 2016, la Oficina Ejecutiva del Presidente publicó el estudio Big Data: A Report on Algorithmic Systems, Opportunity, and Civil Rights en el que buscaban abordar los beneficios y deficiencias de estos sistemas, y su impacto en nuestros derechos civiles.[efn_note]Cecilia Muñoz et al., Big Data: A Report on Algorithmic Systems, Opportunity, and Civil Rights, Executive Office of the President (Mayo 2016), https://obamawhitehouse.archives.gov/sites/default/files/microsites/ostp/2016_0504_data_discrimination.pdf.[/efn_note] El estudio abarca el acceso al crédito, acceso al empleo, acceso a educación universitaria y la justicia criminal.[efn_note]Id. en la pág. 4.[/efn_note] En sus hallazgos, el estudio encontró primeramente que muchos americanos carecen de acceso a crédito asequible ya que no tienen historiales crediticios extensos.[efn_note]Id. en la pág. 11.[/efn_note] Sobre lo anterior señalaron lo siguiente:
De acuerdo con el [Buró de Protección Financiera del Consumidor (CFPB por sus siglas en inglés)], los afroamericanos y latinos son más propensos a ser credit invisible, con un índice de 15 por ciento en comparación con 9 porción de los blancos. Además, la CFPB también encontró que 13 por ciento de los afroamericanos y 12 por ciento de los latinos no pueden obtener calificación, comparado con 7 por ciento de los blancos.[efn_note]Id. (traducción suplida).[/efn_note]
En cuanto al empleo, el estudio encontró que las prácticas tradicionales de reclutamiento pueden omitir solicitantes que tienen destrezas que son compatibles con la oportunidad de empleo.[efn_note]Id. en la pág. 13.[/efn_note] A partir del 1990, la labor de identificar y calificar solicitantes comenzó a desplazarse de psicólogos industriales y especialistas en reclutamiento a programadores mediante el uso de algoritmos y datos.[efn_note]Id. en las págs. 13-14.[/efn_note] En cuanto a esto, Big Data indica que:
[A] estar construidos por humanos y descansar en data imperfecta, estos sistemas algorítmicos también pueden estar basados en juicios errados y presunciones que igualmente perpetúan los sesgos. Al ser nuevas, cambiantes, difíciles de descifrar y frecuentemente están sujetas a protecciones propietarias, las determinaciones de estas tecnologías pueden ser aun más difíciles de retar.[efn_note]Id. en la pág. 14 (traducción suplida).[/efn_note]
En cuanto al acceso a la justicia criminal, el estudio encontró que:
[D]ata sin ajustar podría obstaculizar en vez de facilitar las disparidades raciales documentadas en los lugares que ya existen, como en paradas de tráfico y en índices de arrestos a causa de sustancias controladas. . . .Si los circuitos de retroalimentación no son construidos concienzudamente, un sistema de algoritmo predictivo construido de dicha manera podría perpetuar las practicas policiacas que no están suficientemente adaptadas a las necesidades comunitarias y potencialmente dificultará esfuerzos para mejorar la confianza y seguridad comunitaria.[efn_note]Id. en la pág. 21 (traducción suplida).[/efn_note]
Además, el estudio indicó que el acercamiento y la utilización de datos criminales recopilados históricamente por agencias del gobierno debe ser cuidadoso ya que los mismos son altamente subjetivos y, por ende, están sujetos a sesgos que desembocarían en discrimen.[efn_note]Id. en la pág. 22.[/efn_note] Además de estos dos reportes, se han presentado tres proyectos de ley ante el Congreso: el Biased Algorithms Deterrence Act of 2019, el Algorithmic Accountability Act of 2019, y el Facial Recognition and Biometric Technology Moratorium Act of 2020.[efn_note]Biased Algorithm Deterrence Act of 2019, H.R. 492, 116TH Cong. (2019); Algorithmic Accountability Act of 2019, H.R. 2231, 116TH Cong. (2019); Facial Recognition and Biometric Technology Moratorium Act of 2020, S. 4084, 116th Cong. (2020).[/efn_note] Ninguno de los tres fue llevado a votación.[efn_note]H.R.492 – Biased Algorithm Deterrence Act of 2019, Congress.gov https://www.congress.gov/bill/116th-congress/house-bill/492 (última visita 24 de noviembre de 2021); H.R.2231 – Algorithmic Accountability Act of 2019, Congress.gov https://www.congress.gov/bill/116th-congress/house-bill/2231 (última visita 24 de noviembre de 2021); S.4084 – Facial Recognition and Biometric Technology Moratorium Act of 2020, Congress.gov https://www.congress.gov/bill/116th-congress/senate-bill/4084 (última visita 24 de noviembre de 2021).[/efn_note]
IV. Recomendaciones
Las fallas de la implementación de métodos algorítmicos predictivos y tecnologías de reconocimiento facial han sido la causa de un sin número de investigaciones por múltiples sectores. El próximo paso lógico es que se tome acción sobre el uso y fiscalización de estas tecnologías. Esto debe ocurrir lo más pronto posible ya que las consecuencias de su mal uso inciden directa e inmediatamente sobre la vida y las oportunidades de los seres humanos. Todos los beneficios que la automatización y la digitalización aportan a nuestras vidas son opacados por las implicaciones nefastas que tienen sobre nuestros derechos civiles. Es por esto que consideramos que —primeramente— es imperativo que el proceso funcional de los algoritmos sea transparente. A medida que más personas puedan cuestionar el proceso que resultó en una violación de sus derechos, podremos elaborar legislación y doctrina jurídica que se atempere al manejo e identificación efectiva de estos casos. Como vimos en Loomis si no se presenta la evidencia de discrimen, un reclamo de igual protección de las leyes no prevalecerá.[efn_note]State v. Loomis, 881 N.W.2d 749 (Wis. 2016).[/efn_note]
Esto nos lleva a nuestra segunda recomendación. Una medida que puede remediar la situación de falta de transparencia es establecer parámetros claros y efectivos para que la información provista por estos algoritmos no controle el proceso decisional. En Loomis y en el caso de Williams se establecieron parámetros que no atajaban realmente la situación. Ambas medidas adoptadas —a pesar de establecer procesos o limitar el uso de estas tecnologías— no daban una instrucción clara y precisa de la cantidad de sesgos que pueden presentar. Además, ambas medidas descansan demasiado en la discreción judicial y policiaca.
Nuestra tercera y última recomendación es que debe promoverse afirmativamente la diversidad en estas áreas educativas y laborales:
(1) [L]a mayoría de los científicos informáticos no tiene un entendimiento profundo de los problemas de equidad y derechos civiles, y, por ende, no son problemas que estos atienden tradicional o naturalmente; (2) los académicos tradicionales especializados en derechos civiles generalmente carecen de entendimiento sofisticado en cuanto al big data y la ciencia de cómputos necesarias para progresar sustancialmente; (3) las preguntas claves para las cuales se necesitan respuestas no son aceptadas ampliamente como problemas de investigación importantes.[efn_note]Solon Barocas, et al., Big Data, Data Science and Civil Rights, Computer Community Consortium (2017), https://cra.org/ccc/wp-content/uploads/sites/2/2017/06/BigDataDataScienceandCivilRights-v6.pdf. (traducción suplida).[/efn_note]
La diversidad en la muestra de personas que crea, maneja y emplea estas tecnologías redundará en herramientas más representativas. La regulación y la transparencia solo remediarán el problema, pero no lo resolverán, es por eso que se debe atender su raíz. Estas tecnologías tienen la capacidad de ampliar las brechas preexistentes, pero —de igual manera— tienen la capacidad de disminuirlas. Cómo manejemos y atendamos los retos que estas presentan definirá el próximo siglo.
*Estudiante de tercer año de la Escuela de Derecho de la Universidad de Puerto Rico y Directora del Volumen 91 de la Revista Jurídica de la Universidad de Puerto Rico. Posee un bachillerato con doble concentración en Información y Periodismo y Comunicación Audiovisual. Previo a sus estudios en derecho, se desempeñó como periodista en medios como Diálogo UPR, Metro, The Huffington Post y The Washington Post y como asistente de producción en medios como HBO.
