<\/p>\n
\n\u201cThe future is here, it\u2019s just not very evenly distributed<\/em>.\u201d[efn_note]William Gibson, The Science in Science Fiction<\/em>, NPR (Oct. 22, 2018, 8:23 PM), https:\/\/www.npr.org\/2018\/10\/22\/1067220\/the-science-in-science-fiction, William Gibson, The Science in Science Fiction<\/em>, Talk of the Nation, NPR (Nov. 30, 1999, 11:55 PM), https:\/\/quotepark.com\/quotes\/1023334-william-gibson-the-future-is-already-here-its-just-not-very-ev\/.[\/efn_note]\n<\/blockquote>\n
Introducci\u00f3n<\/strong><\/p>\n
\u00bfQu\u00e9 tienen que ver los algoritmos y los medios digitales con la igualdad ante la ley? La digitalizaci\u00f3n es gran parte de nuestra vida, m\u00e1s all\u00e1 de ser tema de pel\u00edcula de ciencia ficci\u00f3n, es una realidad. Actualmente, gran parte de los tr\u00e1mites, tanto p\u00fablicos como privados, se llevan a cabo mediante plataformas digitales. La proliferaci\u00f3n de tecnolog\u00edas digitales \u2014 como tel\u00e9fonos m\u00f3viles, relojes inteligentes, tabletas, computadoras, etc. \u00ad\u00ad\u00ad\u00ad\u2014 ha aumentado exponencialmente la participaci\u00f3n humana en plataformas digitales. Cuando el Pew Research Center<\/em> comenz\u00f3 a monitorear el uso de redes sociales en el 2005, solamente 5% de los adultos estadounidenses utilizaban al menos una de estas plataformas.[efn_note]PEW RESEARCH CENTER, Social Media Fact Sheet<\/em>, PEW RESEARCH CENTER (7 de abril de 2021) https:\/\/www.pewresearch.org\/internet\/fact-sheet\/social-media\/ (19 de noviembre de 2021).[\/efn_note] En el 2011, esa cifra aument\u00f3 a 50% y, actualmente, 72% del p\u00fablico usa alg\u00fan tipo de red social.[efn_note]Id.<\/em>[\/efn_note]\n
Para poder prever las controversias futuras y poder salvaguardar \u00edntegramente nuestros derechos fundamentales, es imperativo que los juristas nos adentremos en el estudio de dos conceptos: la inteligencia artificial y la acumulaci\u00f3n de cantidades inmensas de datos personales. Ambos conceptos, a pesar de aparentar neutralidad, automatizaci\u00f3n y mecanizaci\u00f3n, est\u00e1n grandemente mediados por la intervenci\u00f3n, la interpretaci\u00f3n y el ingenio humano. La inteligencia artificial en gran medida es el producto de la representaci\u00f3n matem\u00e1tica de reglas establecidas por la persona que programa.[efn_note]John McCarthy, Mathematical Logic in Artificial Intelligence<\/em>, 117 Daedalus 297 (1988).[\/efn_note] A este conjunto de reglas se le provee informaci\u00f3n para que aprenda<\/em> c\u00f3mo llegar a conclusiones y arrojar resultados.[efn_note]Selena Silva & Martin Kenney, Algorithms, Platforms and Ethnic Bias<\/em>, 55 Phylon 9, 15-18 (2018) (citas omitidas).[\/efn_note] Estos, a su vez, son utilizados por diversas entidades, tanto p\u00fablicas como privadas, a la hora de tomar decisiones y generar pol\u00edtica p\u00fablica.[efn_note]Julia Angwin, Making algorithms accountable<\/em>, ProPublica (1 de agosto de 2016), https:\/\/www.propublica.org\/article\/making-algorithms-accountable.[\/efn_note]\n
\u00bfC\u00f3mo los sesgos subconscientes y conscientes se inmiscuyen en la creaci\u00f3n de estas herramientas y plataformas digitales? \u00bfC\u00f3mo los datos que nutren estas plataformas afectan los resultados que estas proveen? \u00bfQu\u00e9 implicaciones en nuestro d\u00eda a d\u00eda tiene el uso de estas plataformas? \u00bfHay alg\u00fan tipo de regulaci\u00f3n para asegurar que los resultados producidos por las plataformas digitales sean confiables? A modo de ejemplo, estos m\u00e9todos predictivos son utilizados en procedimientos judiciales, por entidades crediticias, y por la Polic\u00eda.[efn_note]Id.<\/em>[\/efn_note] Este ensayo intentar\u00e1 abordar a grandes rasgos las implicaciones de la utilizaci\u00f3n de algoritmos predictivos y tecnolog\u00edas basadas en el reconocimiento facial a la hora de tomar decisiones que inciden directamente sobre la decimocuarta enmienda.<\/p>\n
I. Igualdad ante la ley e igual protecci\u00f3n de las leyes<\/strong><\/p>\n
La decimocuarta enmienda establece, entre otras cosas, que ning\u00fan estado le negar\u00e1 a ninguna persona la igual protecci\u00f3n de las leyes.[efn_note]U.S. Const. amend. XIV, \u00a71, cl. 3.[\/efn_note] Dicha clausula se activa cuando el Tribunal se enfrenta a legislaci\u00f3n, reglamentaci\u00f3n o programas gubernamentales que establecen distinci\u00f3n entre personas o grupos.[efn_note]Ronald D. Rotunda & John E. Nowak, Principles of Constitutional Law 424 (5ta ed. 2016).[\/efn_note] Esta protecci\u00f3n no proh\u00edbe que el gobierno clasifique a las personas o establezca l\u00edmites al crear y aplicar leyes.[efn_note]Id.<\/em> en la p\u00e1g. 420.[\/efn_note] Lo que s\u00ed proh\u00edbe es que dichas clasificaciones se basen en criterios impermisibles o arbitrarios que constituyan una carga onerosa sobre un grupo determinado.[efn_note]Id.<\/em>[\/efn_note] A pesar de que la Constituci\u00f3n de los Estados Unidos tiene otras referencias que apuntan a la noci\u00f3n de igualdad, la decimocuarta enmienda ha sido el veh\u00edculo por excelencia a la hora de buscar proteger los derechos individuales. Y es que la clausula de igual protecci\u00f3n de las leyes se activa precisamente ante los tipos de situaciones que afectan dichos derechos.[efn_note]Id.<\/em> en las p\u00e1gs. 424-26.[\/efn_note]<\/a><\/a><\/p>\n
A. An\u00e1lisis judicial bajo la cl\u00e1usula de Igual Protecci\u00f3n de las Leyes<\/em><\/p>\n
El Tribunal Supremo de los Estados Unidos ha establecido tres tipos de an\u00e1lisis para evaluar si una legislaci\u00f3n se sostiene ante la cl\u00e1usula de igual protecci\u00f3n de las leyes: el escrutinio estricto, el escrutinio intermedio y el criterio de racionalidad m\u00ednima.[efn_note]Id.<\/em> en las p\u00e1gs. 426-28.[\/efn_note] Al determinar qu\u00e9 escrutinio utilizar, el Tribunal primeramente pasar\u00e1 a evaluar qu\u00e9 tipo de clasificaci\u00f3n utiliza la legislaci\u00f3n o si afecta un derecho fundamental, o un derecho o inter\u00e9s importante.[efn_note]Id.<\/em> en las p\u00e1gs. 424, 426.[\/efn_note] Para aplicar el escrutinio estricto, el Tribunal observar\u00e1 si la legislaci\u00f3n o acci\u00f3n gubernamental utiliza una clasificaci\u00f3n que se entiende como sospechosa o si afecta un derecho fundamental.[efn_note]Id.<\/em> en las p\u00e1gs. 426-27.[\/efn_note] Cuando la clasificaci\u00f3n discrimina contra una minor\u00eda que tradicionalmente ha sido objeto de discrimen en el proceso pol\u00edtico se entiende como sospechosa.[efn_note]Id.<\/em> en la p\u00e1g. 427.[\/efn_note] Dentro de esta categor\u00eda caen criterios raciales, de sexo, \u00e9tnicos o de extranjer\u00eda.[efn_note]Id.<\/em>[\/efn_note] Usualmente esta categor\u00eda se refiere a rasgos inherentes de la persona que esta no puede cambiar, o a si la clasificaci\u00f3n distingue entre personas en base al ejercicio de derechos fundamentales.[efn_note]Id.<\/em>[\/efn_note] Para que la legislaci\u00f3n se declare constitucional, el Estado deber\u00e1 probar que tiene un inter\u00e9s apremiante, que la clasificaci\u00f3n o el discrimen es necesario para alcanzar dicho inter\u00e9s y que no hay medios menos onerosos para alcanzarlo.[efn_note]Id.<\/em> en las p\u00e1gs. 426-27.[\/efn_note]\n
Por otro lado, para aplicar el escrutinio intermedio, el Tribunal observar\u00e1 si la legislaci\u00f3n o acci\u00f3n gubernamental afecta un derecho o inter\u00e9s importante o si emplea una clasificaci\u00f3n semi-sospechosa.[efn_note]Id.<\/em> en la p\u00e1g. 428.[\/efn_note] Bajo este escrutinio, el Estado debe demostrar que se persigue un prop\u00f3sito importante y que la clasificaci\u00f3n propende sustancialmente a alcanzarlo.[efn_note]Id.<\/em>[\/efn_note] Por \u00faltimo, el criterio de racionalidad m\u00ednima se utiliza para evaluar reglamentaci\u00f3n social y econ\u00f3mica que no crea clasificaciones sospechosas y no afecta derechos fundamentales.[efn_note]Id.<\/em> en la p\u00e1g. 426.[\/efn_note] Bajo este criterio se presume la constitucionalidad de la clasificaci\u00f3n y esta se sostiene si puede concluirse que existe alguna relaci\u00f3n racional entre la clasificaci\u00f3n y el prop\u00f3sito del estatuto o actuaci\u00f3n gubernamental.[efn_note]Id.<\/em>[\/efn_note] Cuando se utiliza este escrutinio, la ley se presume constitucional si existe un mero nexo racional entre el prop\u00f3sito legislativo y la clasificaci\u00f3n establecida, por lo que, la ley ser\u00e1 constitucional siempre que razonablemente pueda concebirse una situaci\u00f3n que justifique la clasificaci\u00f3n.[efn_note]Id.<\/em>[\/efn_note]\n
a. Contexto hist\u00f3rico de la decimocuarta enmienda<\/p>\n
La decimocuarta enmienda, ratificada en 1868, es una de tres enmiendas aprobadas durante el periodo de la Reconstrucci\u00f3n conocidas como The Civil War Amendments<\/em>.[efn_note]History, 14th<\/sup> Amendment<\/em> (12 de enero de 2021), https:\/\/www.history.com\/topics\/black-history\/fourteenth-amendment.[\/efn_note] La ratificaci\u00f3n de estas enmiendas \u2014 la decimotercera, decimocuarta y decimoquinta \u2014 se dio en medio de un tranque pol\u00edtico entre el presidente del momento, Andrew Johnson, y los llamados republicanos radicales.[efn_note]Id.<\/em>[\/efn_note]<\/span> Los estados que deseaban ser admitidos nuevamente a la uni\u00f3n deb\u00edan ratificar las tres enmiendas.[efn_note]Id.<\/em>[\/efn_note]<\/span> A pesar de que en su concepci\u00f3n la decimocuarta enmienda se ide\u00f3 como una manera de garantizar el trato igualitario de los negros luego de la abolici\u00f3n de la esclavitud y la Guerra Civil,[efn_note]Id.<\/em>[\/efn_note]<\/span> \u2014como mencion\u00e9 anteriormente\u2014 su funci\u00f3n evolucion\u00f3 y se convirti\u00f3 en un veh\u00edculo para la protecci\u00f3n de derechos individuales.[efn_note]Nathan S. Chapman & Kenji Oshino, The Fourteenth Amendment Due Process Clause, Interactive Constitution (\u00faltima visita 24 de noviembre de 2021) https:\/\/constitutioncenter.org\/interactive-constitution\/interpretation\/amendment-xiv\/clauses\/701.[\/efn_note]<\/span><\/p>\n
B. Algoritmos, medios digitales y sesgos impl\u00edcitos<\/em><\/p>\n
a. Creaci\u00f3n y funcionamiento de los algoritmos<\/p>\n
\u201c<\/em>En su nivel m\u00e1s elemental, un algoritmo es un conjunto de reglas o proceso utilizado en calculaciones, especialmente computarizadas, u otras operaciones para resolver problemas. . .. Los algoritmos se integran al programa y este procesa la data acorde al conjunto de reglas y produce un resultado\u201d.[efn_note]Selena Silva & Martin Kenney, Algorithms, Platforms and Ethnic Bias<\/em>, 55 PHYLON 9, 11 (2018) (traducci\u00f3n suplida).[\/efn_note] En t\u00e9rminos generales, los algoritmos procesan la informaci\u00f3n que se les provee y generan un resultado a partir de ella.[efn_note]Id.<\/em>[\/efn_note] Estos resultados tienen un sinn\u00famero de aplicaciones, no obstante, para prop\u00f3sitos de este ensayo nos enfocaremos en las aplicaciones que tiene que inciden sobre la decimocuarta enmienda. El proceso de un algoritmo puede dividirse en tres partes: (1) input<\/em>; (2) procesamiento; y (3) output, <\/em>y a estas tres partes se le a\u00f1ade una cuarta que es la aplicaci\u00f3n del resultado suministrado por el algoritmo.[efn_note]Id.<\/em> en la p\u00e1g. 14.[\/efn_note]<\/a><\/p>\n
La primera, conocida como input <\/em>consiste a su vez de dos sub-pasos: (a) la informaci\u00f3n de entrenamiento y (b) el enfoque del funcionamiento del algoritmo.[efn_note]Id.<\/em>[\/efn_note] En esta parte se determinan qu\u00e9 factores el algoritmo va a utilizar para llegar a su resultado, y se le provee informaci\u00f3n para que aprenda, a esto se le conoce como machine learning<\/em>. International Business Machines Corporations (IBM) define machine learning <\/em>como:<\/p>\n
[U]na rama de la inteligencia artificial y la ciencia de c\u00f3mputos que se enfoca en el uso de data y algoritmos para imitar la manera en la cual los seres humanos aprenden, que gradualmente mejora su precisi\u00f3n. . .. El aprendizaje autom\u00e1tico es un componente importante del campo en desarrollo que la ciencia de datos. A trav\u00e9s del uso de m\u00e9todos estad\u00edsticos, los algoritmos son entrenados para clasificar o predecir, descubriendo as\u00ed aspectos claves en proyectos de procesamiento de datos. Subsecuentemente, estos aspectos lideran el proceso de toma de decisiones en aplicaciones y negocios, impactando, idealmente, m\u00e9tricas claves de crecimiento.<\/em>[efn_note]IBM Cloud Education, What is machine learning?<\/em>, IBM (15 de julio de 2020), https:\/\/www.ibm.com\/cloud\/learn\/machine-learning (traducci\u00f3n suplida).[\/efn_note]<\/blockquote>\n
La segunda parte, conocida como procesamiento, es el paso en el que algoritmo predictivo, aplica lo aprendido para proveer un resultado.[efn_note]Silva & Kenney, supra <\/em>nota 29, en las p\u00e1gs. 14.[\/efn_note] La tercera, conocida como output<\/em> es el paso en el que el algoritmo, a partir de la informaci\u00f3n provista, provee un resultado.[efn_note]Id.<\/em>[\/efn_note] La cuarta y \u00faltima parte es la interpretaci\u00f3n y aplicaci\u00f3n humana del resultado provisto por el algoritmo.[efn_note]Id.<\/em>[\/efn_note]\n
Diversas partes de este proceso son vulnerables a los sesgos. Senela Silva y Martin Kenney en Algorithms, Platforms, and Ethnic Bias: An Integrative Essay<\/em> identificaron nueve tipos de sesgos que pueden ocurrir desde la g\u00e9nesis del algoritmo hasta en la aplicaci\u00f3n del resultado que este produzca.[efn_note]Id.<\/em>[\/efn_note] Los nueve tipos de sesgos identificados por los autores son: (1) sesgos en los datos de entrenamiento; (2) sesgos en el enfoque del algoritmo; (3) sesgos en el procesamiento del algoritmo; (4) sesgo en el resultado del algoritmo; (5) sesgo en la interpretaci\u00f3n del resultado; (6) sesgo en la transparencia del resultado; (7) sesgo en la automatizaci\u00f3n del resultado; (8) sesgo en los consumidores; y, (9) sesgo en la retroalimentaci\u00f3n.[efn_note]Id.<\/em>[\/efn_note]<\/a><\/p>\n
Los primeros dos sesgos se presentan en la primera etapa del algoritmo, enti\u00e9ndase en su creaci\u00f3n y en la informaci\u00f3n que se le provee para entrenarlo.[efn_note]V\u00e9ase<\/em> id.<\/em> en la p\u00e1g. 14, seg\u00fan presentado en la Figura 1.[\/efn_note] El tercero se presenta en c\u00f3mo el algoritmo procesa la informaci\u00f3n provista.[efn_note]Id.<\/em>[\/efn_note] El cuarto, quinto y sexto se presentan en el resultado que el algoritmo provee.[efn_note]Id.<\/em>[\/efn_note] El s\u00e9ptimo, octavo y noveno se presentan una vez la decisi\u00f3n es aplicada y esta a su vez vuelve a nutrir el algoritmo.[efn_note]Id.<\/em>[\/efn_note]\u00a0 Es importante destacar que cada sesgo nutre al pr\u00f3ximo y a su vez al anterior.[efn_note]Id.<\/em>[\/efn_note] Si analizamos el proceso del algoritmo como un ciclo, el producto final sesgado construye un pensamiento sesgado en la persona que da por objetiva y cierta la decisi\u00f3n generada por el algoritmo. Esta, a su vez, lo aplica en su proceso de toma de decisiones que termina generando repercusiones en la vida real. Estas \u00faltimas pasan a nutrir otros algoritmos ya que pasan a construir y formar parte del pensamiento colectivo.<\/p>\n
b. Sesgos impl\u00edcitos<\/p>\n
Estos sesgos usualmente se entienden como impl\u00edcitos, ya que en muchas instancias se considera que la actora no est\u00e1 consciente de que los posee.[efn_note]Anthony Greenwald & Linda Hamilton Krieger, Implicit Bias: Scientific Foundations<\/em>, 94 Cal. L. Rev. 945, 946-47 (2006).[\/efn_note] Anthony G. Greenwald y Linda Hamilton Krieger indican en Implicit Bias: Scientific Foundations<\/em> que:<\/p>\n
[L]a ciencia de la cognici\u00f3n impl\u00edcita sugiere que los actores no tienen siempre control consciente e intencional sobre los procesos de percepci\u00f3n social, formaci\u00f3n de impresi\u00f3n, y discernimiento que motivan sus acciones. Muchos procesos mentales funcionan impl\u00edcitamente, o fuera del enfoque de atenci\u00f3n consciente. . .. Por ejemplo, los estudios sobre memoria impl\u00edcita demuestran que hasta cuando una persona voluntariamente (expl\u00edcitamente) no puede recordar una memoria, el comportamiento de dicha persona puede revelar que alguna experiencia previa ha dejado un r\u00e9cord en la mente.[efn_note]Id.<\/em> en las p\u00e1gs. 946-47 (traducci\u00f3n suplida).[\/efn_note]<\/blockquote>\n
Los sesgos impl\u00edcitos est\u00e1n, a su vez, compuestos de actitudes y estereotipos impl\u00edcitos.[efn_note]Id.<\/em> en la p\u00e1g. 948.[\/efn_note] Las actitudes son definidas como la tendencia de que algo guste o disguste, o la tendencia de actuar favorablemente en cuanto a algo y desfavorablemente en cuanto a otra cosa o persona.[efn_note]Id.<\/em>[\/efn_note] Mientras que un estereotipo social se describe como una asociaci\u00f3n mental entre un grupo social o categor\u00eda y un rasgo; asociaci\u00f3n que puede, pero no necesariamente debe, reflejar una realidad estad\u00edstica.[efn_note]Id.<\/em> en la p\u00e1g. 949.[\/efn_note] A pesar de que pensemos que no tenemos sesgos, todas las personas los tenemos.<\/p>\n
Al aplicar estos conceptos a los modelos algor\u00edtmicos presentados anteriormente podemos ver c\u00f3mo es com\u00fan que los algoritmos reflejen los sesgos impl\u00edcitos de sus creadores. Consideremos los sesgos que pueden tener las programadoras y c\u00f3mo estos podr\u00edan inmiscuirse e incidir sobre el funcionamiento de algoritmos. Por ejemplo, la precisi\u00f3n de las tecnolog\u00edas de reconocimiento facial fluct\u00faa acorde a la raza.[efn_note]Christina Zhao, Is the iPhone Racist? Apple Refunds Device that Can\u2019t tell Chinese People Apart<\/em>, Newsweek (18 de diciembre de 2017), https:\/\/www.newsweek.com\/iphone-x-racist-apple-refunds-device-cant-tell-chinese-people-apart-woman-751263.[\/efn_note] Durante el 2017 se descubri\u00f3 que el software<\/em> de reconocimiento facial de Apple no pod\u00eda distinguir entre dos caras asi\u00e1ticas.[efn_note]Id.<\/em>[\/efn_note] Este tipo de situaci\u00f3n puede darse en el momento en el que se le provee informaci\u00f3n al algoritmo para que aprenda. Si los datos que se le proveyeron no fueron diversos, el algoritmo no aprender\u00e1 c\u00f3mo identificar m\u00faltiples tipos de caras ya que solamente se le provey\u00f3 un tipo de cara. Esta situaci\u00f3n puede llevar a falsos positivos.[efn_note]MIT Technology Review, A US government study confirms most face recognition systems are racist<\/em>, (2 de diciembre de 2020), (https:\/\/www.technologyreview.com\/2019\/12\/20\/79\/ai-face-recognition-racist-us-government-nist-study\/.[\/efn_note] Ya se han dado casos en los que personas afroamericanas son acusadas y encarceladas err\u00f3neamente ya que son reconocidas por el algoritmo de reconocimiento facial mediante un falso positivo.[efn_note]Id.<\/em>; Kashmir Hill, Wrongfully Accussed by an Algorithm<\/em>, THE NEW YORK TIMES (24 de junio de 2020), https:\/\/www.nytimes.com\/2020\/06\/24\/technology\/facial-recognition-arrest.html.[\/efn_note]\n
En la mayor\u00eda de los casos, la decisi\u00f3n de un algoritmo no se cuestiona y su neutralidad se presume ya que se entiende que una computadora, y no un humano, est\u00e1 evaluando determinadas variables y proveyendo la informaci\u00f3n libre de sesgos. A esta situaci\u00f3n se le suma que los algoritmos funcionan como una caja negra; ni tan siquiera el programador sabe como un algoritmo lleg\u00f3 a la decisi\u00f3n que provee.[efn_note]Ashley Deeks, The Judicial Demand for Explainable Artificial Intelligence<\/em>, 119 COLUM. L. REV. 1829 (2019) (traducci\u00f3n suplida).[\/efn_note] Ashley Deeks en The Judicial Demand for Explainable Artificial Intelligence<\/em> explica que:<\/p>\n
[U]na preocupaci\u00f3n recurrente sobre los algoritmos de aprendizaje autom\u00e1tico es que operan como cajas negras. Ya que los algoritmos constantemente ajustan la manera en la que sopesan la informaci\u00f3n provista para mejorar la precisi\u00f3n de sus predicciones, puede ser dif\u00edcil identificar c\u00f3mo y porqu\u00e9 los algoritmos alcanzan los resultados que alcanzan.[efn_note]Id <\/em>(traducci\u00f3n suplida).<\/em>[\/efn_note]<\/blockquote>\n
Esto presenta un problema tanto de debido proceso de ley como de igual protecci\u00f3n de las leyes. Debido proceso ya que no se puede evaluar el proceso para asegurar su integridad y de igual protecci\u00f3n de las leyes ya que los sesgos funcionan como categor\u00edas para prop\u00f3sitos de la doctrina.<\/p>\n
II. Sesgos algor\u00edtmicos y categor\u00edas protegidas<\/strong><\/p>\n
Como bien sabemos, para poder revisar judicialmente una ley o actuaci\u00f3n estatal bajo la cl\u00e1usula de igual protecci\u00f3n de las leyes se debe demostrar que la ley clasifica personas.[efn_note]Nowak & Rotunda, supra <\/em>nota 8, en la p\u00e1g. 419.[\/efn_note] Para que se observen las clasificaciones de la ley, estas deben ser en cuanto a un derecho fundamental o en base a raza, origen nacional, extranjer\u00eda, nacimiento, o sexo.[efn_note]Id.<\/em> en las p\u00e1gs. 426-29.[\/efn_note] La ley puede establecer la clasificaci\u00f3n de su faz, en su aplicaci\u00f3n o no establecerla en lo absoluto pero aun as\u00ed imponer cargas dispares entre personas que deben tratarse similarmente.[efn_note]Id.<\/em> en las p\u00e1gs. 420-21.[\/efn_note] Al igual que las leyes, los algoritmos pueden establecer clasificaciones en su faz (en su dise\u00f1o), en su aplicaci\u00f3n (al aplicar o accionar en base a su resultado), o no establecerla en lo absoluto pero establecer cargas dispares entre personas que deben tratarse similarmente.<\/p>\n
Al comenzar a pensar en maneras para determinar si un modelo algor\u00edtmico es discriminatorio, el primer curso de acci\u00f3n que tomar\u00edamos ser\u00eda investigar si el modelo incluye alguna de las categor\u00edas legalmente protegidas o si afecta de su faz un derecho fundamental. El problema de base que encontraremos es que muchos de estos modelos no toman la raza, el sexo, el nacimiento, la extranjer\u00eda y otras categor\u00edas protegidas en consideraci\u00f3n a la hora de tomar su determinaci\u00f3n. Solon Barocas, Elizabeth Bradley, Vasant Honavar y Foster Provost en Big Data, Data Science, and Civil Rights<\/em> hablan sobre c\u00f3mo diversos trabajos acad\u00e9micos han atendido la problem\u00e1tica de que otras categor\u00edas, que no son las protegidas, act\u00faan como proxies <\/em>para categor\u00edas protegidas, entre estas se encuentran la direcci\u00f3n residencial, el historial familiar, entre otros.[efn_note]Solon Barocas, et al., Big Data, Data Science and Civil Rights<\/em>, Computer Community Consortium (2017), https:\/\/cra.org\/ccc\/wp-content\/uploads\/sites\/2\/2017\/06\/BigDataDataScienceandCivilRights-v6.pdf.[\/efn_note] Sobre el particular los autores destacan que:<\/p>\n
Cualquier sesgo presentado por dichos modelos ser\u00eda involuntario, pero no menos perjudicial que las decisiones que consideran expl\u00edcitamente categor\u00edas protegidas legalmente. De hecho, dichos modelos podr\u00edan ser m\u00e1s perjudiciales precisamente porque el sesgo se deriva de problemas con la data de entrenamiento que se pueden pasar por alto f\u00e1cilmente. A causa de la imposibilidad de establecer una verdad objetiva, y de las muchas maneras en que se puede medir el desempe\u00f1o de los modelos, hay una necesidad urgente de apoyar investigaciones que desarrollen modelos m\u00e1s rigurosos para establecer si un modelo exhibe sesgos inaceptables.[efn_note]Id.<\/em> en la p\u00e1g. 3. (\u00e9nfasis omitido) (traducci\u00f3n suplida).[\/efn_note]<\/blockquote>\n
Como explicamos anteriormente, el Tribunal, al evaluar si una medida es discriminatoria, eval\u00faa si esta es discriminatoria de su faz, en su aplicaci\u00f3n o si establece cargas dispares entre grupos que deber\u00edan tratarse equitativamente.[efn_note]Nowak & Rotunda, supra <\/em>nota 8, en la p\u00e1g. 420-21.[\/efn_note] En la situaci\u00f3n que presentamos, en el caso que un modelo algor\u00edtmico no sea discriminatorio de su faz, debe evaluarse si este es discriminatorio en su aplicaci\u00f3n o si establece cargas dispares. Al evaluar el impacto de una medida, el Tribunal se preguntar\u00e1 si, en su aplicaci\u00f3n, la medida impacta a alguna de las categor\u00edas protegidas o si afecta un derecho fundamental.<\/p>\n
El problema que se presenta al evaluar el resultado de la aplicaci\u00f3n de un modelo algor\u00edtmico es que estos funcionan como una caja negra, y el acceso a su funcionamiento y a los datos de entrenamiento est\u00e1 protegido por la doctrina de secreto de negocios.[efn_note]Taylor R. Moore, Trade secrets & Algorithms as Barriers to Social Justice<\/em>, Center for Democracy and Technology (Agosto 2017), https:\/\/cdt.org\/wp-content\/uploads\/2017\/08\/2017-07-31-Trade-Secret-Algorithms-as-Barriers-to-Social-Justice.pdf.[\/efn_note] Es importante destacar que muchos de los modelos utilizados actualmente para llevar a cabo predicci\u00f3n algor\u00edtmica pertenecen al sector privado, lo que limita y obstaculiza su fiscalizaci\u00f3n.[efn_note]Julia Angwin et al., Machine Bias<\/em>, ProPublica (23 de mayo de 2016), https:\/\/www.propublica.org\/article\/machine-bias-risk-assessments-in-criminal-sentencing\/.[\/efn_note] Adem\u00e1s de ser un obst\u00e1culo para la fiscalizaci\u00f3n, esta situaci\u00f3n presenta un problema de debido proceso ya que se desconoce el proceso que lleva a la decisi\u00f3n del algoritmo. Por ejemplo, en un caso criminal una persona acusada no puede interrogar o rebatir la presunci\u00f3n de exactitud y veracidad que tiene una determinaci\u00f3n de un modelo algor\u00edtmico que se tome en consideraci\u00f3n en alguna parte del proceso judicial. Presenta tambi\u00e9n un problema de igual protecci\u00f3n de las leyes ya que, como hemos mencionado anteriormente, el modelo algor\u00edtmico puede contener sesgos en diversas partes de su estructura de funcionamiento que son dif\u00edciles o hasta imposibles de detectar.<\/p>\n
La fuente del sesgo, para muchas personas, se encuentra en los datos de entrenamiento que se le provee al modelo algor\u00edtmico para que aprenda.[efn_note]Solon Barocas, supra<\/em> nota 58, en la p\u00e1g 4.[\/efn_note] Mientras que otros han identificado que independientemente de la cantidad y diversidad de los datos que se le provea al algoritmo, estos modelos muestran fallas al operar con respecto a minor\u00edas ya que los patrones que estas presentan son diferentes a los de la mayor\u00eda.[efn_note]Id.<\/em>[\/efn_note][2]<\/a> Actualmente, ya se han presentado m\u00faltiples instancias en diversos \u00e1mbitos en las que el uso de modelos algor\u00edtmicos a la hora de hacer determinaciones judiciales ha desembocado en resultados discriminatorios y err\u00f3neos. A continuaci\u00f3n, examinaremos diversos casos puntuales en los cuales personas y comunidades se han visto afectadas por el uso y aplicaci\u00f3n de modelos algor\u00edtmicos.<\/p>\n
a. Determinaci\u00f3n de riesgos en casos criminales<\/p>\n
Durante mucho tiempo los crimin\u00f3logos han intentado predecir cu\u00e1les criminales son m\u00e1s peligrosos antes de decidir si deben dejarlos en libertad o no. Caracter\u00edsticas como raza, nacionalidad y color de piel fueron utilizadas como m\u00e9todo de predicci\u00f3n hasta aproximadamente 1970, cuando se convirti\u00f3 en pol\u00edticamente inaceptable, seg\u00fan un sondeo de herramientas de evaluaci\u00f3n del profesor de derecho de la Universidad de Columbia, Bernard Harcourt.<\/em>[efn_note]Julia Angwin, supra<\/em> nota 62 (traducci\u00f3n suplida).[\/efn_note]<\/blockquote>\n
Las herramientas de determinaci\u00f3n de riesgos o risk assessment <\/em>son los diversos m\u00e9todos utilizados por el sistema judicial en cuatro \u00e1reas: antes del juicio (detenci\u00f3n previa) y al establecer fianza, al impartir sentencia, al tomar determinaciones sobre probatoria y libertad condicional, y en el \u00e1mbito de la justicia juvenil.[efn_note]Angel\u00e8 Christi et al., Courts and Predictive Algorithms, <\/em>Datacivilrights.org (2015), https:\/\/www.law.nyu.edu\/sites\/default\/files\/upload_documents\/Angele%20Christin.pdf.[\/efn_note] Las herramientas de determinaci\u00f3n de riesgos suponen informar el proceso decisional del juez, del fiscal, del abogado de defensa y de otros actores jur\u00eddicos.[efn_note]Id.<\/em>[\/efn_note]\u00a0 Estos sistemas funcionan en base a m\u00e9todos estad\u00edsticos en vez de cl\u00ednicos.[efn_note]Id.<\/em>[\/efn_note] A estos m\u00e9todos puramente estad\u00edsticos se les conoce como el m\u00e9todo actuarial o el actuarial method<\/em>.[efn_note]Bernard E. Harcourt, Against Prediction: Sentencing, Policing, and Punishing in an Actuarial Age<\/em> 3 (The University of Chicago Public Law and Legal Theory Working Paper Series, Working Paper No. 94, 2005), http:\/\/www.law.uchicago.edu\/academics\/publiclaw\/index.html.[\/efn_note] Este m\u00e9todo utiliza cantidades gigantescas de datos \u2014 en el caso que nos ocupa de ofensas criminales \u2014 para determinar los diferentes niveles de ofensas asociados con una o varias caracter\u00edsticas de un grupo determinado.[efn_note]Id.<\/em> en la p\u00e1g. 4.[\/efn_note]\n
\u201cEl acercamiento exclusivamente actuarial requiere la revisi\u00f3n de data contenida en todos los archivos disponibles. El m\u00e9todo actuarial no requiere insumo cl\u00ednico, solo una traducci\u00f3n del material relevante de los archivos para calcular la puntuaci\u00f3n de riesgo\u201d.[efn_note]Shoba Sreenivasan, et al., Actuarial Risk Assessment Models: A Review of Critical Issues Related to Violence and sex-Offender Recidivism Assessments<\/em>, 28 The Journal of the American Academy of Psychiatry and the Law 438, 439 (2000) (traducci\u00f3n suplida).[\/efn_note] En s\u00edntesis, el m\u00e9todo actuarial es uno automatizado, el m\u00e9todo cl\u00ednico es aquel proceso anal\u00edtico llevado a cabo por un profesional en el \u00e1rea que se busca evaluar.[efn_note]Robyn M. Dawes et al, Clinical Versus Actuarial Judgement,<\/em> 243 American Association for the Advancement of Science 1668 (1989).[\/efn_note] Un ejemplo de un proceso cl\u00ednico en el \u00e1mbito legal lo ser\u00eda un juicio. En este proceso, personas expertas (abogados, fiscales, jueces, peritos) presentan una serie de informaci\u00f3n a un juez que la eval\u00faa y toma una decisi\u00f3n en base a su conocimiento. El m\u00e9todo actuarial carece del elemento humano, es puramente estad\u00edstico.<\/p>\n
b. State v. Loomis<\/em><\/p>\n
En el caso de State v. Loomis<\/em>, el Tribunal Supremo de Wisconsin sostuvo que el uso de un modelo de determinaci\u00f3n de riesgos en el proceso de sentencia no viol\u00f3 la cl\u00e1usula de debido proceso de ley ni la cl\u00e1usula de igual protecci\u00f3n de las leyes.[efn_note]State v. Loomis, 881 N.W.2d 749, 766, 771 (Wis. 2016).[\/efn_note] En el 2013, el estado de Wisconsin acus\u00f3 a Eric Loomis de cinco cargos relacionados a un tiroteo desde un veh\u00edculo en movimiento, en este caso, el acusado se declar\u00f3 culpable en los dos cargos menos graves.[efn_note]Id. <\/em>en la p\u00e1g. 754.[\/efn_note] El Estado produjo un reporte investigativo pre-sentencia \u2014 generado por el oficial del Departamento de Correcciones de Wisconsin a cargo del caso \u2014 en el que incluy\u00f3 una determinaci\u00f3n de riesgos de un modelo algor\u00edtmico llamado COMPAS.[efn_note]Id.<\/em>[\/efn_note] Loomis fue sentenciado a seis a\u00f1os de encarcelamiento y cinco a\u00f1os bajo supervisi\u00f3n.[efn_note]Id. <\/em>en la p\u00e1g. 756.[\/efn_note] En su determinaci\u00f3n, la Corte se refiri\u00f3 a la evaluaci\u00f3n de COMPAS y bas\u00f3 parte de la sentencia en la misma.[efn_note]Id.<\/em> en las p\u00e1gs. 769-70.[\/efn_note]\n
Loomis radic\u00f3 una moci\u00f3n en la que argument\u00f3 que la deferencia que la Corte le otorg\u00f3 a COMPAS viol\u00f3 su derecho al debido proceso de ley.[efn_note]Id.<\/em> en la p\u00e1g. 756.[\/efn_note] El acusado bas\u00f3 su argumento en que COMPAS provee datos relevantes solo para algunos grupos en particular y en que su metodolog\u00eda es un secreto de negocio.[efn_note]Id.<\/em> en las p\u00e1gs. 761, 764.[\/efn_note] Adem\u00e1s, argument\u00f3 que el proceso de determinaci\u00f3n de sentencia fue inconstitucional ya que descans\u00f3 en la evaluaci\u00f3n de COMPAS la cual toma en consideraci\u00f3n el g\u00e9nero.[efn_note]Id. <\/em>en la p\u00e1g. 757.[\/efn_note] La Corte afirm\u00f3 la decisi\u00f3n de la Corte inferior.[efn_note]Id. <\/em>en la p\u00e1g. 772.[\/efn_note]\n
COMPAS o Correctional Offender Management Profiling for Alternative Sanctions<\/em> es una herramienta algor\u00edtmica de determinaci\u00f3n de riesgos de la compa\u00f1\u00eda Northpointe.[efn_note]Julia Angwin, supra<\/em> nota 62.[\/efn_note] Al describir COMPAS, ProPublica indica que la herramienta: \u201cEval\u00faa no solo riesgo, pero adem\u00e1s casi dos docenas de los tan llamados criminogenic needs <\/em>que se relacionan con las teor\u00edas m\u00e1s importantes sobre criminalidad, incluyendo personalidad criminal, aislamiento social, abuso de sustancias controladas y residencia\/estabilidad. Los acusados son clasificados como bajo, mediano o alto en cada categor\u00eda\u201d.[efn_note]Id.<\/em> (traducci\u00f3n suplida).<\/em> \u00a0 [\/efn_note] La herramienta estima el riesgo de reincidencia criminal en base a una entrevista con el acusado e informaci\u00f3n de su historial criminal.[efn_note]Northpointe, COMPAS Risk & Need Assessment System Selected Questions Posed by Inquiring Agencies<\/em> http:\/\/www.northpointeinc.com\/files\/downloads\/FAQ_Document.pdf (\u00faltima visita 24 de noviembre de 2021).[\/efn_note] Ya que la metodolog\u00eda de COMPAS es un secreto de negocio, esta no se revela a la corte; lo \u00fanico que se revela es el estimado de riesgo de reincidencia.[efn_note]State v. Loomis, 881 N.W.2d 749, 761 (Wis. 2016).[\/efn_note]\n
Para prop\u00f3sitos de este escrito nos enfocaremos en la porci\u00f3n de discrimen en base a g\u00e9nero. En opini\u00f3n escrita por la juez Ann Walsh Bradley, la Corte indic\u00f3 que el uso de g\u00e9nero en la evaluaci\u00f3n de COMPAS no era discriminatoria ya que: \u201c[S]i la inclusi\u00f3n del g\u00e9nero promueve precisi\u00f3n, sirve a los intereses de las instituciones y los acusados, y no tiene un prop\u00f3sito discriminatorio\u201d.[efn_note]Id.<\/em> en las p\u00e1gs 766 (traducci\u00f3n suplida).[\/efn_note] El Tribunal destac\u00f3 que Loomis no provey\u00f3 suficiente evidencia de que la Corte consider\u00f3 el g\u00e9nero a la hora de emitir su sentencia.[efn_note]Id.<\/em> en las p\u00e1gs 767.[\/efn_note] Adem\u00e1s, indic\u00f3 que el acusado pod\u00eda negar o explicar cualquier informaci\u00f3n que se tom\u00f3 en consideraci\u00f3n a la hora de emitir la evaluaci\u00f3n \u2014ya que esta era p\u00fablica o provista por el acusado\u2014 para que fuese m\u00e1s exacta.[efn_note]Id.<\/em> en las p\u00e1gs. 761.[\/efn_note]\n
La Corte estableci\u00f3 los par\u00e1metros que deben seguir los jueces al utilizar las determinaciones de riesgos; estas no pueden utilizarse para determinar si un ofensor es encarcelado, para determinar la severidad de la sentencia, o como factor determinante al decidir si un ofensor puede ser supervisado segura y eficazmente en la comunidad.[efn_note]Id.<\/em> en la p\u00e1g. 769.[\/efn_note] Adem\u00e1s, la Corte determin\u00f3 que:<\/p>\n
[A]dem\u00e1s de una evaluaci\u00f3n de riesgo de COMPAS, la corte de circuito debe explicar los factores que apoyan independientemente la sentencia impuesta\u2026.Una evaluaci\u00f3n de riesgo de COMPAS es solo uno de muchos factores que pueden ser considerados y sopesados a la hora de emitir sentencia. . . .Cualquier [I]nforme de [I]nvestigaci\u00f3n [P]re-condenatorio (PSI por sus siglas en ingl\u00e9s) radicado en corte que contenga una evaluaci\u00f3n de riesgo de COMPAS debe contener, adem\u00e1s, un aviso escrito enumerando las limitaciones.[efn_note]Id. <\/em>en la p\u00e1g. 751 (traducci\u00f3n suplida).[\/efn_note]<\/blockquote>\n
Adem\u00e1s, la Corte indic\u00f3 que se debe presentar: (1) la naturaleza propietaria de COMPAS y que esta proh\u00edbe que se divulgue la metodolog\u00eda de la plataforma, (2) que COMPAS identifica un grupo de ofensores de alto riesgo pero no un individuo particular, (3) que algunos estudios han cuestionado el hecho de que la herramienta encuentra, desproporcionalmente, que las personas de minor\u00edas presentan un riesgo mas alto de reincidencia, (4) que la herramienta compara al acusado a nivel nacional, no estatal, y que (5) COMPAS se dise\u00f1\u00f3 para determinaciones de tratamiento, supervisi\u00f3n y libertad bajo palabra.[efn_note]Id<\/em>. en las p\u00e1gs. 769-770.[\/efn_note]\n
La decisi\u00f3n en Loomis <\/em>pasa por alto el desconocimiento t\u00e9cnico que los jueces tienen en cuanto al funcionamiento de los modelos algor\u00edtmicos como COMPAS y falla al no presentar \u00edntegramente las investigaciones que se\u00f1alan faltas graves en el funcionamiento de la herramienta. Un estudio publicado por los fundadores de Northpointe, encontr\u00f3 que COMPAS \u2013\u2013 en una muestra de 2,328 personas \u2013\u2013 ten\u00eda un rango de precisi\u00f3n de 68%. [efn_note]Id.<\/em>[\/efn_note] El estudio tambi\u00e9n encontr\u00f3 que la puntuaci\u00f3n era levemente menos efectiva para hombres negros que para hombres blancos, 67% versus 69%. [efn_note]Julia Angwin, supra<\/em> nota 62.[\/efn_note] El estudi\u00f3 no evalu\u00f3 las disparidades raciales m\u00e1s all\u00e1, ni si algunos grupos eran m\u00e1s propensos a ser identificados err\u00f3neamente como de alto riesgo. [efn_note]Id.<\/em>[\/efn_note] En su investigaci\u00f3n, ProPublica indic\u00f3 que Wisconsin es uno de los estados que mas utiliza COMPAS en las determinaciones de sentencia. [efn_note]Id.<\/em>[\/efn_note] A pesar de esto, el estado no ha llevado a cabo una validaci\u00f3n estad\u00edstica de la herramienta. [efn_note]Id.<\/em>[\/efn_note]\u00a0 \u00a0 \u00a0\u00a0<\/a><\/p>\n
B. Houston Federation of Teachers, Local 2415, et al. v. Houston Independent School District<\/em><\/p>\n
En el 2014, la Federaci\u00f3n de Maestros de Houston radic\u00f3 una demanda en representaci\u00f3n de catorce maestros que alegaban que el m\u00e9todo de evaluaci\u00f3n de maestros utilizado por el distrito \u2014el cual serv\u00eda de base para ascensos y despidos\u2014 violaba sus derechos constitucionales, en espec\u00edfico, los derechos a debido proceso de ley e igual protecci\u00f3n de las leyes. [efn_note]Houston Fed. of Teachers v. Houston Independent, 251 F. Supp. 3d 1168 (S.D. Tex. 2017).[\/efn_note] En cuanto a la violaci\u00f3n de la cl\u00e1usula de igual protecci\u00f3n de las leyes, los demandantes alegaron que el proceso los trataba de manera dispar a pesar de estar situados en posiciones similares y que no hab\u00eda base racional para esto. [efn_note]Id.<\/em> en la p\u00e1g. 1183.[\/efn_note] Los maestros en cuesti\u00f3n \u2014Daniel Santos, Alicia Montgomery, Araceli Ramos, Paloma Garner, Ivan Castillo, Andy Dewey, Joyce Helfman, Myla Van Duyn, y Debra Savage, entre otros\u2014 fueron colocados en Prescriptive Plans of Assistance <\/em>(en adelante, \u201cPPAs\u201d) luego de que sus resultados del m\u00e9todo de evaluaci\u00f3n, conocido como Education Value-Added Assessment (en adelante, \u201cEVAAS\u201d) fueran bajo promedio. Previo a esto, los maestros, quienes eran considerados veteranos, hab\u00edan sido calificados como eficientes que cumpl\u00edan e inclusive exced\u00edan las expectativas. [efn_note]Id.<\/em> en la p\u00e1g. 1174; Govinfo, https:\/\/www.govinfo.gov\/app\/details\/USCOURTS-txsd-4_14-cv-01189 <\/em>(\u00faltima visita 18 de enero de 2022).[\/efn_note]\n
El m\u00e9todo de evaluaci\u00f3n EVAAS emplea algoritmos matem\u00e1ticos para intentar aislar \u2014de todos los otros factores\u2014 la aportaci\u00f3n individual de un maestro al aprendizaje de sus estudiantes.[efn_note]Value-added measures: How and why the strategic data project uses them to study teacher effectiveness<\/em>, CENTER FOR EDUCATION POLICY RESEARCH AT HARVARD UNIVERSITY (2011), https:\/\/hwpi.harvard.edu\/files\/sdp\/files\/sdp-va-memo_0.pdf.[\/efn_note] En s\u00edntesis, estos modelos se utilizan para estimar cu\u00e1n positivo o negativo es el efecto de un maestro en particular sobre el aprendizaje de un estudiante durante el a\u00f1o acad\u00e9mico.[efn_note]Id.<\/em> en la p\u00e1g. 3.[\/efn_note] Para producir los estimados, estos modelos algor\u00edtmicos combinan estad\u00edsticas y resultados de pruebas estandarizadas con informaci\u00f3n de los estudiantes para determinar la puntuaci\u00f3n del maestro.[efn_note]Id.<\/em>[\/efn_note] Esta puntuaci\u00f3n es utilizada por el administrador de la escuela para tomar decisiones sobre permanencia, compensaci\u00f3n o empleo.\u00a0 [efn_note]Id.<\/em> en la p\u00e1g. 5; Shelby Webb & John D. Harden, Houston ISD settles with union over controversial teacher evaluations<\/em>, Chron. (12 de octubre de 2017), https:\/\/www.chron.com\/news\/houston-texas\/education\/article\/Houston-ISD-settles-with-union-over-teacher-12267893.php#photo-11286609; Valerie Strauss, Houston teachers sue over controversial teacher evaluation method, <\/em>The Washington Post (30 de abril de 2014), https:\/\/www.washingtonpost.com\/news\/answer-sheet\/wp\/2014\/04\/30\/houston-teachers-sue-over-controversial-teacher-evaluation-method\/.[\/efn_note]\n
EVAAS es un modelo algor\u00edtmico de la compa\u00f1\u00eda privada SAS y por ende no se tiene acceso a su funcionamiento.[efn_note]Houston Fed. of Teachers v. Houston Independent, 251 F. Supp. 3d 1168, 1172 (S.D. Tex. 2017).[\/efn_note] En la declaraci\u00f3n de hechos, el Tribunal indic\u00f3 que: \u201cSAS trata a estos algoritmos y programas como secretos de negocio, rehus\u00e1ndose as\u00ed a divulgarlos a HISD or a los maestros. HISD ha admitido que no verifica o audita las puntuaciones de EVAAS que recibe de SAS, ni contrata a un tercero para hacerlo\u201d.[efn_note]Id. <\/em>en la p\u00e1g. 1177 (traducci\u00f3n suplida).[\/efn_note] A pesar de esto, el Tribunal encontr\u00f3 que los hechos alegados \u201cno encajan en el molde de un reclamo de igual protecci\u00f3n. La corte err\u00f3 ya que no encontr\u00f3 que la pr\u00e1ctica de alinear la calificaci\u00f3n de la pr\u00e1ctica educativa con puntuaciones de EVAAS es un sistema de clasificaci\u00f3n\u201d.[efn_note]Id. <\/em>en la p\u00e1g. 1183 (traducci\u00f3n suplida).[\/efn_note] La falta de evidencia para sustentar el reclamo de igual protecci\u00f3n de las leyes que el Tribunal se\u00f1ala puede ser el resultado de la falta de transparencia del proceso de evaluaci\u00f3n. Al igual que en el caso que evaluamos anteriormente, el funcionamiento de EVAAS es protegido por la doctrina de secreto de negocio ya que es propiedad intelectual de una compa\u00f1\u00eda privada.[efn_note]Id.<\/em> en la p\u00e1g. 1175.[\/efn_note] \u00bfC\u00f3mo podemos cuestionar de manera efectiva y v\u00e1lida un proceso si no tenemos acceso su funcionamiento?<\/p>\n
C. Wronglly Accussed by an Algorithm: El caso de Robert Julian-Borchak Williams y el estado de Michigan<\/em><\/p>\n
<\/a><\/p>\n
<\/a><\/p>\n
<\/a><\/p>\n
<\/a><\/p>\n
En enero 2020, Robert Julian-Borchak Williams fue arrestado en la marquesina de su casa luego de que la tecnolog\u00eda de reconocimiento facial utilizada por la polic\u00eda de Wayne County en Detroit, Michigan lo identificara err\u00f3neamente en la comisi\u00f3n de un robo.[efn_note]Kashmir Hill, Wrongfully accused by an algorithm<\/em>, THE NEW YORK TIMES, 24 de junio de 2020, en la p\u00e1g. 1, https:\/\/www.nytimes.com\/2020\/06\/24\/technology\/facial-recognition-arrest.html.[\/efn_note] En el interrogatorio, los detectives presentaron dos piezas de evidencia: una imagen de una grabaci\u00f3n de la c\u00e1mara de vigilancia y una imagen magnificada borrosa de una cara extra\u00edda de la misma grabaci\u00f3n.[efn_note]Id.<\/em>[\/efn_note] Los detectives compararon la cara de Borchak Williams con el video; el modelo algor\u00edtmico de reconocimiento facial hab\u00eda identificado a Williams err\u00f3neamente.[efn_note]Id.<\/em> en la p\u00e1g. 4.[\/efn_note] Al preguntar si pod\u00eda irse, los detectives le dijeron que no.[efn_note]Id.<\/em>[\/efn_note] Williams estuvo arrestado treinta horas y fue dejado en libertad luego de pagar $1,000 de fianza.[efn_note]Id.<\/em>[\/efn_note] Dos semanas luego de su arresto, Williams compareci\u00f3 ante la Corte de Wayne County para la lectura de cargos, fiscal\u00eda desestim\u00f3 los cargos sin perjuicio, lo cual significa que Williams podr\u00eda enfrentar cargos nuevamente.[efn_note]Id.<\/em> en la p\u00e1g. 5.[\/efn_note] La polic\u00eda nunca se preocup\u00f3 por averiguar si Williams ten\u00eda una cuartada, la cual ten\u00eda.[efn_note]Id.<\/em> en las p\u00e1gs. 5-6.[\/efn_note]\n
Al igual que las determinaciones de riesgo, los pareos de tecnolog\u00edas de reconocimiento facial suponen informar la investigaci\u00f3n y no constituyen una causa probable para arresto.[efn_note]Id.<\/em> en la p\u00e1g. 3.[\/efn_note] \u201cAntes de arrestar a Mr. Williams, los investigadores pod\u00edan recopilar evidencia de que \u00e9l cometi\u00f3 el robo, como testimonios oculares, datos de ubicaci\u00f3n de su tel\u00e9fono o prueba de que era due\u00f1o de la ropa que el sospechoso estaba utilizando\u201d.[efn_note]Id.<\/em> (traducci\u00f3n suplida).[\/efn_note] Una representante de la polic\u00eda de Detroit indic\u00f3 al New York Times que el departamento de la polic\u00eda hab\u00eda actualizado sus pol\u00edticas de uso de reconocimiento facial para que solo sean utilizadas para investigar cr\u00edmenes violentos.[efn_note]Id.<\/em> en la p\u00e1g. 5.[\/efn_note] Hace m\u00e1s de veinte a\u00f1os que la polic\u00eda utiliza tecnolog\u00edas de reconocimiento facial.[efn_note]Id.<\/em> en la p\u00e1g. 1.[\/efn_note] A pesar de esto, estudios recientes han encontrado que la tecnolog\u00eda es mucho menos precisa al identificar caras negras y asi\u00e1ticas que al identificar caras blancas.[efn_note]Larry Hardesty, Study finds gender and skin-type bias in commercial artificial-intelligence systems<\/em>, MASSACHUSETTS INSTITUTE OF TECHNOLOGY, (11 de febrero de 2018), en la p\u00e1g. 2, https:\/\/news.mit.edu\/2018\/study-finds-gender-skin-type-bias-artificial-intelligence-systems-0212. NIST Study Evaluates Effects of Race, Age, Sex on Face Recognition Software, NIST (19 de diciembre de 2019), https:\/\/www.nist.gov\/news-events\/news\/2019\/12\/nist-study-evaluates-effects-race-age-sex-face-recognition-software.[\/efn_note] Sobre ello se ha indicado lo siguiente:<\/p>\n
\n
- En compatibilidad uno a uno, el equipo vio altos \u00edndices de falsos positivos para caras asi\u00e1ticas y africanas en relaci\u00f3n con im\u00e1genes de caras cauc\u00e1sicas. Dependiendo del algoritmo individual, las diferencias com\u00fanmente variaban de un factor de 10 a 100 veces. Los falsos positivos pueden presentar una preocupaci\u00f3n de seguridad para el due\u00f1o del sistema, ya que pueden permitir el acceso de impostores.<\/li>\n
- En los E.E.U.U. \u2013 entre los algoritmos desarrollados, hubo \u00edndices altos de falsos positivos en compatibilidad uno a uno para caras asi\u00e1ticas, afroamericanas y grupos nativos (que incluyen nativos americanos, indoamericanos, indios de Alaska e Indios del Pac\u00edfico). El demogr\u00e1fico de indoamericanos tiene el \u00edndice m\u00e1s alto de falsos positivos.<\/li>\n
- Sin embargo, una excepci\u00f3n notable se encontr\u00f3 en algoritmos desarrollados en pa\u00edses asi\u00e1ticos. Mientras que Grother reiter\u00f3 que el estudio de NIST no explora la relaci\u00f3n entre causa y efecto, una conexi\u00f3n y posible \u00e1rea de investigaci\u00f3n lo es la relaci\u00f3n entre el desempe\u00f1o de un algoritmo y la data que se utiliza para entrenarlo. \u2018Estos resultados son una se\u00f1al alentadora de que data m\u00e1s diversas podr\u00eda producir resultados m\u00e1s equitativos, siempre y cuando sea posible que los desarrolladores utilicen dicho tipo de data\u2019, dijo.[efn_note]NIST Study Evaluates Effects of Race, Age, Sex on Face Recognition Software, NIST (19 de diciembre de 2019), https:\/\/www.nist.gov\/news-events\/news\/2019\/12\/nist-study-evaluates-effects-race-age-sex-face-recognition-software (traducci\u00f3n suplida).[\/efn_note]<\/li>\n<\/ol>\n
\u00bfC\u00f3mo puede desembocar esta situaci\u00f3n en una controversia de la decimocuarta enmienda? Tienden a presentarse varias situaciones que desembocan en situaciones de discrimen prohibidas bajo la igual protecci\u00f3n de las leyes. La primera es que muchos de estos algoritmos pierden precisi\u00f3n si dejan de utilizar categor\u00edas protegidas en su an\u00e1lisis.[efn_note]Julia Angwin et al<\/em>., Machine Bias<\/em>, PROPUBLICA (23 de mayo de 2016), https:\/\/www.propublica.org\/article\/machine-bias-risk-assessments-in-criminal-sentencing\/.[\/efn_note] La segunda es que muchos de estos algoritmos no utilizan categor\u00edas protegidas en su modelo de procesamiento, pero aun as\u00ed arrojan resultados que son discriminatorios de su faz, o en su aplicaci\u00f3n, o que aplican cargas dispares en personas similarmente situadas.[efn_note]Id.<\/em>[\/efn_note] El problema principal es que, dado a la falta de transparencia en el funcionamiento de estas tecnolog\u00edas, es sumamente dif\u00edcil identificar en qu\u00e9 parte del proceso es que ocurren las fallas.\u00a0<\/a><\/p>\n
II<\/strong>I. Regulaci\u00f3n, legislaci\u00f3n y lagunas jur\u00eddicas <\/strong><\/a><\/a><\/a><\/p>\n