En el más extraño de los años, los problemas con los resultados de A-Level y GCSE pueden parecer simplemente otra crisis política a corto plazo.

Pero la combinación de big data y algoritmos, y sus posibles efectos discriminatorios en las personas, nos dio una poderosa visión de un futuro posible (distópico). Los algoritmos se están convirtiendo cada vez más en parte de nuestra vida diaria, empleados por muchas empresas y cada vez más por los gobiernos. Si se usan adecuadamente, pueden mejorar la toma de decisiones y aumentar la eficiencia. Pero cuando van mal, pueden tener un efecto adverso profundo en las personas, como lo ha descubierto la clase de 2020.

Los problemas de resultados de A-Level y GCSE afectaron a cientos de miles de jóvenes en todo el Reino Unido. Cuando la pandemia de coronavirus forzó el cierre de escuelas y la cancelación de exámenes, se necesitaba un nuevo sistema para permitir que los estudiantes que hubieran estado presentando sus A-Levels o GCSE fueran calificados. Las autoridades propusieron recopilar las evaluaciones de los maestros, que luego se moderarían de manera centralizada para garantizar un enfoque coherente y evitar la llamada “inflación de calificaciones”. Se desarrolló un algoritmo que modificaría las evaluaciones de los maestros para garantizar que las calificaciones de 2020 fueran ampliamente comparables con las de años anteriores, utilizando información que incluye el desempeño pasado de escuelas y universidades.

El algoritmo pareció funcionar perfectamente a este nivel macro, asegurando que, en general, el mismo porcentaje de estudiantes recibiera las mejores calificaciones que en años anteriores. Pero resultó catastrófico para los estudiantes individuales, ya que alrededor del 40% de las calificaciones se redujeron y algunas personas recibieron calificaciones sustancialmente inferiores a las evaluaciones de sus maestros. Esto pareció afectar particularmente a los estudiantes de alto rendimiento en las escuelas que tradicionalmente habían tenido un desempeño peor, aumentando la apariencia de injusticia.

Ante la abrumadora presión política, los cuatro gobiernos del Reino Unido decidieron volver a las evaluaciones de los profesores. Algunos de estos problemas eran obvios en retrospectiva. Debido a que las escuelas habían estado cerradas desde marzo, nadie había podido abandonar o tener un desempeño inferior al esperado, por lo que el algoritmo siempre tendría que degradar la calificación de algunos estudiantes para compensar. Y aunque esta degradación reflejó correctamente el hecho de que algunos estudiantes tendrían un rendimiento inferior, se sintió cruel e injusto para las personas reales cuyas calificaciones bajaron.

Antes de que los gobiernos cambiaran de opinión, se lanzaron varios desafíos legales a los grados asignados por el algoritmo. La ley de protección de datos, que se actualizó en toda Europa en 2018, cuando se introdujo el Reglamento general de protección de datos, contiene disposiciones específicas sobre la toma de decisiones automatizada y la elaboración de perfiles. El artículo 22 del RGPD otorga a las personas el derecho a no estar sujetos a decisiones basadas únicamente en el procesamiento automatizado que produzcan efectos legales o les afecten significativamente. Este derecho es poco conocido y rara vez llega a los tribunales.

El regulador de exámenes de Inglaterra, Ofqual, argumentó que las decisiones sobre las calificaciones de este año no afectaban al Artículo 22, porque las decisiones involucraban un elemento humano y, por lo tanto, no se tomaban “únicamente” por medios automatizados. Muchos comentaristas han cuestionado esta afirmación. Hubiera sido interesante ver cómo los tribunales interpretaron el derecho si hubieran procedido las impugnaciones legales. A medida que la toma de decisiones automatizada se vuelva más frecuente, es probable que los desafíos del Artículo 22 se conviertan en algo común.

Más ampliamente, la ley de protección de datos requiere que las organizaciones procesen los datos personales de manera justa. El concepto de equidad es a menudo subjetivo y puede ser difícil de definir. Sin embargo, es difícil argumentar que degradar a un individuo, no por sus propias debilidades sino por el desempeño pasado de la escuela a la que asiste, cumple con esta prueba básica de equidad. Los resultados algorítmicos pueden haber sido justos para toda la cohorte, pero fueron profundamente injustos para algunas personas.

Una vez más, nunca sabremos si una impugnación legal en virtud de la ley de protección de datos habría tenido éxito. Aún así, hay una lección aquí para todas las organizaciones que usan algoritmos para tomar decisiones sobre individuos. La toma de decisiones debe ser justa a nivel individual. Existen paralelismos con otra tecnología controvertida y en constante crecimiento, el software de reconocimiento facial automatizado. Si bien este software tiene usos importantes, persisten las acusaciones de que el reconocimiento facial funciona mal en ciertos grupos étnicos minoritarios. Esto puede dar lugar a una injusticia individual muy significativa que no debe pasarse por alto.

En un contexto empresarial, la toma de decisiones automatizada está comenzando a utilizarse de forma más generalizada, especialmente en el reclutamiento y la selección. Esto crea enormes oportunidades para que las empresas mejoren su eficiencia, tomen mejores decisiones de contratación y, en última instancia, aumenten su rentabilidad. Pero conlleva riesgos. Los algoritmos no son mágicos. Solo pueden ser tan buenos como su diseño y los datos que contienen. Los errores en cualquiera de los dos pueden conducir a la exageración de sesgos inesperados y dar lugar a decisiones más erróneas. Se dedicó una cantidad considerable de trabajo a conseguir que el algoritmo de los exámenes fuera correcto. Sin embargo, en última instancia, sufrió tanto un sesgo de diseño, en el sentido de que el objetivo de garantizar la equidad a nivel de cohorte conducía a la injusticia a nivel individual, y de una falta de datos sólidos, lo que significaba que las escuelas con clases más pequeñas parecían beneficiarse en a expensas de los centros más grandes.

La toma de decisiones automatizada, sin duda, está aquí para quedarse, y es probable que los algoritmos se vuelvan más sofisticados. El escándalo de los resultados de los exámenes de 2020 no significa que debamos renunciar por completo a la toma de decisiones automatizada. Pero debería hacer que todas las empresas se detengan a considerar su equidad y el impacto potencial en las personas. De lo contrario, podrían enfrentarse no solo a desafíos legales sino también a un daño significativo a su reputación.

Jon Belcher

Jon Belcher es abogado comercial de Blake Morgan, especializado en gobernanza de la información, cumplimiento de la protección de datos, intercambio de información y cuestiones de libertad de información.

DEJA UNA RESPUESTA

Por favor ingrese su comentario!
Por favor ingrese su nombre aquí