El uso de la inteligencia artificial (IA), tanto por parte de autoridades públicas como de empresas, puede generar evidentes beneficios en la sociedad.
Por ejemplo, para el estudio de enfermedades e investigación de medicamentos, en materia medioambiental, agricultura, energía, transporte, optimización de recursos públicos… Sin embargo, el uso de la IA también puede generar, tanto de manera intencionada como no deseada, situaciones de riesgo, de desigualdad, de exclusión social y, en definitiva, atentar contra derechos y libertades de las personas.
Es por ello por lo que la Unión Europea ha decidido actuar a través de una propuesta de Reglamento de Inteligencia Artificial, con la finalidad de dotar de un marco normativo común que regule el uso de la IA y proteja a los ciudadanos.
Hasta dentro de un par de años, el Reglamento no será de aplicación, pero conviene adaptarse lo antes posible para no encontrarnos el día de mañana con inversiones realizadas en sistemas de IA que estén prohibidos o que requieran cambios significativos.
Hay una propuesta de obligación de las empresas de disponer de un sistema de gobernanza de datos en relación con sistemas de IA de alto riesgo
Una de las medidas que contiene dicha propuesta es la obligación de las empresas de disponer de un sistema de gobernanza de datos en relación con sistemas de IA de alto riesgo.
Su objetivo es garantizar que, desde la concepción del diseño del sistema de IA, se cuenta con datos completos, exactos y con una correcta supervisión y asunciones apropiadas. De esta manera se minimizan las posibilidades de sesgos, riesgos, discriminaciones y afectación de derechos fundamentales.
No todo sistema de IA conllevará la obligación de contar (y cumplir con) un modelo de gobernanza, sino solo los de ‘alto riesgo’, entre los que podremos encontrar sistemas de IA con la finalidad de:
- Identificación a través de técnicas de biometría a gran escala
- Ser utilizados en el contexto de infraestructuras críticas, tráfico en carretera, suministro de agua, gas y electricidad
- Selección de personal, filtrar y evaluar candidatos, toma de decisiones sobre promociones o despidos de empleados, controlar y evaluar su rendimiento, etc.
- Evaluar la solvencia para el acceso a bienes o servicios privados esenciales
- Cálculo de primas o riesgos en el caso de seguros de vida o salud
Índice de temas
Aspectos que debe tener en cuenta el Modelo de Gobernanza
La Propuesta de Reglamento regula el contenido mínimo que debe ser tenido en cuenta para los modelos de gobernanza de sistemas IA de alto riesgo, principalmente (no es un listado exhaustivo):
Los procesos de recogida de datos
El proceso de recogida de datos deberá tener en cuenta diferentes aspectos, como el contexto en el que fueron recabados (para que tengan relación y guarden proporcionalidad con los efectos que se puedan generar); la fiabilidad de las fuentes de recogida; la antigüedad de los datos; su relevancia; así como si se plantea algún inconveniente ético en el proceso de recogida.
La anotación, etiquetado, la limpieza, enriquecimiento o segregación
En muchas ocasiones, los datos en bruto para los sistemas de IA no son adecuados o requieren de un trabajo previo de ‘depurado’ o asignación de categorías para que el sistema de IA los pueda reconocer claramente.
La finalidad de esta preparación es que no se produzcan posteriormente sesgos, discriminaciones o riesgos debido a que los datos ‘de entrada’ no hayan sido procesados correctamente. Por ejemplo, en el caso de ‘etiquetado’ es preciso evitar que las categorías seleccionadas puedan relacionarse con otras no deseadas, en el proceso de agregación puede que la intención sea anonimizar información, pero no se consiga, etc.
La formulación de asunciones apropiadas
Un sistema de IA con las asunciones equivocadas no va a detectar que un proceso está dando resultados absurdos y seguirá ejecutando sus instrucciones mientras no se le indique lo contrario.
Piénsese en las escobas de Mickey Mouse en la película Fantasía. Se les ordena que carguen agua del pozo a una estancia, en principio una orden válida, pero no tienen claro cuándo parar. Este sistema de IA seguirá ejecutando su orden, aunque se inunde el barrio entero.
Por otro lado, en ocasiones lo que sucede es que el sistema de IA es demasiado ‘listo’, es decir, sobre la base de unas órdenes en principio adecuadas puede dar resultados no deseados.
Por ejemplo, un sistema IA sobre preferencias de consumidores puede acabar encontrando patrones que ‘adivinen’ la identidad sexual, etnia, enfermedades u otras características que la persona quiere mantener en la esfera de su intimidad.
Es por ello por lo que el modelo de gobernanza debe incluir un sistema de revisión de asunciones de aquello que se quiere medir o representar, con la finalidad de evitar que por un motivo u otro el sistema IA no funcione correctamente.
Un análisis previo de la disponibilidad, cantidad e idoneidad de los conjuntos de datos que se necesitan
El modelo de gobernanza deberá garantizar que, con anterioridad al entrenamiento y validación del sistema de IA, se cuenta con los conjuntos de datos adecuados, en cantidad suficiente y representativos. De lo contrario, es posible que los resultados del sistema IA no ajusten a la realidad o se generen sesgos o riesgos.
Imaginemos que se entrena un sistema de IA con datos únicamente de varones entre veinte y cuarenta años. Es posible que los outputs de este sistema IA no sea adecuado para la generalidad de la población.
Análisis particulares de los entornos geográficos, funcionales o comportamentales
Es decir, los datos deben estar contextualizados según el entorno en el que sea utilizado el sistema de IA de alto riesgo. Por ejemplo, los retos de la despoblación puede que no sean convenientemente abordados por un sistema de IA cuyos datos de origen sean predominantemente urbanos.
Conclusión
Los sistemas de IA de alto riesgo presentan unos retos complejos, tanto legales como técnicos.
Es preciso que las empresas dispongan de un modelo de gobernanza de datos que garantice que tanto los conjuntos de datos como asunciones del sistema son adecuados, y se eviten discriminaciones y violaciones de derechos.
Para conseguir un modelo de gobernanza útil y que no se convierta únicamente en una obligación burocrática será preciso un diseño realista, ágil y adaptable al caso concreto según las características del sistema de IA.
Debería existir un diálogo fluido entre quienes se dedican al modelo de gobernanza de los datos personales y al modelo de gobernanza de datos a efectos del futuro Reglamento de Inteligencia Artificial
Dependiendo de la complejidad, tipología de datos o consecuencias posibles, el análisis a efectuar será muy diferente y es posible que no exista un único modelo de gobernanza para todo tipo de compañías.
A este respecto, la experiencia obtenida en la implantación de oficinas de privacidad en compañías que realizan un tratamiento intensivo de los datos personales puede ser extremadamente útil para configurar equipos que ejecuten los modelos de gobernanza.
Es recomendable que exista un diálogo fluido entre quienes se dedican al modelo de gobernanza de los datos personales y al modelo de gobernanza de datos a efectos del futuro Reglamento de Inteligencia Artificial.
