El grupo de investigación de la Universidad Pablo de Olavide Data Science & Big Data Lab desarrolla RExQUAL, una herramienta clave para abrir la ‘caja negra’ del machine learning | El avance contribuye a desarrollar sistemas de IA más transparentes en ámbitos críticos para la sociedad

La inteligencia artificial (IA) ha transformado sectores clave de la sociedad, desde la medicina hasta las finanzas, pasando por el transporte, la educación o la industria, gracias a su capacidad para tomar decisiones complejas con una precisión sin precedentes. Sin embargo, esta potencia viene acompañada de un desafío creciente: entender cómo y por qué los modelos de IA llegan a ciertas conclusiones. La opacidad de estos sistemas, conocidos como ‘cajas negras’, plantea serios retos de confianza, transparencia y responsabilidad. ¿Cómo puede una persona confiar en una IA que toma decisiones sin ofrecer explicaciones claras y comprensibles?

En este contexto, cobra protagonismo la inteligencia artificial explicable o XAI (por sus siglas en inglés, eXplainable Artificial Intelligence), un campo que busca desarrollar mecanismos para comprender, interpretar y confiar en los sistemas basados en machine learning. No se trata solo de un desafío técnico, sino también de un imperativo ético, legal y social: las personas tienen derecho a saber cómo y por qué una máquina toma decisiones que pueden afectar directamente a sus vidas.

En respuesta a esta necesidad, el grupo de investigación de la Universidad Pablo de Olavide Data Science & Big Data Lab ha desarrollado RExQUAL (Rules-Based Explanation Quality), una nueva métrica diseñada para evaluar la calidad de las explicaciones generadas por técnicas de XAI, especialmente en tareas de predicción de series temporales.

“Aunque en los últimos años han surgido diversos métodos de XAI, no contábamos con una métrica objetiva que permitiera comparar su efectividad explicativa”, explica Alicia Troncoso Lora, investigadora principal del grupo.

Un estándar para medir la calidad de las explicaciones

RExQUAL llena ese vacío con una propuesta innovadora basada en reglas de asociación, que permite medir de forma cuantitativa y objetiva la calidad de las explicaciones tanto a nivel local —para predicciones individuales— como global —para el comportamiento general del modelo—. Esta combinación ofrece una visión integral del grado de interpretabilidad que ofrecen los modelos de machine learning.

Una de sus principales fortalezas es que no depende del modelo utilizado, lo que facilita su aplicación en múltiples dominios. Utiliza métricas como el soporte y la confianza para evaluar si las características resaltadas por los métodos XAI realmente justifican las decisiones del modelo.

“La hemos validado con datos reales de sectores como la energía y la agricultura, donde es crucial entender por qué un modelo toma ciertas decisiones”, añade Francisco Martínez Álvarez, co-investigador principal del proyecto nacional ‘Efficient and explainable deep learning and online learning for sustainability’, en el que se enmarca este trabajo.

Aplicación práctica y proyección futura

RExQUAL ya está disponible como software de código abierto para la comunidad científica a través de un repositorio en GitHub. La investigación ha sido publicada en la prestigiosa revista IEEE Transactions on Pattern Analysis and Machine Intelligence, uno de los referentes internacionales en el campo de la inteligencia artificial.

Además, el equipo trabaja en el desarrollo de una nueva métrica complementaria, orientada a medir la importancia de las variables que influyen en el modelo a partir de cómo varía RExQUAL ante perturbaciones en los datos de entrada.

Referencia:

R. Troncoso-García, M. Martínez-Ballesteros, F. Martínez-Álvarez and A. Troncoso, A new metric based on association rules to assess feature-attribution explainability techniques for time series forecasting. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 47, no. 5, pp. 4140-4155, 2025. doi: 10.1109/TPAMI.2025.3540513

Fuente: Unidad Técnica de Comunicación UPO