Un marco autónomo para la transferencia de tareas en la computación de niebla con aprendizaje por refuerzo profundo
La investigación presentada en el artículo ‘AFODRLS: an autonomic fog framework for task offloading using deep reinforcement learning with adaptive scheduling’ introduce un marco innovador para la gestión de tareas en la computación de niebla (fog computing). El estudio aborda los desafíos de la transferencia de tareas en entornos donde los nodos son heterogéneos, las cargas de trabajo son no estacionarias y los fallos son frecuentes. El marco AFODRLS implementa las cuatro propiedades autónomas (self-* ) definidas por el bucle MAPE-K, integrando cuatro agentes de Aprendizaje por Refuerzo Profundo (DRL) intercambiables (DQN, DDQN, SAC, PPO) junto con un Meta-Controlador Adaptativo que selecciona entre programación heurística y DRL, y un Estimador de Capacidad en Línea que sustituye la escala fija de capacidad. Los resultados de la evaluación en una prueba de complejidad de siete niveles (1,465 pruebas de simulación) muestran que los algoritmos heurísticos avanzados superan al DRL en los niveles 1-4, mientras que en los niveles 6-7 los agentes DRL, especialmente DDQN y DDQN/PPO, superan significativamente a los algoritmos heurísticos con efectos estadísticos significativos (Cohen’s d > 4.5, p < 0.001). Además, las políticas entrenadas transfieren sin reentrenamiento a dos trazas reales (GoCJ y HPC2N), logrando coincidir con el mejor algoritmo heurístico en tasa de éxito. Este marco representa un avance significativo en la gestión autónoma de recursos en entornos de computación de niebla, combinando la flexibilidad de los algoritmos heurísticos con la adaptabilidad del aprendizaje por refuerzo profundo para optimizar la transferencia de tareas en escenarios dinámicos.
