Optimización Automática de Hiperparámetros en Modelos de Aprendizaje Automático mediante PBIL

Abstract

La optimización de hiperparámetros en redes neuronales profundas es una tarea crítica para el rendimiento final de una red. Sin embargo, conlleva un alto porcentaje de decisiones subjetivas basadas en el conocimiento previo de los diseñadores del sistema. En este trabajo se presenta la implementación de Population-based incremental learning (PBIL); un método de optimización que combina algoritmos genéticos con aprendizaje competitivo, para la optimización automática de hiperparámetros en arquitecturas de aprendizaje profundo. En el caso de estudio propuesto se aplica una combinación de preprocesamiento de series temporales mediante Seasonal Decomposition of Time Series by Loess (STL); un método clásico de descomposición de series temporales, y redes neuronales convolucionales para la predicción de valores futuros. En el pasado, esta combinación ha producido resultados prometedores, pero se ha visto afectada por el número incremental de hiperparámetros. La arquitectura propuesta se aplica a la predicción del nivel del 222Rn en el Laboratorio de Canfranc (España). Prediciendo los períodos de bajo nivel de 222Rn, se podría minimizar la contaminación potencial durante las operaciones de mantenimiento en los experimentos del laboratorio. En este documento se muestra como PBIL puede ser utilizado para la selección de hiperparámetros con un coste computacional razonable.