Descripción del proyecto
ESPLAG – Enabling SParse training of LLMs on GPUs
Período: 2024-02-01 – 2025-01-31
Financiado por: Comisión Europea – HORIZON IA
El proyecto Innovative Algorithms for Applications on European Exaescale Supercomputares (Inno4scale) está financiado por la Unión Europea dentro del programa Horizon Europe, a través de la European High-Performance Computing Joint Undertaking (JU), con Grant Agreement 01118139. Este proyexto está coordinado por el Barcelona Supercomputing Centre – Centron Nacional de Supercomputación (BSC-CNS).
Este proyecto lanzó una convocatoria de sub-proyectos, llamada 2023 Call for Inno4scale Innovation Studies (Inno4scale Call-2023). El proyecto Enabling SParse training of LLMs on GPUs (ESPLAG) ha sido escogido para ser financiado por esa convocatoria como tercera parte, junto con la Universidad de A Coruña.
El formato de compresión dispersa llamado VENOM (o V:N:M) permite el uso de Sparse Tensor Cores (SPTC) en todo el rango de dispersión. Este formato de VENOM proporciona una solución de software para desbloquear la limitación de hardware de los SPTC al 50 % de matrices dispersas, lo que permite la ejecución de niveles arbitrarios de escasez en dichas unidades vectoriales especializadas.
El costo asociado con la capacitación de modelos modernos, como los LLM, es una preocupación importante en el campo del aprendizaje automático y a menudo alcanza millones de dólares. Hasta este punto, VENOM se ha aplicado principalmente a tareas de inferencia de un extremo a otro. En este proyecto, nuestro objetivo es ampliar el formato VENOM para abarcar tareas de entrenamiento reales y escasas. Con ese fin, cubriremos las dos áreas principales de la dispersión de la red: núcleos especializados para GPU y algoritmos de poda de red. Finalmente, ambos componentes se integrarán para construir una herramienta de capacitación real y escasa.
Más información: