Project Description
ESPLAG – Enabling SParse training of LLMs on GPUs
Período: 2024-02-01 – 2025-01-31
Financiado por: Comisión Europea – HORIZON IA
O proxecto Innovative Algorithms for Applications on European Exaescale Supercomputers (Inno4scale) está financiado pola Unión Europea dentro do programa Horizon Europe, a través da European High-Performance Computing Joint Undertaking (JU), co Grant Agreement 01118139. Este proxecto está coordinado pola Barcelona Supercomputing Center – Centro Nacional de Supercomputación (BSC-CNS).
Este proxecto lanzou unha convocatoria de sub-proxectos, denominada Convocatoria 2023 de Estudos de Innovación Inno4scale (Convocatoria Inno4scale-2023). O proxecto Enabling SParse training of LLMs on GPUs (ESPLAG) foi elixido para ser financiado por esta convocatoria como terceiro, xunto coa Universidade da Coruña.
O formato de compresión escasa chamado VENOM (ou V:N:M) permite o uso de núcleos de tensor disperso (SPTC) en todo o intervalo escaso. Este formato de VENOM ofrece unha solución de software para desbloquear a limitación de hardware dos SPTC a matrices dispersas do 50 %, permitindo a execución de niveis arbitrarios de dispersión en unidades vectoriais especializadas.
O custo asociado á formación de modelos modernos, como os LLM, é unha das principais preocupacións no campo da aprendizaxe automática e adoita alcanzar os millóns de dólares. Ata este punto, VENOM aplicouse principalmente a tarefas de inferencia de extremo a extremo. Neste proxecto, pretendemos ampliar o formato VENOM para abarcar tarefas de adestramento reais e escasas. Para iso, cubriremos as dúas áreas principais de escasa rede: núcleos especializados para GPU e algoritmos de poda de rede. Finalmente, ambos compoñentes integraranse para construír unha ferramenta de adestramento real e escasa.
Máis información: