The purpose of this Technical Report is analyze, debug & benchmark the BigData platform installed at CESGA by running Spark-based ML algorithms over public datasets with different resource allocation (number of executors, number of cores, memory per executor, memory for driver, etc.).
This technical report shows the behaviour of Lustre storage subsystem for different applications. Lustre is a scalable file subsystem and let the final user to control the way her files are stored. CESGA has 694,5TB usable in Finis Terrae II supercomputer, and the Infiniband network achieves better results than DAS storage. This report is intended [...]
Este informe recoge los principales resultados extraídos del estudio del rendimiento de diferentes herramientas de paralelización en el superordenador Finis Terrae II instalado en el CESGA. Se incluyen resultados tanto de los rendimientos de comunicaciones punto a punto como de comunicaciones colectivas, en las que se analiza como afecta el aumento del número de procesos [...]
En el CESGA gran parte de servicios hacen uso de BBDD de tipo MySQL. Se pretende la mejora de la disponibilidad de dichos servicios analizando soluciones de clúster.