A plataforma Big Data foi actualizada a Hadoop 3, incluíndo tamén a nova versión de Spark 2.4.
O servizo Big Data permite o procesado de grandes volumes de información en paralelo, así como a recollida de datos por streaming e a utilización de Jupyter Notebooks para tarefas de exploración e visualización de datos.
O servizo está baseado na última versión da distribución de Hadoop de Cloudera, CDH 6, baseada en Hadoop 3 que ofrece unha solución estable e que inclúe numerosos compoñentes do ecosistema de Hadoop: YARN, HDFS, MapReduce, Spark, Flume, H ive, Impala, HBase, …
A plataforma actualizada está accesible por SSH a través de ** hadoop3.cesga.es**, mentres que a antiga baseada en Hadoop 2 seguirase accedendo a través de hadoop. cesga.es. Para facilitar a transición a plataforma antiga permanecerá activa ata o próximo 30 de xuño, momento no que será apagada.
Na Guía de Uso preparamos unha sección que indica como migrar os datos de HDFS: http://bigdata.cesga.es/user- guide/ migrating_data.html
Non é necesario migrar os datos do HOME xa que os datos da antiga plataforma foron automaticamente migrados desde GlusterFS ao novo HOME. Para máis información sobre a plataforma incluíndo titoriais para aprender a usar rapidamente as distintas ferramentas recomendámoslle acceder ao portalespecífico da plataforma: https:// bigdata. cesga.es
Este portal inclúe un interface web ( WebUI) que lle permitirá facer as tarefas máis habituais a través do navegador.
Tamén lle recomendamos consultar a nova guía de usuario que preparamos: http://bigdata.cesga.es/user- guide
NOTA: Nalgúns navegadores, se accedeu anteriormente ao portal ou ao WebUI, terá que limpar antes a caché do navegador para visualizar a nova versión.