Suscribete

  • Suscribete a Novas CESGA

HPC User Portal

  • HPC User Portal

Estado de los sistemas

  • Solo visible desde Firefox o Chrome.

Compromiso con la igualdad

  • Igualdad CESGA

6º Foro Transfiere 2017

Síguenos ...

  • Twitter FacebbokFlickrYouTube CESGA

Servicios PYME's

  • Servicios para Empresas

Annual Report 2016

Taller Usando Spark

 0 voto(s)

miércoles 14/06/2017 11:45

El taller será eminentemente práctico y los asistentes tendrán que resolver problemas diversos utilizando Spark.

Al final del taller los asistentes tendrán los conocimientos necesarios para comenzar a utilizar Spark en sus tareas cotidianas de análisis de datos.

Contenidos

1. Herramientas necesarias

  • Jupyter
  • HDFS
  • YARN

2. Conceptos básicos de Spark
3. Programando con RDDs
4. Programando con PairRDDs
4. Programando con Spark SQL
5. Programando con DataFrames
6. Lanzando aplicaciones
7. Monitorizando y depurando la ejecución de aplicaciones

Prerrequisitos

Los asistentes deben poseer una cuenta de usuario en el CESGA y deberán traer su propio portátil. Esta cuenta será la que utilizarán para resolver los distintos problemas que se planteen durante el curso. En caso de no disponer de cuenta esta puede solicitarse a través del siguiente enlace: https://www.altausuarios.cesga.es/

Es importante que el portátil tenga configurada la VPN del CESGA ya que será necesaria para lanzar los notebooks de Jupyter.

El taller require conocimientos básicos de programación con Python ya que será el lenguaje que se usará durante el curso.

Python es un lenguaje muy popular y que se puede aprender rápidamente, por lo que a los alumnos que no estén familarizados con este lenguaje, les recomendamos que realicen antes del curso alguno de los numerosos tutoriales de Python 2 existentes, por ejemplo:

Es aconsejable para todos los participantes realizar el siguiente test de python antes del curso: http://www.mypythonquiz.com

Resultarán de utilidad, aunque no imprescindibles, conocimientos de GNU/Linux y familiaridad con SQL.

REGISTRO

Valorar: