O servizo de almacenamento de datos que proporciona o Cesga está orientado ao almacenamento e tratamento de información de altas prestacións, grandes volumes de datos e de alta dispoñibilidade e o acceso desde calquera computador conectado á rede Internet.

  • Criterios para a clasificación da información no servizo de almacenamento

Robot de cintas

Co fin de responder ás crecentes demandas en cantidade e calidade de servizo nos sistemas de almacenamento, así como ás diferentes opcións de almacenamento dispoñibles no mercado, é necesario levar a cabo unha clasificación dos tipos de datos co obxectivo de adecuar os distintos servizos de almacenamento ás necesidades específicas cada grupo de información. Estas clasificacións poden responder a criterios como cantidade de información, nivel de dispoñibilidade requirido, seguridade e control de acceso, etc.... Tendo en conta a diversidade de datos aos que dá servizo o Centro de Supercomputación de Galicia, establecemos a seguinte lista de criterios principais para clasificar a información:

  • Nivel de dispoñibilidade e tolerancia a fallos: onde indicaremos a criticidad dos datos identificando aqueles datos que deberán estar “sempre dispoñibles” nun extremo da escala a dispoñibles “ocasionalmente” no outro extremo da escala. “Sempre dispoñibles” pode identificar datos críticos para o funcionamento de servizos 24x7x365 e “dispoñibles ocasionalmente” aqueles que deban accederse unicamente baixo demanda. Entre ambos os extremos, existen situacións nas cales se permiten xanelas de tempo de non dispoñibilidade dos datos (4 horas, 8 horas, etc...). Debemos resaltar que por dispoñibilidade non nos estamos referindo á velocidade de acceso aos datos senón a que deben ser robustos fronte a calquera tipo de problemas que se poidan presentar no sistema (o que en termos informáticos se denomica tolerancia a fallos, e que finalmente nos determinará o máximo número de SPOF ou puntos únicos de fallo). Dentro desta clasificación poderiamos por exemplo establecer un nivel Alto (con accesos múltiples aos datos e sistemas de redundancia de datos tipo RAID), medio (con solucións RAID, pero sen redundancia de compoñentes) e baixo (sen ningún tipo de RAID nin de redundancia de compoñentes)..

  • Periodicidade das copias de seguridade: Estará determinada en boa medida pola frecuencia con que se modifican os datos. Poden ser diarias, semanais, facerse baixo demanda cando se introduza nova información, por exemplo, ou non levar a cabo en absoluto, naqueles casos nos que o almacenamento dos datos xa supoña unha copia de seguridade dos datos.

  • Conectividad: Definida por polo menos dous parámetros de rendemento: o ancho de banda de acceso e a latencia; e polo medio utilizado (por exemplo, se pode ser compartido ou conectado “en quente ” a novos servidores) e a distancia de alcance. Os propios interfaces de conexión (mediante fibra óptica, os diferentes buses SCSI, ou as conexións a traves de redes de área local ou extensa utilizando protocolos NFS ou CIFFS) definen en boa medida estes parámetros, pero non deben estar pechados a eles (por exemplo, utilizando interfaces SCSI é posible ampliar o ancho de banda utilizando múltiples HBAs para acceder ao mesmo volume de información).
  • Capacidade de almacenamento: Este parámetro identificará a cantidade de almacenamento que poden requirir os datos. Os valores absolutos non son representativos para este parámetro, xa que no ámbito temporal, pouca cantidade de información pode referirse a unhas decenas de Megabytes hoxe en día, mentres que esta mesma cantidade hai apenas unha década representaba un volume moi alto de información. Por iso, utilizaremos porcentaxes referenciados á capacidade máxima dispoñible en cada momento para este parámetro.

  • Compartición: en función de que os datos deban ser accedidos desde diferentes hosts e/ou por diferentes comunidades de usuarios dentro ou fóra do propio centro.

Á vista dos anteriores parámetros, pode pensarse con razón que a especificación dun deles condiciona en boa medida aos outros (é dicir, non representan un conxunto estritamente ortogonal). Con todo, debe terse en conta que o que pretendemos nesta etapa é separar as necesidades de almacenamento das tecnoloxías dispoñibles para, unha vez especificados estes requisitos, buscar a mellor tecnoloxía que en cada momento cumpra os requisitos. Por exemplo, hai uns anos, para obter anchos de banda elevados era necesario realizar conexións directas entre o almacenamento e o sistema que o ía a utilizar, mentres que hoxe en día co despregamento de redes de banda ancha (mesmo en contornas WAN), xa non é necesario cumprir este requisito..

Ademais destes criterios, poderían introducirse outros como temporabilidad dos datos (é dicir, se son datos cuxa presenza debe ser perpetua ou que pola contra se substitúan continuamente), seguridade e confidencialidade da información, etc., que poden ser realmente importantes pero que tamén suporían aumentar o número de clases excesivamente. Tendo en conta que adoitan ser factores secundarios, dentro dalgúns tipos concretos de datos, poderán establecerse posteriormente subcategorías naqueles casos máis significativos.

  • Clasificación da información no CESGA

Atendendo a estes criterios, realizamos unha clasificación da información dispoñible e os servidores de cálculo e almacenamento en 4 tipos:    

  • Tipo 1 ou SCRATCH: De moi alto rendemento (moi baixa latencia e máximo ancho de banda), posto que afecta o rendemento dos sistemas de cálculo do centro, e capacidade media (en función do número de traballos simultáneos que deba soportar), xa que os datos almacénanse unicamente mentres dure a execución dos cálculos. A súa dispoñibilidade pode ser baixa (xa que son datos temporais) e non é necesario realizar backups por este mesmo motivo.
  • Tipo 2 ou directorios home: Contendo datos susceptibles de ser analizados e modificados en calquera momento e críticos, xa que da súa dispoñibilidade depende o funcionamento dos servizos de cálculo do centro. Por tanto deben ter como prioridade a dispoñibilidade (máxima) e un adecuado balance entre capacidade (media, en función do número de usuarios), e rendemento (medio), e do cal se realizan backups de forma diaria.
  • Tipo 3 ou almacenamento masivo de datos (MSS): utilizados para almacenar bases de datos e resultados de experimentos, normalmente non varían o seu ontenido (adoitan ser do tipo WORM) e a súa velocidade de acceso non adoita ser crítica, aínda que si requiren dun elevado ancho de banda de acceso aos servidores, xa que poden ser o lugar onde se almacenen resultados de experimentos. A realización dos backups pode ser levada a cabo baixo demanda, debido a que o seu contido só se modifica esporadicamente. Exemplos deste tipo de datos son os resultados da prediccion meteorolóxica diaria ou as bases de datos utilizadas en xenómica.
  • Tipo 4 ou backups (internos e externos) a disco: Son copias de datos que os usuarios realizan dos seus propios servidores ou os seus computadores persoais, nos sistemas de almacenamento do CESGA, para dispor dunha copia de seguridade dos seus datos. Deste tipo de datos xa non é necesario realizar backups (eles mesmos son “o” backup), a dispoñibilidade do servizo pode ser baixa. O servizo é ofrecido a través da rede (interna ou externa) polo que o tipo de conexión non require dun rendemento alto (o pescozo de botella sitúase na interconexión do usuario final co almacenamento). A capacidade pode ser baixa ou media, en función do número de usuarios ou centros aos que se de servizo.
  • Tipo 5 ou SCRATCH PARALELO: De moi alto rendemento (moi baixa latencia e máximo ancho de banda), similar ao Tipo 1 co engadido de que os datos scratch compártense entre todos os nodos do cluster e están repartidos entre eles, o que permite aumentar o ancho de banda de acceso aos ficheiros e a capacidade total do scratch por encima da capacidade do disco local. A súa dispoñibilidade pode ser moi baixa debido a que depende de moitos compoñentes que non están redundados e non se realiza backups destes datos.
 
  • Dispoñibilidade
  • Backups (periodicidade)
  • Conectividad
  • Capacidade
  • Compartición ou accesibilidade

Tipo 1

Scratch

Baixa NON Baixa latencia, máximo ancho de banda Media (20%) Sen compartir

Tipo 2

Directorio Home

Máxima (del depende o funcionamento do sistema) Diaria Media (arquitecturas estándar, FC) Media (30%) Entre todos os nodos do mesmo sistema ou cluster
Tipo 3 MSS Media On-demand Rede intranet ou FC, para alcanzar a máxima compartición con altos anchos de banda internos Máxima (90%) Alta, interna ao centro e esporadicamente externa
Tipo 4 Backups Baixa Sen *backup Rede, intranet e internet, con anchos de banda medios Baixa (10%) Máxima, inclúe sistemas internos e externos
Tipo 5 Scratch Paralelo Baixa NON Baixa latencia, máximo ancho de banda Alta (50%) Sen compartir