La Virtualización y el Cloud en el CESGA: Proyecto de Escritorios Virtuales en las Escuelas Rurales

La Virtualización y el Cloud en el CESGA: Proyecto de Escritorios Virtuales en las

Escuelas Rurales José Ignacio López Cabido

Centro de Supercomputación de Galicia

Reunión Grupo de Usuarios VMware Galicia

Santiago, 8 de mayo de 2013

Agenda

• Qué es el Cesga

• Usos de la Virtualización y el Cloud en CESGA

– En Servicios

– En Proyectos

• Proyecto de Escritorios Virtuales en las Escuelas Rurales

To provide high performance computing and

advanced communications resources and

services to the scientific community of Galicia and to

the Spanish National Research Council (CSIC), as well

as, to institutions and enterprises with R&D activity.

To promote high quality research in Computational

Science in close collaboration with the research

community from Galicia as well as from other

regions or countries all over the world; contributing in

this way to the advancement of science, to transfer

technology to industry and administrations , and as

consequence, to the welfare of society as a whole.

Mission Statement

• Non Profit Foundation

• Regional Government of Galicia

• National Research Council of Spain

PARTNERS

Legal Status

Spanish Unique HPC Infrastructures (ICTS)

Universities of Galicia

Regional Research Centers

National research Council Centers

Other Institutions:

Hospitals: RTD Departments

Private Companies: RTD Departments

Technological Centers

Other Non Profit RTD Centers

Excellence in Management ISO 9001:2008 Quality Management

UNE166002

R&D Management

User Community

CESGA Áreas Funcionales

HPC Technology Evolution at CESGA

RECETGA Nova

2012 Informe Anual

2012: HECHOS RELEVANTES

• El número de horas de computación se incrementó en un 1.3%, alcanzando

27.2 millones de horas.

• El número de cuentas de usuarios se redujo en un 9.1%.

• Incremento de eficiencia energética y contención del gasto. Reducción del consumo

de energía eléctrica en un 21.2%.

• La red troncal de RECETGA multiplica su ancho de banda por 10.

• Participación en 11 proyectos internacionales, 9 financiados por la CE y 2 por

empresas.

• 3ª edición del HPC Master – UDC, USC, y CESGA.

2012 HECHOS RELEVANTES

• DISTRIBUCIÓN DE LAS FUENTES DE FINANCIACIÓN DEL CENTRO EN 2012:

• Proyectos competitivos y servicios: 48,8%

• Xunta de Galicia (GAIN): 35,4%

• CSIC: 15,8%

100%

PROYECTOS

CESGA: a selection of some of the most relevant services

Galician Regional Weather Forecasting Service

Galician Regional Weather Ocean Service

Puertos del Estado

Spanish Port Authority

Enrique Álvarez Fanjul

European IBI Area: Ocean Forecasting Service

Galician Public Health Administration

ULTRASEQUENCING SERVICE: complete genomes sequencing

FGMX – USC – CHUS - CESGA

Ángel Carracedo

Fundación Galega de Medicina Xenómica

European Grid Initiative (EGI): Monitoring & Accounting Service

COMPUTING

Computing Services to Research Community and Industry: Galician Universities and Technological Centres

Spanish National Research Council (CSIC)

Others from Spanish Research Community

HPC, HTC, GRID & CLOUD computing time

Consulting and technical support

User & Developer Training

STORAGE

Backup service and Data Storage CESGA’s users community Other Spanish Supercomputing Centres

Computing & Storage related Services

CESGA operates, manages and provides Network services though the Galician Regional Science & Technology Network (RECETGA):

• Galician Universities

• Regional Research Centres

• Galician Hospitals (R&D Departments)

• Galician Technological Centres

• National Research Centres located in Galicia

Network Connectivity

Multicast

Videoconferencing

Access Grid Room Network

Network Communications related Services

Aula CESGA: e-Learning Platform

• Over 32,000 Users, More than 1000 active courses and seminars

Professors and students from all levels of education, from kindergarden

to Ph.D.

AULA CESGA: e-Learning Platform Services

Web and Data Base Hosting Service

• CESGA User Community

Physical and Virtual Server & Cluster Housing Service

• CESGA User Community

Hosting & Housing Service

Serving Maps and georreferenced data since 1999

• Administration, Industry and CESGA research user community Galician

Map & Georreferenced data base Server

CESGA: A selection of significant Projects

More detailed Climate simulations to better inform the Intergovernmental Panel on Climate change (IPCC)

UVIGO

Juan Antonio Añel Cabanelas

Oceanographic simulation to better understand fisheries population dynamics

Instituto Español de Oceanografía

Manuel Ruiz Villarreal

Molecular Docking to Design of malaria drugs on the fast track

Scientists Against Malaria

Hugo Gutierrez de Terán

Fundación Galega de

Medicina Xenómica

Computational fluid dynamics for new turbine design

CENER

Sugoi Gómez

Large scale electromagnetism simulation for improved radar systems

UVIGO – UNEX – CESGA

Fernando Obelleiro Basteiro

Simulation aimed at the optimization of radiotherapy treatment dosage

CHUVI-CHUS-USC-CESGA

Proxecto e-IMRT

Spanish National Unique Scientific & Technology

Infrastructure

More than: 16,000 GFLOPS 2,580 CPUs 19,640 GB Memory

Usos de la Virtualización y el Cloud en CESGA

SERVICIOS

Usos de la Virtualización en Cesga

• Consolidación de servidores

• Aprovisionamiento de servidores/clusters

• Entornos desarrollo

• Uso en proyectos

• Computación cluster

• Grid

• Docencia. Virtualización de aulas

• Virtualización escritorios (VDI)

• Realidad – Existen más de 300 servidores en el CPD

– Soportan servicios del CESGA y los proyectos en los que participa el CESGA ( 38 actualmente)

– Prácticamente la totalidad están en S.O. linux, aunque en diferentes distribuciones (Suse, Redhat, Scientific Linux, Fedora, Debian)

– Hay muchos servicios que requieren configuraciones distintas de los diferentes paquetes

– Los mismos servidores se utilizan en diferentes proyectos

– A veces cuesta mucho adaptar el software a hardware nuevo

Virtualización de Servicios: Infraestructura 2008 (Xen)

• Infraestructura: – Rack Blades HP Proliant (2GB RAM) – 16 en un

mismo chasis. – Cabina de discos EVA3000 – Switches Fiber Channel – Xen 3.03 (paravirtualización, mejor rendimiento)

• Almacenamiento compartido por todas las máquinas anfitrionas. – OCFS2 (Oracle Cluster FileSystem v2) – VBD (Virtual Backend Device) : fichero de imagen,

mayor versatilidad sin usar LVM o GFS (cluster suite de RHEL)

– Necesidad de sincronización entre anfitriones

• Configuración bridged (VM’s en misma LAN que maquina anfitriona). Igualmente son válidas otras configuraciones más complejas

Virtualización de Servicios: Infraestructura 2013 (Xen/KVM)

• Infraestructura: – Rack HP Proliant BL460c (8 GB RAM) – 16 en un

mismo chasis. – HP DL180 (4x16GB) + 4TB almacenamiento local – Cabina de discos EMC VNX5700 – Xen 4.X (paravirtualización) y Xen (hvm)/KVM

• Almacenamiento compartido por todas las máquinas anfitrionas. – NFSv4 / Pto montaje comun – Migración en caliente

• Configuración bridged + uso VLANs para aislar despliegues.

• Uso de Plataformas Cloud (OpenNebula,

Cloudstack)

Sunstone (OpenNebula)

Sunstone (OpenNebula)

CloudStack

Servicios virtualizados

• webs alojados (hostingX.cesga.es)

• Email/Calendarios (Zimbra suite), listas de distribución

• Streaming/Videoconferencia (Lifesize UVC). OpenMeetings

• proxy regional (eduroam)

• plataformas colaborativas/enseñanza (chamillo/dokeos)

• Gestión documental (Alfresco)

• VoIP (asterisk-trixbox)

• HostingX.cesga.es (VM base para servicios web)

• AntispamX.cesga.es (VM de procesado antivir/antispam)

• VMs especificas de proyectos

• VMs desarrollo y testing

Uso de memoria

Ventajas e inconvenientes

• Ventajas – Rápido despliegue de servicios – Servicios complejos o especiales se sirven con una o varias VMs

específicas. – Fácilmente escalable. Se pueden clusterizar VM’s – Migración de máquina anfitriona en caliente (gracias al almacenamiento

compartido). T < 0.5 seg (la VM mantiene las conexiones). – En gral. VM’s pequeñas, facilmente clonables (copiar un fichero de unos

cuantos GB) – Alto rendimiento (90-95% en comparación a sin virtualización) – Actualización de versiones – Facilita la recuperación ante desastres

• Inconvenientes – Más consumo de memoria. – El “backup” es algo más complejo, salvo que se haga directamente de las

máquinas virtuales. (rsync, data protector). – Aprovechamiento no óptimo del almacenamiento. (cada VM tiene su SO) – Rendimiento (red/disco) en VMs con S.O. Windows.

Usos de la Virtualización y el Cloud en CESGA

PROYECTOS

46

• Financia: Ministerio de Industria, Turismo y Comercio (TSI-020301.1009-3) • Socios: Telefónica I+D, BSC, Xeridia, UCM, Atos Origin, Catón sistemas alternativos,

eyeOS • Objetivo

– Desarrollo de una plataforma Cloud federada IaaS que facilite el despliegue de servicios empresariales en Internet de forma sencilla y automática, permitiendo el escalado dinámico en base a criterios de rendimiento y objetivos de negocio.

• Actividades Cesga – PT5.2 – Sistema de monitorización, contabilidad y facturación – PT6.1 – Desarrollo y gestión del entorno de pruebas – PT7.2 – Caso de Uso de Radioterapia para Hospitales

NUBA: Normalized Usage of Business-Oriented Architectures

3 – Esquema Cloud CESGA

Cloud Infrastructure

46 HP ProLiant SL165z G7 – Compute node (node configuration)

Processor • 2 x AMD Opteron™ Processor 6174 (2.2 GHz, 12MB Level 3

Cache, 80W)

Memory • 64 GB (19 nodes) & 32 GB (23 nodes)

Storage • 1 x 500GB 3G SATA 7.2K NHP

Networking • 2 Embedded Dual Port Intel 1GbE NICs (4 total NICs)

I/O Expansion • 1 x16 LP PCIe Gen 2 slot • 1 x4 LP internal PCIe Gen 2 slot

Management • LO100i Management • IPMI 2.0 & DCMI • Dedicated NIC

Total

Processor • 1200 cores 2.2GHz

Memory • 2400 GB

Storage • 56 TB

Networking • Dedicated MPI GbE

Performance • 10240 TFlops

Virtualización en Grid (EGEE)

HARDWARE

HP ClaseC

Blades PE1955 Proliants

Fujitsu

BL35P

VIRTUALIZATION HYPERVISOR

Xen – Dom0

Dom0Dom0Dom0

VIRTUAL MACHINE

SL 3 SL 4

PRODUCTION PRE-PRODUCTION CERTIFICATION

UISE

VOMS

WN WN WN WN

NODES

MON

CESEMON

WN

CESEMON

WN

www2 www3www

RBWMS

SITE SERVICES

GLOBAL SERVICES

NODES

SITE SERVICES

GLOBAL SERVICES

RGMA-SERVER

NODES

SITE SERVICES

CE

GRIDICE

PPS-GRIDICE

Varios clusters sobre la misma infraestructura

(producción, preproducción, certificación),

que a su vez requieren múltiples servicios.

Cloud Federado EGI/Ibergrid

Cloud Federado EGI/Ibergrid

CNRS LMU

OerC

Masaryk

TUD

IFAE

Cyfronet

SixSq

BSC

CESNET

TCD

SRCE

DANTE

FZJ

GRNET

GWDG

Utrecht

STFC

SARA KTH

INFN

CESGA

EGI.eu

Impulsado por una comunidad de:

• 60 personas.

• 23 instituciones.

• 13 paises.

Formiga-Cloud

Usuario UIVOMS

CE CE

Aula 1 Aula 2

WN WN WN WN WN WN

AutentificaciónEnvío trabajo

CESGA

RB

PXE

SE

Proyecto de reaprovechamiento de

capacidad de computación de aulas

informáticas en períodos de no utilización.

Necesidad de no interferir con la producción

de las aulas.

• Arquitectura

Formiga CLOUD-Aula Cesga

ULTRASECUENCIACIÓN Secuenciación de Xenomas Completos

FGMX – USC – CHUS - CESGA

Ángel Carracedo

Fundación Galega de Medicina Xenómica

FGMX: Solución implementada

• Cluster de computación sobre cloud OpenNebula

• Utiliza recursos de computación estándar (cluster SVG)

• 1 nodo frontal + 5 nodos de computación (8 cores y 32GB por nodo)

• Contabilidad de recursos

• En funcionamiento desde 2010

Simulación para PYMES en el sector manufacturero

en Galicia y Norte de Portugal CLOUD-

PYME

• Type of project: Interreg IV A

• Project coordinator:. Jefe Filas CESGA

• Project start date: 1 Enero 2011

• Duration: 24 + 6 meses (Jun 2013)

• Budget: 417.280 Euros

• Max EC contribution: 312.960 Euros

• Consortium: 4 partners

• Website: www.cloudpyme.eu

El objetivo del proyecto es diseñar, crear y probar una infraestructura sostenible de soporte a las Pequeñas y Medianas Empresas del sector manufacturero, para mejorar su competitividad internacional a través de la inclusión de software libre de CAD y CAE que les ayuden a mejorar el diseño de sus productos y procesos.

Simulación para PYMES en el sector manufacturero en Galicia y Norte de Portugal CLOUD-PYME

Arquitectura

Usuario

Computación local Distribución USB

Servicios Comput.

Computación Almacenamiento

Visualización

Cloud

Cálculo

Servicios Soporte

Soporte Formación Difusión

Colas

S. tradicional

Portal CloudPYME

Almacenamiento

Incidencias

OsTicket

Formación

AulaCesga

Difusión

Web proyecto

Building service testbeds on FIRE

Virtual Clusters on Federated Clouds

Source: http://www.bonfire-project.eu/infrastructure (August 2012)

MultiSite Cloud More information: http://www.bonfire-project.eu/infrastructure

BonFIRE INFRASTRUCTURE

Experiment Agent Workflow

Cluster ready

Rural Schools