GESTIÓN DE RECURSOS COMPUTACIONALES EN EL CLOUD PARA ACTIVIDADES EDUCATIVAS

XX Jornadas sobre la Enseñanza Universitaria de la Informática (JENUI 2014)

Germán MoltóDepartamento de Sistemas Informáticos

y Computación (DSIC)

OBJETIVO DE LA PRESENTACIÓN

• Objetivo:

• Describir el uso de la plataforma ODISEA*, para el despliegue de infraestructuras computacionales virtuales educativas en diferentes asignaturas del Máster Universitario en Computación Paralela y Distribuida (MUCPD) de la Universitat Politècnica de València.

• Índice de la presentación:

1. Introducción a las infraestructuras virtuales

2. La plataforma ODISEA

3. Experiencias de uso

4. Conclusiones

* (del inglés On-demand Deployment of Infrastructures to Support Educational Activities)

INTRODUCCIÓN (I)

• Numerosas asignaturas en el ámbito de la informática requieren realizar prácticas de laboratorio con herramientas software específicas y/o sobre infraestructuras de cómputo complejas.

• Ejemplos de SW:

• Compiladores, IDEs, librerías numéricas, etc.

• Ejemplos de Infraestructuras Complejas:

• Clusters de PCs, infraestructuras Grid, despliegues Cloud, etc.

Escenario de Trabajo

INTRODUCCIÓN (II)

• Aproximaciones a la Gestión de Recursos

1. Uso de Recursos Hardware Dedicados• Adquisición de equipos para uso exclusivo de una actividad, e.g.,

compra de un cluster de PCs para prácticas de alumnos.

• Problema: Uso puntual, recursos desaprovechados, re-configuración periódica, los fallos imposibilitan la actividad educativa.

2. Uso de Recursos Virtualizados / Imágenes de Disco• Instalación de equipos de un laboratorio en base a imágenes pre-

configuradas

• Problema: deben ser periódicamente mantenidas, no gestionan las dependencias de infraestructuras complejas (Cluster, Grid, etc.)

3. Aprovisionamiento y Configuración Automatizada de Infraestructuras Complejas en el Cloud.

Gestión de Recursos Computacionales

CLOUD COMPUTING / COMPUTACIÓN EN LA NUBE

• “Cloud Computing es un modelo para permitir el acceso ubicuo, bajo demanda y a través de la red a un conjunto de recursos de cómputo configurables que pueden ser rápidamente aprovisionados y liberados con una mínima interacción con el proveedor”, NIST (National Institute of Standards and Technology).

• Proveedores de Cloud público con modelo de pago por uso.

• Herramientas para la creación de Clouds on-premise.

INFRAESTRUCTURAS VIRTUALES DE SOPORTE A LA ACTIVIDAD EDUCATIVA

• Definimos una Infraestructura Virtual de Soporte a la Actividad Educativa como un conjunto de máquinas virtuales relacionadas, desplegadas sobre uno o varios proveedores Cloud, y que disponen de la configuración Hardware, Software y de Datos definida por el instructor para soportar una determinada actividad educativa Laboratorio Remoto de Prácticas

• Ejemplo: • Cluster Hadoop de 4 nodos con 2 GB de RAM, Ubuntu 12.04, con Java JDK 1.7+, Octave, sistema de archivos compartido, 15 cuentas de usuario y los boletines de prácticas disponibles en una carpeta.

LA PLATAFORMA ODISEA

Arquitectura y Componentes

Infrastructure Manager

(IM)

Descripciones de Infraestructuras

Virtuales (RADLs)

Catálogo y Repositorio De Imágenes de

Máquinas Virtuales (VMRC)

AdministradorAdministrador InstructorInstructor

Infraestructura Virtual A

Infraestructura Virtual B

Proveedor Cloud

Configurador(Ansible)

Interfaz Web

Repositorio de Software

Repositorio de Material Educativo

Alumnos

Plataforma ODISEA

EXPERIENCIAS DE USO

• ODISEA se ha utilizado en cuatro asignaturas del Máster en Computación Paralela y Distribuida (MUCPD) de la Universitat Politècnica de València, durante 2013/2014:

• Infraestructuras Avanzadas en Grid (IAG)

• Infraestructuras Avanzadas en Cloud (IAC)

• Modelos de Programación en Grid (MPG)

• Modelos de Programación en Cloud (MPC)

• Y en el Curso Online de Cloud Computing con Amazon Web Services.

USO EN LAS ASIGNATURAS IAC Y MPC

• Estas asignaturas abordan el uso de infraestructuras de Cloud Computing, ejemplificando sobre OpenNebula y Amazon Web Services, realizando gestión y análisis de datos en la nube usando técnicas de Big Data y despliegue de infraestructura de cómputo escalables.

Recurso Sistema Operativo Software Hardware

ONE-UI Ubuntu 12.04 LTS Cliente OpenNebula 512 MB RAM

AWS-UI Ubuntu 12.04 LTS AWS CLI 1 GB RAM

AWS-DevOps(2x alumno)

Ubuntu 12.04 LTS Ansible, Python 512 MB RAM

Cluster-Hadoop(varios nodos)

Ubuntu 12.04 LTS Hadoop, Python, HDFS

2 GB RAM

USO EN LAS ASIGNATURAS IAG Y MPG

• Estas asignaturas abordan la programación de aplicaciones y servicios que requieran infraestructuras Grid tanto batch (soportadas por EMI) como orientadas a servicio (OGSA) usando Globus Toolkit.

• Requieren que los alumnos utilicen diferentes recursos:

Recurso Sistema Operativo Software Hardware

Servidor-VOMS Scientific Linux 5.10 (64 bits)

VOMS Server 512 MB RAM

Servidor-GT4 Scientific Linux 5.10 (64 bits)

GT 4.2, JDK 1.6, Ant, NetBeans

1 GB RAM

EMI-UI Scientific Linux 5.10 (64 bits)

EMI-UI, OpenMPI 512 MB RAM

OpenLDAP Scientific Linux 5.10 (64 bits)

OpenLDAP Server 1 GB RAM

USO DE LAS INFRAESTRUCTURAS VIRTUALES

• El instructor define la infraestructura en un lenguaje declarativo de alto nivel (RADL) y gestiona el ciclo de vida de la infraestructura en su asignatura.

Tiempo

Definir

Infraestructuras

Definir Imágenes

de Máquinas

Virtuales

Definir Descripciones

de Infraestructuras

(RADLs)

Instructor

Administrador

Alumnos

Desplegar

Infraestructura A

Desplegar

Infraestructura B

Infraestructura A

Infraestructura B

Destruir BDestruir

A

Usar AUsar B

EJEMPLO DE RADL SIMPLIFICADO

network public (inbound = ’yes’)

system aws-ui (

cpu.arch=’x86_64’ and cpu.count>=1 and memory.size>=1024m and

disk.0.os.name=’linux’ and disk.0.os.flavour=’ubuntu’ and disk.0.os.version>=’12.04’

)

configure aws-ui (

@begin

- vars:

- pw_00: M3Je2TpgZ3n

- ak_00: AKIAMAWOZX42O6A3SC4A

- sk_00: wy8mtS7FG0MlP5Tu4V/

tasks:

- user: name=alucloud00 password={{pw_00}}

- copy: dest=/home/alucloud00/.awssecret content="{{ak_00}} {{sk_00}}"

- get_url: url=<sdr>/{{item}} dest=/tmp

with_items:

- iacmaterial_1.0_all.deb

- command: dpkg -i /tmp/{{item}}

with_items:

- iacmaterial_1.0_all.deb

- apt: pkg=python-setuptools state=latest

Características hardware de la infraestructura virtual.

Instalación de software en la infraestructura virtual.

Aspectos de configuración de la infraestructura virtual

CONFIGURACIÓN DE INFRAESTRUCTURAS COMPLEJAS

• Permite el despliegue y configuración de infraestructuras complejas.

• Ejemplo: Creación de un Cluster Hadoop.

• Análisis de volúmenes masivos de datos.

• Automatización y repetibilidad.

Despliegue de

Infraestructura

Virtual

Configuración de

Servicios

Descarga e

Instalación de

Software

Creación de

Cluster Hadoop

Descarga y

Precarga de

Datasets en HDFS

Creación de

Cuentas de

Usuario

Configuración del

Entorno de Trabajo

Inicio Final

Infraestructura

Virtual Preparada

APROVISIONAMIENTO DE RECURSOS

• Los recursos de cómputo / almacenamiento se aprovisionan de una plataforma Cloud on-premise (OpenNebula, OpenStack, etc.) o de un proveedor de Cloud público (AWS, Microsoft Azure, etc.)

• Los alumnos se conectan vía SSH o Escritorio Remoto.

INTERFAZ GRÁFICA DE ODISEA / IM (I)

Listado de Descripción de Infraestructuras Virtuales

INTERFAZ GRÁFICA DE ODISEA / IM (II)

Edición de Descripción de Infraestructuras Virtuales

• Edición de RADLs

• Compartición de RADLsentre usuarios.

• Profesores que comparten RADLs entre asignaturas.

INTERFAZ GRÁFICA DE ODISEA / IM (III)

Gestión de Credenciales de Acceso a los Clouds

INTERFAZ GRÁFICA DE ODISEA / IM (IV)

• Gestión del ciclo de vida de las infraestructuras virtuales.• Detener (para reducir coste), terminar, reconfigurar.

• Información de registro del despliegue y configuración.

Gestión del Ciclo de Vida de las Infraestructuras Virtuales

CICLO DE VIDA DE LAS INFRAESTRUCTURAS VIRTUALES

• Para ahorrar costes es posible re-aprovechar el despliegue de una infraestructura iniciándola únicamente para las sesiones de laboratorio.• Se detiene (no elimina) al

finalizar la sesión.

Aprovisionar Configurar Acceder

Detener

IniciarTerminar

Profesor

ODISEA

Ciclo de vida de 1 día

Nueva Edición o Curso Académico

• Permite re-aprovechar los recursos hardware liberados para las infraestructuras de otras asignaturas.

• Permite reducir el coste económico en caso de despliegue en un Cloud público.

INFRAESTRUCTURAS VIRTUALES COMO MATERIAL EDUCATIVO

• Infraestructuras Virtuales (Laboratorios Remotos) disponibles para los alumnos:

• 24x7

• a discreción del instructor

• bajo demanda

• Entorno Virtual de Aprendizaje (Colaborativo).

Transparencias

Guías Didácticas

LibrosActividades Educativas

Actividades de Evaluación

Actividades Grupales …

Infraestructuras Virtuales

VENTAJAS DEL USO DE ODISEA: PROFESOR

• Desplegar una réplica de una misma infraestructura en cuestión de minutos.

• Repetibilidad, incluso en diferentes Clouds.

• Útil para:

• Ediciones periódicas.

• En caso de fallos.

• Falta de recursos de la entidad educativa Usar Cloud público (pago por uso).

• Compartición de infraestructuras entre docentes.

• e.g. Compartir la definición de un clúster virtual para diferentes prácticas.

En el MUCPD de la UPV

VENTAJAS DEL USO DE ODISEA: ALUMNOS

• Acceder a una mayor variedad de infraestructuras de cómputo, necesarias para adquirir las competencias definidas en las asignaturas.

• Siempre disponibles durante la actividad educativa.

Servidor VOMS

Servidor GT4

EMI UI

OpenLDAPONE

UIAWS

UI

AWS DevOp

s

ClusterHadoo

p

IAG MPG IAC MPC

VENTAJAS DEL USO DE ODISEA: ENTIDAD EDUCATIVA

• Mejor racionalización de recursos

• Plataforma Cloud on-premise de la entidad educativa.

• Virtualización: Un solo nodo físico permite ejecutar decenas de máquinas virtuales.

• Externalizar cómputo a un proveedor Cloud.

• Pago por uso en situaciones de picos de carga.

• Introducir BYOD (Bring Your Own Device) para conectarse a los laboratorios remotos.

• Escalar ante aumentos repentinos de matrícula de alumnos (cursos online, MOOC).

USOS ADICIONALES

• Curso Online de Cloud Computing con Amazon Web Services (AWS)

• http://www.grycap.upv.es/cursocloudaws

• 165+ alumnos,7 ediciones en menos de un año (cada 1-2 meses).

• ODISEA ha permitido:

• Automatizar el despliegue de los laboratorios remotos.• Cuentas de usuario

• Herramientas de acceso a AWS (AWS CLI)

• Credenciales de acceso

• Mirror del material educativo

• Ampliar la configuración de los laboratorios ante aumentos repentinos de matrícula.

DISPONIBILIDAD DE LA PLATAFORMA

• ODISEA está basado en componentes de código abierto como:

• IM (Infrastructure Manager). • http://www.grycap.upv.es/im

• VMRC (Virtual Machine image Repository & Catalog). • http://www.grycap.upv.es/vmrc

• También se ofrece como aplicación web (SaaS)• http://servproject.i3m.upv.es/im

• Registrar credenciales de acceso a los múltiples Clouds.

CONCLUSIONES

• ODISEA es una plataforma que permite desplegar infraestructuras virtuales de soporte a la docencia (laboratorios remotos), en múltiples plataformas Cloud.

• Los profesores automatizan el despliegue de dichas infraestructuras, adaptadas a sus necesidades (HW, SW y Configuración).

• Los alumnos acceden a un gran abanico de infraestructuras de cómputo para realizar las actividades prácticas.

• La plataforma ha sido liberada a la comunidad académica mediante código abierto y como un servicio.

CONTACTO

Germán Moltó

Dpto. de Sistemas Informáticos y Computación (DSIC)

Universitat Politècnica de València

Camino de Vera s/n

46022, Valencia

SPAIN

gmolto@dsic.upv.es

http://www.grycap.upv.es/gmolto

@gmolto