Grids: Actividades en Curso y Grids: Actividades en Curso y Plan Futuro de InvestigaciónPlan Futuro de Investigación

Javier JaénJavier Jaén Grupo de Ingeniería del Software y Sistemas de Grupo de Ingeniería del Software y Sistemas de

Información (ISSI)Información (ISSI)Departamento de Sistemas Informáticos y ComputaciónDepartamento de Sistemas Informáticos y Computación

Universidad Politécnica de ValenciaUniversidad Politécnica de ValenciaCamí de Vera s/n E-46022 ValenciaCamí de Vera s/n E-46022 Valencia

fjaen@dsic.upv.esfjaen@dsic.upv.es

ContenidosContenidos►Presentación del ISSIPresentación del ISSI

►Experiencia en GridsExperiencia en Grids

►Plan Futuro Investigación ISSIPlan Futuro Investigación ISSI

►Plan Futuro Investigación GridsPlan Futuro Investigación Grids

Presentación ISSIPresentación ISSI►Director: Isidro Ramos SalavertDirector: Isidro Ramos Salavert►Composición: Composición:

1 Catedrático1 Catedrático 1 TU1 TU 3TEUs3TEUs 1 ASO1 ASO 5 Becarios5 Becarios Colaboradores (México, Castilla-La Colaboradores (México, Castilla-La

Mancha,...)Mancha,...)

Presentación ISSIPresentación ISSI►Líneas de InvestigaciónLíneas de Investigación

Métodos Formales para Ingeniería de Métodos Formales para Ingeniería de Requisitos y Prototipación AutomáticaRequisitos y Prototipación Automática

Sistemas WorkflowsSistemas Workflows Sistemas de Cultura DigitalSistemas de Cultura Digital Arquitecturas DinámicasArquitecturas Dinámicas Grids Grids

Experiencia en GridsExperiencia en Grids►Staff del CERN Staff del CERN

División IT, Grupo PDP , Sección I+D División IT, Grupo PDP , Sección I+D I+DI+D

►Monitorización de ClustersMonitorización de Clusters►Gestión de Clusters mediante agentes JMXGestión de Clusters mediante agentes JMX►Miembro del proyecto europeo Datagrid Miembro del proyecto europeo Datagrid

Deputy Manager del WP2 (“Data Management”)Deputy Manager del WP2 (“Data Management”) Setup del primer testbed Globus CERNSetup del primer testbed Globus CERN Participante subproyecto “SpitFire” (Seguridad)Participante subproyecto “SpitFire” (Seguridad)

Del LEP al LHCDel LEP al LHC

Cada experimento LHC requiere una capacidad de uno a dos ordenes de magnitud mayor que la capacidad TOTAL

existente en el CERN en la actualidad

Parameter LEP COMPASS LHC Raw data rate 1MB/sec 35MB/sec 100MB/sec

Number of events/year <107 ~1010 ~109

Raw data volume/year 0.2-0.3 TB 300TB 1 PB

Event size 20 – 50 kB 30kB 1 MB

Event reconstruction time 2–8 Si95-secs 2 Si95-secs 500 Si95-secs

Number of users 400 - 600 ~200 ~2000

Number of institutes 30-50 ~35 ~150

tape servers

disk servers

application servers

to external network

local network servers

Colaboración MundialColaboración Mundial

CMS: 1800 physicists150 institutes32 countries

La Metáfora GridLa Metáfora Grid► Análogo a la red eléctricaAnálogo a la red eléctrica

► Computación distribuida con Computación distribuida con capacidad ilimitadacapacidad ilimitada

► Acceso transparente a bases Acceso transparente a bases de datos distribuidas con de datos distribuidas con petabytes de informaciónpetabytes de información

► Complejidad de la Complejidad de la infraestructura ocultainfraestructura oculta

Ian Foster and Carl Kesselman, editors, “The Grid: Blueprint for a New Computing Infrastructure,” Morgan Kaufmann, 1999, http://www.mkp.com/grids

Proyecto Data Grid EuropeoProyecto Data Grid EuropeoComité de GestiónComité de Gestión

UK: PPARC UK: PPARC Italy: INFN Italy: INFN France: CNRS France: CNRS Netherlands: NIKHEF Netherlands: NIKHEFESA/ESRINESA/ESRIN CERN CERN

Industria Industria IBM, HP (UK), Compagnie des Signaux (F), Datamat (I)IBM, HP (UK), Compagnie des Signaux (F), Datamat (I)

Partners AsociadosPartners Asociados Istituto Trentino di Cultura (I), Helsinki Institute of Physics / CSC Istituto Trentino di Cultura (I), Helsinki Institute of Physics / CSC

Ltd (FI), Swedish Science Research Council (S), Zuse Institut Ltd (FI), Swedish Science Research Council (S), Zuse Institut Berlin (DE), University of Heidelberg (DE), CEA/DAPNIA (F), IFAE Berlin (DE), University of Heidelberg (DE), CEA/DAPNIA (F), IFAE Barcelona, CNR (I), CESNET (CZ), KNMI (NL), SARA (NL), SZTAKI Barcelona, CNR (I), CESNET (CZ), KNMI (NL), SARA (NL), SZTAKI (HU)(HU)

Otras CienciasOtras CienciasKNMI(NL), Biology, Medicine KNMI(NL), Biology, Medicine

Programa de TrabajoPrograma de TrabajoMiddlewareMiddleware

WP 1 Grid Workload ManagementWP 1 Grid Workload Management F. Prelz/INFNF. Prelz/INFNWP 2 Grid Data ManagementWP 2 Grid Data Management P. Kunstz/CERNP. Kunstz/CERNWP 3 Grid Monitoring servicesWP 3 Grid Monitoring services R. Middleton/PPARCR. Middleton/PPARCWP 4 Fabric ManagementWP 4 Fabric Management O. Barring/CERNO. Barring/CERNWP 5 Mass Storage ManagementWP 5 Mass Storage Management J. Gordon/PPARCJ. Gordon/PPARC

Grid Fabric -- testbedGrid Fabric -- testbedWP 6 Integration TestbedWP 6 Integration Testbed F. Etienne/CNRSF. Etienne/CNRSWP 7 Network ServicesWP 7 Network Services P. Primet/CNRSP. Primet/CNRS

Scientific applicationsScientific applicationsWP 8 HEP ApplicationsWP 8 HEP Applications F. Carminati/CERNF. Carminati/CERNWP 9 EO Science ApplicationsWP 9 EO Science Applications L. Fusco/ESAL. Fusco/ESAWP 10 Biology ApplicationsWP 10 Biology Applications V. Breton/CNRSV. Breton/CNRS

ManagementManagementWP 11 DisseminationWP 11 Dissemination M. Draoli/CNRM. Draoli/CNR

WP 12 Project ManagementWP 12 Project Management F. Gagliardi/CERNF. Gagliardi/CERN

Work Package 2:Gestión de Work Package 2:Gestión de DatosDatos

Gestionar y compartir volúmenes de información del orden de Petabytes en entornos de producción de HTC.

Replicacion/caching; Gestión Metadatos; Autentificación; Optimización de Queries;

Interfaces a Mass Storage Mgmt. systems.

Plan Futuro Investigación ISSIPlan Futuro Investigación ISSI►Arquitecturas DinámicasArquitecturas Dinámicas

Proyecto CICYTProyecto CICYT►Murcia, Cartagena, Castilla-La Mancha,Murcia, Cartagena, Castilla-La Mancha,

ValenciaValencia►Mecanismos de definición de arquitecturas Mecanismos de definición de arquitecturas

software adaptativas y que evolucionen en software adaptativas y que evolucionen en función del entornofunción del entorno

►Generación automática de componentes software Generación automática de componentes software dinámicasdinámicas

►Aplicación a Sistemas Tele-operados, Sistemas de Aplicación a Sistemas Tele-operados, Sistemas de difusión de información multimedia, Gridsdifusión de información multimedia, Grids

Plan Futuro Investigación Plan Futuro Investigación GridsGrids

► Arquitecturas adaptativas para Grid Arquitecturas adaptativas para Grid ComputingComputing

► Requisito crítico para aplicaciones Grids Requisito crítico para aplicaciones Grids (condiciones cambiantes de los recursos (condiciones cambiantes de los recursos existentes)existentes) No adaptación = Pobres prestacionesNo adaptación = Pobres prestaciones Adaptabilidad implementada en la actualidad de Adaptabilidad implementada en la actualidad de

forma ad hocforma ad hoc Alternativa: Alternativa:

► Usar modelos arquitectónicos de alto nivelUsar modelos arquitectónicos de alto nivel► Mantener versiones en tiempo de ejecución de dichos Mantener versiones en tiempo de ejecución de dichos

modelos y tomarlos como base para la adaptabilidadmodelos y tomarlos como base para la adaptabilidad

Ejemplo: Catalogo Auto-Ejemplo: Catalogo Auto-configurable “Context-Aware”configurable “Context-Aware”

Catalogue Catalogue

Catalogue Catalogue Catalogue

Centralizado Jerárquico

Catalogue

Catalogue

CatalogueCatalogue

P2P

Ejemplo: Tareas sensibles al Ejemplo: Tareas sensibles al ContextoContexto

Task Controller

Grid Nodes Grid Nodes

Context-Aware tasks

Task Controller

Polling Pushing

¿Qué se necesita?¿Qué se necesita?►Un modelo abstracto para definir Un modelo abstracto para definir

componentes software sensibles al componentes software sensibles al contexto y evolutivascontexto y evolutivas

►Mecanismos de generación automática Mecanismos de generación automática de código para obtener “context-aware” de código para obtener “context-aware” componentes ejecutables (J2EE componentes ejecutables (J2EE JavaBeans, CORBA, .NET Web JavaBeans, CORBA, .NET Web Services...)Services...)

ColaboraciónColaboración► Impulsar el uso de infraestructuras GridsImpulsar el uso de infraestructuras Grids

► Construir un Testbed Grid UPV-UVConstruir un Testbed Grid UPV-UV

► Obtener requisitos de adaptabilidad de las Obtener requisitos de adaptabilidad de las aplicaciones Gridaplicaciones Grid Biología, Medicina, Física de partículas...Biología, Medicina, Física de partículas...

► Construir infraestructuras Grid dinámicas y Construir infraestructuras Grid dinámicas y evolutivas a partir de componentes software evolutivas a partir de componentes software generadas semi-automáticamentegeneradas semi-automáticamente

¿Qué Ofrecemos?¿Qué Ofrecemos?► Experiencia en implantación de GridsExperiencia en implantación de Grids

► Experiencia en generación automática de Experiencia en generación automática de componentes softwarecomponentes software

► Experiencia definición de proyecto Experiencia definición de proyecto compartido Europeocompartido Europeo

► Contactos en el proyecto EU DatagridContactos en el proyecto EU Datagrid