A. Fernández, S. González, L.March, J. Salt, R. Vives, F. Fassi, A. Lamas, J. Sánchez

Jornadas Técnicas de RedIRIS Oviedo, 22 de Noviembre de 2007

Infraestructura de e-Ciencia para ATLAS en el IFIC

1/17

1.- Introducción: Contexto y Objetivos

2.- Recursos y Servicios del IFIC

3.- Transferencia y Gestión de datos

4.- Producción Masiva de datos Simulados

5.- Aplicaciones desplegadas en la infraestructura

6.- Conclusiones

Contenido

2/17

• Programa Científco del LHC: 4 experimentos (ATLAS, CMS, LHCb y ALICE)

• ATLAS: Detector de propósito general para el estudio de colisiones protón-protón de Altas Energías.

• La computación off-line tendrá que tratar con una tasa de producción media de sucesos de ~ 100 Hz, esto es, ~2x109 sucesos por año *, con un tamaño promedio por suceso de ~ 1 Mbyte. (Actualmente entre 1.3 y 1.6).

• Los investigadores están distribuidos por todo el mundo

El Problema de los Datos en ATLAS

3/17

1.- Introducción: Contexto y Objetivos1.- Introducción: Contexto y Objetivos

online

*Días hábiles (runs) ~40% del año (~140 días); normalmente de abril a octubre incluyendo algunas paradas técnicas.

~2 Petabytes/año en ATLAS*

ss

RAL

IN2P3

BNL

FZK

CNAF

PIC ICEPP

FNAL

USCNIKHEFKrakow

Legnaro

IFAE

Taipei

TRIUMF

IFICUAM

UB

IFCA

CIEMAT

MSU

Prague

Budapest

Cambridge

smallcentres

Tier-2desktopsportables

• Servicios de almacenamiento en disco permanente y temporal para ficheros de datos y bases de datos

• Suministrar capacidades de análisis para grupos de trabajo de Física. Posibilitar la operación de una instalación de un Sistema de Análisis de Datos para ‘Usuarios Finales’ que dé servicio a unas 20 líneas de análisis

• Suministrar datos de simulación de acuerdo con los requisitos de los experimentos.

•Dar acceso a los Servicios de Red para el intercambio de datos con los TIER-1

Funciones de un TIER-2

Tier-1

4/17

TIER-2 Español para ATLAS:Fase I: dos años, 2005-2007Fase II: 3 años , 2008-2010

CPUSoftware específicoUserSuport, …

(en todo el TIER2 español)

Tier-0

A partir de la evolución prevista de los recursos para todos los Tier-2 de ATLAS y suponiendo una contribución del 5% para el Tier-2 Español los recursos serían:

-se observa un fuerte incremento 2007-2008-la contribución del IFIC sería la mitad de estas cantidades

5/17

Evolución del TIER2 español

• Los físicos de ATLAS pueden acceder a los recursos de computación mediante los componentes Middleware y Servicios GRID

• Sobre los recursos de computación se han desplegado 3 ‘sabores GRID’– GRID3/OSG USA– NDG/ARC países escandinavos + otros países– LCG-2/EGEE la mayoría de los países europeos + Canadá + Extremo Oriente

Nuestro Tier-2 está en este sabor de GRID

• Los sistemas de producción y de análisis están diseñados para ser independientes del ‘sabor’ GRID, garantizando el mayor grado posible de interoperabilidad al servicio y a nivel de API

• El TIER-2 es un ejemplo de infraestructura GRID que se encuentra inmersa en un ámbito de e-Ciencia ( Proyecto EGEE-II del VI Programa Marco UE)

Los GRIDs de ATLAS y el marco de e-ciencia

6/17

• 132 KSi2k

• 34TB Disco

• 4.7TB Cinta (Tape front-end)

• Actualmente se utiliza LUSTRE (sistema de ficheros) como sistema de almacenamiento masivo en disco

• Conectividad: 1Gbps hasta punto de acceso RedIRIS y 10 Gbps entre puntos acceso

• Personal: 7 FTEs

2.- Recursos y Servicios del IFIC2.- Recursos y Servicios del IFIC

7/17

Conectividad• A nivel global, mas de 9 petabytes transferidos en los últimos 6 meses (> 10

millones ficheros), en EGEE usando FTS (incluye VOs de LHC+BioMed+...)

• Demostrado sobre 1 GB/s sostenido entre Tier0 y Tier1 (red dedicada sobre soporte de fibra óptica)

• Según el Atlas computing technical design report el enlace entre Tier1 y Tiers2 debe ser de 50 MBytes/s en toma de datos. Esto no cuenta el tráfico que pueda haber entre los distintos centros del T2 al ser este distribuído.

• Datos registrados entre el lunes 22 al martes 30 de octubre * en IFIC

(*) Todavía no estamos en toma de datos, así que los números que salen aquí no son extrapolables. Además, los continuos retrasos de LHC han hecho que, evidentemente, el uso actual no sea el esperado. 8/17

Coincidiendo con el ejercicio M5 de toma de datos(22 octubre – 05 de noviembre 2007)

Job Accounting•Existe un servicio de accounting, basado en el uso de ‘sensores’ que permite contar el número de usuarios que están utilizando los servicios Grid de un determinado TIER. • El acceso a los datos sólo se permite a usuarios autorizados: provider, user, VO manager, … (privacidad)• La información es recogida en el Grid Operations Centre (GOC).• Para esta funcionalidad básica se ha utilizado principalmente APEL (DGAS experimental)

PORTAL DE ACCOUNTING DEL CESGA

9/17

3.- Transferencia y Gestión de Datos3.- Transferencia y Gestión de Datos

El IFIC ha participado en los diferentes ejercicios de transferencia masiva de datos promovidos desde el CERN:

DC1 (Data Challenge 1): aun no había Grid. Todos los datos se transferían punto a punto al CERN (2001)DC2 : Se empieza a usar el Grid.Roma Production: participación del IFIC ~ 6 % (2004)CSC (antiguo DC3): primer ejercicio real con DDM (2006)

Una vez constituído como TIER2 (2004/2005):SC4 (Service Challenge 4; Octubre 2006)Funtional Tests (Agosto 2007)M4 y M5 (toma de datos de rayos cósmicos, entre septiembre y noviembre 2007)

Septiembre 2007

10/17

GB

• El IFIC ha creado una página web, donde se listan todos los datos almacenados para el experimento ATLAS (datasets) en los centros del Tier-2 español, para información de sus usuarios, correspondientes a todos estos ejercicios: http://ific.uv.es/atlas-t2-es

• Estos datos deben estar almacenados en los diversos SE del TIER2-ES y estar registrados en los respectivos catálogos del TIER1(PIC):

catálogo Grid general de LCG/EGEE (LFC) y

catálogo del experimento ATLAS (DDM/DQ2)

11/17

• Es una de las actividades principales de la infraestructura de e-Ciencia en el IFIC.

• Datos producidos utilizando el middleware Grid (EGEE/LCG) para el experimento ATLAS.

• 62910 trabajos fueron mandados por el ejecutor LEXOR del IFIC a los diferentes centros de la colaboración con el middleware EGEE entre 25/01/06 y 07/08/06, que frente a los 393714 que se mandaron en total, supone una contribución a ese nivel del 16%.

4.- Producción Masiva de Datos Simulados4.- Producción Masiva de Datos Simulados

12/17

• Desde Enero de 2006 hasta hoy en día el Computing Element (CE) del IFIC procesa diariamente trabajos de Monte Carlo procedentes de varios laboratorios de la colaboración ATLAS/LCG-EGEE

• Estadística acumulada desde Enero 06 hasta Agosto 07:– Número de trabajos procesados

• TIER2 español: 84833• Total colaboración: 3324087

– CPU Wall time• TIER2 español: 22670 días• Total colaboración: 818282días

Contribución TIER2Español referente a LCG-EGEE: 2.7%

12/17

(Añadiendo sept. y oct.)

5.- 5.- AplicacionesAplicaciones desplegadas en la infraestructura desplegadas en la infraestructura

Prioridad de Trabajos

ATLAS Resto de los usuarios

70% 30%

En el TIER2 del IFIC, dependiendo de los roles y grupos pertenecientes de cada usuario dentro de la VOMS, el Fair-Share (FS) asignado es de:

atlb:/atlas/Role Prioridad

normal user (atlas:atlas) 50 %

production 50 %

software No FS

lcgadmin No FS

Sólo mandan un job esporádicamente, pero en ese caso tienen máxima prioridad.

50 % 50 %

NEW VOView: es usado por el WMS para asignar los trabajos en función de los shares de los diferentes sites.

Actualmente, la asignación de varios VOViews a diferentes grupos/roles puede ser realizado. Pero aún se dan incorrecciones para usuarios que tienen varios roles asignados o pertenecen a varias VOs. 14/17

• La aplicación elegida por ATLAS para que sus usuarios envíen trabajos al Grid dentro de EGEE/LCG es GANGA.– Herramienta “fácil” (userfriendly) desde el punto de vista del usuario

• Línea de comandos• GUI (Graphical User Interface)

– Extensible (sistema plugin)– Puedes incluir cualquier tipo de aplicación: programas de simulación de datos por Monte

Carlo: ej. athena, athenaMC (ATLAS), algoritmos de análisis– Incluye diferentes backends:

Enviar un trabajo al Grid: ej. EGEE/LCG Enviar un trabajo de forma local

• Para su gestión, actualmente estudiando performance de:

– LCG Resource Broker (RB) y

– gLite Workload Management System (WMS)

Análisis Distribuido

Usuario

CE

CE

…

15/17

- En total 968 personas desde Enero, 579 en ATLAS, 10 en el IFIC- Por mes ~275 usuarios, 150 en ATLAS, 10 en el IFIC

ATLAS

LHCbOtros

Tier 0 1 2 3

Fracción 8% 37% 40% 15%

Análisis DistribuidoGANGA

16/17

• El IFIC dispone de una infraestructura de e-ciencia que atiende las necesidades que se derivan de su papel como ‘TIER-2’ dentro del contexto del Modelo de Computación de ATLAS

• Recursos de equipamiento: cumplimiento de objetivos año a año (conseguido para 2007); con un ritmo de crecimiento considerable y sostenido

• Transferencia y Gestión de datos: ejercicios de transferencias de datos (T1-T2) completados con éxito y sistema de gestión de datos eficiente en el IFIC

• Producción masiva de datos simulados en el IFIC

• Análisis distribuido funcionando sobre una infraestructura EGEE/LCG y utilizando GANGA para enviar trabajos

6.- Conclusiones6.- Conclusiones

17/17