Upload
others
View
2
Download
0
Embed Size (px)
Citation preview
www.beegfs.ioHPC Admintech | 9 de mayo 2018 | Alexander Eekhoff
BeeGFS, altas prestaciones en exportaci�n de disco global
HPC Admintech | 9 de Mayo 2018 | Alexander Eekhoff
Agenda Introducci�n
�Qu� es BeeGFS? �Qui�nes somos? �C�mo funciona BeeGFS?
Alta disponibilidad Almacenamiento compartido – HA utils Buddy Mirroring
Configuraci�n convergente y “BeeOND”
BeeGFS 7
Parte practica Instalaci�n de BeeGFS Conocer las herramientas de
alta disponibilidad BeeOND Prueba de rendimiento
Introducci�n�Qu� es BeeGFS?�Qui�nes somos?�C�mo funciona BeeGFS?
HPC Admintech | 9 de Mayo 2018 | Alexander Eekhoff
�Qu� es BeeGFS?
Storage Server #1 Storage Server #2 Storage Server #3 Storage Server #4 Storage Server #5 Metadata Server #1
File #1
1 1 2
File #2File #3
2 3 31 2 3 M M M
Aumenta f�cilmente la capacidad y el rendimiento al nivel deseado Aumenta f�cilmente la capacidad y el rendimiento al nivel deseado
BeeGFS es…BeeGFS es… Un sistema de archivos paralelo
independiente del hardware(“Software-defined Parallel Storage”)
Un sistema de archivos paralelo independiente del hardware(“Software-defined Parallel Storage”) /mnt/beegfs/dir1
…
Dise�ado para entornos que requieren un alto rendimiento
Dise�ado para entornos que requieren un alto rendimiento
HPC Admintech | 9 de Mayo 2018 | Alexander Eekhoff
�Qui�nes somos? Originariamente, BeeGFS proviene del Fraunhofer Center para HPC FhGFS -> BeeGFS
La Sociedad Fraunhofer (Fraunhofer Gesellschaft, FhG) Organizaci�n m�s grande para ciencias aplicadas en Europa Financiamiento b�sico del gobierno alem�n y trabajos para terceros Institutos, unidades de investigaci�n
y oficinas por todo el mundo Personal: ~25.000
HPC Admintech | 9 de Mayo 2018 | Alexander Eekhoff
�Qui�nes somos? ThinkParQ
Derivada del Fraunhofer Center para HPC Fundada en 2014 espec�ficamente para BeeGFS Radicada en Kaiserslautern (a unos pasos del Fraunhofer HPC Center) Asesoramiento, servicios y soporte para BeeGFS Desarrollo cooperativo con Fraunhofer Primer punto de contacto para BeeGFS
HPC Admintech | 9 de Mayo 2018 | Alexander Eekhoff
Socios para soluciones completas
HPC Admintech | 9 de Mayo 2018 | Alexander Eekhoff
Algunos clientes 10 Servers100 ClientsSeveral PB
30 Servers100 ClientsSeveral PBFinance
Seismic Data Analytics
Life Science
Basic Research
Automotive
2000 Clients9 Servers
900 Clients12 Servers
Deep learning, Radio astronomy, …
HPC Admintech | 9 de Mayo 2018 | Alexander Eekhoff
�C�mo funciona BeeGFS? Management Service (servicio de management)
Registro de (nuevos) servidores y (nuevos) clientes
Supervisa servicios registrados y comprueba sus estados
No es critico para el rendimiento y no guarda datos de usuario
No se necesita un servidor dedicado
HPC Admintech | 9 de Mayo 2018 | Alexander Eekhoff
�C�mo funciona BeeGFS? Storage Service (servicio de almacenamiento)
Guarda contenido de los archivos (“chunk files”)
Un disco global -> ≥1 servicios de almacenamiento
Un servicio -> ≥1 objetos de almacenamiento• Cualquier directorio normal• Usualmente: Volumen RAID6 o zfs RAIDz2, interno o externo• No obstante, es posible usar discos individuales
HPC Admintech | 9 de Mayo 2018 | Alexander Eekhoff
�C�mo funciona BeeGFS? Metadata Service (servicio de metadatos)
Guarda informaciones sobre los archivos• Informaciones de directorios• Poseedores y permisos• Distribuci�n a los objetos de almacenamiento
Solo est� solicitado cuando es necesario Un disco global -> ≥1 servicios de metadatos Un servicio controla 1 objeto de metadatos
• Cualquier directorio normal• Usualmente: Volumen RAID1 o RAID10• No obstante, es posible usar discos individuales
Latencia m�s importante que el caudal de datos
HPC Admintech | 9 de Mayo 2018 | Alexander Eekhoff
�C�mo funciona BeeGFS? Client Service (servicio de cliente)
Modulo nativo para montar el sistema de archivos Re-exportaci�n con NFS y Samba Previsto: Cliente para Windows
Admon Service (Interfaz gr�fica) Administrar y monitorizar informaci�n del sistema BeeGFS 7: Mon (genera base de datos para integrar a
aplicaciones de control de cl�steres)
Alta disponibilidadAlmacenamiento compartido – BeeGFS HA utilsBuddy MirroringAlta disponibilidad del Management Service
HPC Admintech | 9 de Mayo 2018 | Alexander Eekhoff
Alta disponibilidad – Almacenamiento compartido Utilidades de BeeGFS: “HA utils”
Pacemaker Resource Management para controlar:
• Servicios de BeeGFS• IPs virtuales• Montaje de objetos de los servicios
Corosync para la comunicaci�n entre los nodos
STONITH para la protecci�n de datos
Metadata Storage
Metadata Storage
Management Metadata Storage
server1
RAID RAID RAID RAID
server2
Metadata Storage
server3 server4
client
HPC Admintech | 9 de Mayo 2018 | Alexander Eekhoff
Alta disponibilidad - Buddy Mirroring Replicaci�n de
datos entre objetos Control por
directorio Independiente para
almacenamiento y metadatos
Los espejos pueden estar colocados en racks o zonas diferentes
Replicaci�n de datos entre objetos
Control por directorio
Independiente para almacenamiento y metadatos
Los espejos pueden estar colocados en racks o zonas diferentes
HPC Admintech | 9 de Mayo 2018 | Alexander Eekhoff
Alta disponibilidad del Management Service Uso de almacenamiento compartido por red y “HA utils”
Volumen DRBD para el objeto de management• Los requisitos del hardware son m�nimos
HA utils controlan:• Pacemaker• Corosync• STONITH
server01 server03 server04 server05
client01server02
DRDB
DRDB
HPC Admintech | 9 de Mayo 2018 | Alexander Eekhoff
Almacenamiento + computaci�n:Configuraci�n convergente
Nodos de computaci�n
sirviendo para el almacenamiento
Nodos de computaci�n
sirviendo para el almacenamiento
HPC Admintech | 9 de Mayo 2018 | Alexander Eekhoff
BeeOND: BeeGFS On Demand Crear un sistema de archivos paralelo instant�neo
Iniciar/Destruir con un solo comando Crear BeeOND en SSDs al iniciar una tarea
Integraci�n en Slurm prolog/epilog script
HPC Admintech | 9 de Mayo 2018 | Alexander Eekhoff
BeeGFS v7: Storage Pools
BeeGFS v7: Grupos de
almacenamiento combinan las ventajas de diferentes tipos de dispositivos
Log de eventos de modificaci�n
Estad�sticas en base de datos
BeeGFS v7: Grupos de
almacenamiento combinan las ventajas de diferentes tipos de dispositivos
Log de eventos de modificaci�n
Estad�sticas en base de datos
HPC Admintech | 9 de Mayo 2018 | Alexander Eekhoff
Aspectos claves
MÄximorendimiento
Altaflexibilidad
Robusto & fÄcilde utilizar
HPC Admintech | 9 de Mayo 2018 | Alexander Eekhoff
Aspectos claves Alto rendimiento
Desde el principio optimizado para cargas de trabajo que requieren un rendimiento alto Dise�o liviano y con uso efectivo de multihilo Soporta RDMA/RoCE y TCP (Infiniband, Omni-Path, 100/40/10/1GbE, …) Contenidos de archivos distribuidos & metadatos distribuidos El rendimiento de m�ltiples servidores se acumula La escalabilidad permite hasta millones de operaciones de metadatos
por segundo Alto rendimiento ya con un solo flujo
• 9GB/s single-stream throughput with Mellanox EDR(Few file streams completely saturate a 100GBit link.)
HPC Admintech | 9 de Mayo 2018 | Alexander Eekhoff
Aspectos claves Flexibilidad
Compatible con arquitecturas diferentes: Sin demandas especiales al hardware Paquetes para ciertas distribuciones y kernels: En una sola m�quina todos los servicios pueden
correr al mismo tiempo Re-exportaci�n con NFS & Samba Striping de datos es definido por archivo / por directorio Agregar servidores o dispositivos de almacenamiento
sin tiempo de indisponibilidad Instalaci�n & actualizaciones sin reboot
Sunway
HPC Admintech | 9 de Mayo 2018 | Alexander Eekhoff
Aspectos claves Robusto y f�cil de utilizar
Auto pruebas intensas m�s la utilizaci�n interna en el s�stema HPC de Fraunhofer• El cambio de un sistema de 256 nodos a uno de 1000 nodo funciona sin dificultades,
igual como un cambio a un sistema de 2000 nodos
Aplicaciones acceden BeeGFS como punto de montaje normal Servidores usan los sistemas de archivos est�ndar (ext4, XFS, ZFS, …) No se necesitan parches del kernel
• Actualizaciones de paquetes, kernel y de BeeGFS es una tarea trivial
Herramientas gr�ficas Documentaci�n comprensible (online, built-in)
HPC Admintech | 9 de Mayo 2018 | Alexander Eekhoff
Escalabilidad de throughput
6000
7000
8000
9000
10000
11000
12000
13000
14000
24 48 96 192 384 768
MB/
s
NUMBER OF PROCESSES
Strided unaligned shared file writes,20 servers, up to 768 application processes
0
5000
10000
15000
20000
25000
30000
0 5 10 15 20 25
MB/
s
NUMBER OF STORAGE SERVERS
Sequential read/writeup to 20 servers, 160 application processes
Write Read
Note: Absolute numbers in these cases depend on per-server hardware performance, of course.
HPC Admintech | 9 de Mayo 2018 | Alexander Eekhoff
539724
0
100000
200000
300000
400000
500000
600000
1 2 4 6 8 10 12 14 16 18 20
CREA
TE/S
EC
# MDS
File creation scalability with increasing number of metadata servers
Create
Escalabilidad de metadatos
1381339
0
200000
400000
600000
800000
1000000
1200000
1400000
1 2 4 6 8 10 12 14 16 18 20
STAT
/SEC
# MDS
File stat (attribute query) scalability with increasing number of metadata servers
Stat
Note: Absolute numbers in these cases depend on per-server hardware performance, of course.
Conclusi�n
HPC Admintech | 9 de Mayo 2018 | Alexander Eekhoff
Conclusi�n Sistema de archivos robusto y f�cil de usar
Rendimiento excelente por la capacidad de escalar sin l�mites
Soluciones de alta disponibilidad flexibles y robustos Shared storage Buddy mirror group
Maximum Performance &
Scalability
HighFlexibility
Robust &Easy to use
HPC Admintech | 9 de Mayo 2018 | Alexander Eekhoff
Muchas Gracias - �Preguntas? Web
Newsletter