Servicios de Storage de AWS

© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Servicios de Storage en AWS

Damián Traverso, AWS Solutions Architect

traverso@amazon.com

Mayo 2016 | Santiago de Chile

En el mundo …

… constantemente generamos más datos

En AWS …

… constantemente innovamos

Opciones de Almacenamiento

Opciones de almacenamiento en AWS

Amazon

EFS

Amazon

EBS

Amazon EC2

Instance

storage

Amazon

S3Amazon

Glacier

AWS

Storage

Gateway

Archivos Bloques Objetos Híbrido

Integración con otros servicios

Amazon EC2

Amazon VPC

Amazon

CloudFront

AWS CloudTrail

Amazon

CloudWatch

alarms AWS Trusted

Advisor

AWS

IAM

AWS LambdaAmazon Redshift

Amazon

EMR

Amazon

Kinesis

Amazon SQS

AWS

CloudFormationAmazon SNS

Cumplimiento con certificaciones importantes

Acelera el acceso a tu información

AWS Import\Export Snowball

• Accelerate PBs with AWS

provided appliances

AWS Storage Gateway

• Up to 120 MB/s Cloud upload rate

(4x improvement)

• 10 Gbps Networking for VMware

Amazon Kinesis Firehose

• Ingest data streams directly into

AWS data stores (S3, Redshift)

AWS Direct Connect2015

20152015

Amazon S3Simple Storage Service

Demanda de uso

2012 2013 2014 2015

102% de crecimiento por año en

transferencia de/hacia S3

99.999999999%durability

Buen intento!

S3 Buckets / Objetos

S3 Sitio Web : Contenido estático

Paga solo por lo que uses

1 PB espacio crudo

800 TB espacio usable

600 TB espacio asignado

400 TB datos de la aplicación

Amazon S3

Reducción continua de precios

8 reducciones de precio desde su lanzamiento

Amazon S3Nuevas características

S3-IA (Infrequent Access)

11 9’s de durabilidad Diseñado para

99.9% disponibilidad

Durabilidad Disponibilidad

Mismo desempeño que

S3 Standard

Desempeño

• Encripción en el servidor

• Usa tus llaves de encripción

• Llaves administradas desde KMS

Seguro

• Reglas de transición

• Control de versiones

• Notificación de eventos

• Métricas

Integración

• Misma experiencia de

usuario

• REST API simple

Fácil de usar

Notificaciones por Eventos

Notificaciones a Amazon SNS, Amazon SQS, AWS

Lambda cuando un evento ocurre en S3

Events

SNS topic

SQS queue

Lambda

function

Control de versiones

• Mantén, recupera y restaura cada versión de

cada objecto almacenado en tus buckets

• S3 automáticamente agrega nuevas versiones

y matiene los objetos borrados with

marcadores

• Controla fácilmente el número de versiones a

guardar usando políticas de expiración

• Fácil configuración desde la consola

Replicación entre regiones

Replicación asíncrona de datos automatizada, rápida y

confiable entre regiones

• Replicación de nuevas peticiones

PUT únicamente

• Replicación 1:1 entre 2 regiones

• Versioning requerido

Amazon GlacierServicio de archivado

$0.007Por GB / al mes

Última actualización: Marzo 2016

Región: US East

$84Por TB / al año

Última actualización: Marzo 2016

Región: US East

99.999999999 %Durabilidad

3 – 5 horasRecuperación de datos

Beneficios

• Bajos costos para archivado a largo plazo

• Capacidad de almacenamiento ilimitada

• Mejora la durabilidad

• Sustitución de Cintas

Integración S3 - Glacier

→

Archivamientode largoplazo

Amazon S3

S3 In-frequent Access

Amazon Glacier

Life

Cyc

le P

olic

ies

InfrecuentementeAccedido(Near-line)

FrecuentementeAccedido

Todas las capasson accesibles desdeuna única API

El contenido mas antiguo se mueve a Glacier para reducircostosautomaticamente

Políticas de Ciclo de Vida (Lifecycle Policies)

S3 Standard

• Datos primarios

• 99,999999999% de

durabilidad

• 2.75c – 3c por

GB/mes,

$338 - $369 por

TB/año

Glacier

• Archivados frios

• 99,999999999% de

durabilidad

• WORM-compliant

• 0.7c por GB/mes, $86

por TB/año

Data tiering usando Políticas de Ciclo de Vida

Ciclo de Vida de los Objetos

S3 – Infrequent Access

• Archivados activos

• 99,999999999% de

durabilidad

• 1,25c por GB/mes,

$154 por TB/año

• 1c por GB/recuperado

Ejemplo de una Lifecycle Policy

→<LifecycleConfiguration><Rule>

<ID>archive-in-30-days</ID><Prefix>logs/</Prefix><Status>Enabled</Status><Transition>

<Days>30</Days><StorageClass>GLACIER</StorageClass>

</Transition><Expiration>

<Days>365</Days></Expiration>

</Rule></LifecycleConfiguration

Amazon GlacierNuevas características

Glacier – Vault Lock

• Almacenamiento para cumplimiento de normas

• No permite sobre escritura, registro no borrables

• Retención por tiempo <ArchiveAgeInDays>

• Bloqueo de política

• Retención basada en etiquetas

Ejemplo: Retención por tiempo

{

"Version" : "2012-10-17",

"Statement" : [

{

"Effect" : "Deny",

"Principal" : {

"AWS" : "*"

},

"Action" : "glacier:DeleteArchive",

"Resource" : "arn:aws:glacier:us-east-1:XXXXXXXXX:vaults/BusinessCritical",

"Condition" : {

"NumericLessThanEquals" : {

"glacier:ArchiveAgeInDays" : 365

}

}

}

]

}

Política

Ejemplo: Retención por etiqueta

{

"Version" : "2012-10-17",

"Statement" : [

{

"Effect" : "Deny",

"Principal" : {

"AWS" : "*"

},

"Action" : "glacier:DeleteArchive",

"Resource" : "arn:aws:glacier:us-east-1:XXXXXXXXX:vaults/BusinessCritical",

"Condition" : {

"StringEquals" : {

"glacier:ResourceTag/LegalHold" : "True"

}

}

}

]

}

Política

Amazon EBSAlmacenamiento de Bloques

Almacenamiento persistente

• Almacenamiento de bloque

persistente

• Volúmen replicado dentro

de las AZ’s para protección

contra fallas

• Escalamiento vertical hacia

arriba y hacia abajo

Reasigne el volúmen a otra instancia

Agrupe múltiples volúmenes

Baja latencia, alto desempeño

General Purpose (SSD)

Hasta 16 TB

10,000 IOPS

Hasta 160 Mbps

Provisioned IOPS (SSD)

Hasta 16 TB

20,000 IOPS

Hasta 320 Mbps

Variedad para cualquier tipo de cargaSolid State Drives (SSD) Hard Disk Drives (HDD)

----------------------------------------------------------------- Generation Actual ------------------------------------------------------------------- ----- Gen. Prévia ----

Tipo de VolúmenProvisioned IOPS SSD

(io1)

General Purpose SSD

(gp2)

Throughput Optimized

HDD (st1)

Cold HDD

(sc1)

Magnetic

Caso de uso

I/O-intensivo: NoSQL

and bases de datos

relacionales

Volúmenes boot,

Apps de baja

latencia, DBs

pequeñas a medianas

Big data, DW,

procesamiento de

logs

Almacemaniento

secundario: logs,

archivado, backups

Datos accedidos con

baja frecuencia

Tamaño por

Volúmen4 GB - 16 TB 1 GB - 16 TB 500 GB - 16 TB 500 GB - 16 TB Up to 1TB

Max IOPS*/

Volúmen20,000 10,000 500 250 40 - 200

Max Throughput/

Volúmen320 MB/s 160 MB/s 500 MB/s 250 MB/s 40 - 90MBps

Max Throughput

/instancia800 MB/s 800 MB/s 800 MB/s 800 MB/s 800MBps

Precio**

$0.125/GB-mes

$0.065/provisioned

IOPS

$0.10/GB-month $0.045/GB-month $0.025/GB-month$.05/GB - Month

$.05/million I/O

Nuevos!

EBS Volumes available in all regions

* io1/gp2 based on 16K I/O size, st1/sc1 based on 1 MB I/O size

** Pricing is for US East-1 as of 4/19/2016, for the latest see Amazon EBS Pricing

Amazon EBSSnapshots

EBS Snapshots

• Regresa a una versión

anterior

• Almacenados en S3

• Útiles para protección

contra fallas, restauración

en otra region,

redimensionamiento de

volúmenes actuales

AWS Storage Gateway

Qué es AWS Storage Gateway ?

Trabaja con aplicaciones existentes usando iSCSI

Seguro, gran durabilidad

Baja latencia para datos frecuentes

Escalable y de bajo costo

VM hospedada on-premises que entrega

almacenamiento de nube de manera transparente

Configuraciones

iSCSI

Bloque

Gateway-stored volumesBaja latencia para todos tus datos con respaldos

en AWS

Sustitución de librerías físicas con AWS para

respaldos y archivado

Gateway-cached volumes

Gateway-virtual tape library (VTL)

Baja latencia para los datos usados

frecuentemente con toda la información en

almacenada en AWS

iSCSI

VTL

Gateway-stored Volumes (GW-Stored)

• Datos primarios almacenados on-prem

• Respaldo asíncrono hacia AWS

• Respaldos almacenados como EBS Snapshots

Gateway-cached Volumes (GW-Cached)

• Datos primarios almacenados en AWS

• Datos accesados frecuentemente almacenados on-prem

• Respaldos almacenados como EBS Snapshots

Gateway-Virtual Tape Library (GW-VTL)

• Cintas virtuales almacenadas en AWS

• Datos accesados frecuentemente “cacheados” on-prem

• Cintas ilimitadas en VTS (Virtual Tape Shelf)

Amazon EFSElastic File System

Qué es EFS ?

• FS administrado para instancias

• Escalabilidad hasta 1PB

• Desempeño para diferentes cargas

• Altamente disponible y durable

simple elastic scalable

1 2 3

Diseñado para diferentes casos de uso

• Repositorio de contenido

• Ambientes de desarrollo

• Directorios de usuario

• Big Data

Cómo funciona ?

• Para accesar a FS dentro

de la VPC, se crean “Mount

Targets”

• Un “Mount Target” es un

punto de acceso NFSv4

dentro de la VPC

• Un “Mount Target” consiste

de un nombre de DNS

AVAILABILITY ZONE 1

REGION

AVAILABILITY ZONE 2

AVAILABILITY ZONE 3

VPC

EC2EC2

EC2

EC2

Mount

target

Cómo funciona ?

AVAILABILITY ZONE 1

REGION

AVAILABILITY ZONE 2

AVAILABILITY ZONE 3

VPC

EC2EC2

EC2

EC2

Customer’s file

system

EFS es simple

• Totalmente administrado

• Sin necesidad de

administrar hardware ni

red

• Integración transparente

con herramientas y

aplicaciones

• NFSv4

• Funciona con APIs de

archivos de Sistemas

Operativos estándares

EFS es elástico

• Los File Systems crecen y

decrecen automáticamente

conforme se agregan o

remueven archivos

• No es necesario asignar

espacio

• Costo por uso, sin cuota

mínima inicial

EFS es escalable

• Pueden crecer hasta 1 PB

• Rendimiento y IOPS

escalan automáticamente

conforme crece el FS

• Latencia baja, consistente,

sin importar el tamaño del

FS

• Soporta miles de

conexiones NFS

concurrentes

EFS es altamente disponible y durable

• Cada objeto del

FS (directorio,

archivo, link) es

almacenado

redundantemente

en múltiples AZ’s

dentro de la

región

AVAILABILITY

ZONE 1

REGION

AVAILABILITY

ZONE 2

AVAILABILITY

ZONE 3

Amazon

EFS

EFS es consistente

• Las instancias se pueden conectar al FS desde cualquier AZ de la región

• Todas las lecturas y escrituras son consistentes en todas las AZ’s (Ej. una lectura en una AZ garantiza que tendrá la información más reciente, aún si los datos son escritos en otra AZ

AVAILABILITY

ZONE 1

REGIONVPC

EC2EC2

EC2

AVAILABILITY

ZONE 2

AVAILABILITY

ZONE 3

EC2

Write

Read

Tres opciones de administración

AWS

Console

AWS

CLI

AWS

SDK

Resumen: Portafolio de Almacenamiento en AWS

S3

EFS

Glacier

Storage

Gateway

EBS

• Almacenamiento de Objetos: datos representados por buckets/objects

• Acceso usando APIs sobre internet

• Almacenamiento de archivado: datos representados por vaults/archives

• Almacenamiento de bajo costo, acceso usando APIs sobre internet

• Almacenamiento de bloque (tipo SAN): datos representados como volúmenes

• Baja latencia de acceso desde las instancias EC2

• Almacenamiento de archivo (tipo NAS): datos representados como file system

• Baja latencia de acceso compartido entre múltiples instancias EC2

• Almacenamiento de respaldos y archivado en S3 y Glacier

Muchas Graciastraverso@amazon.com