Carbura tusql sesion3_slideshare

• Ingeniero de Diseño & Automatización Electrónica• Especialista en Gerencia y Tecnologías de Información• MCT-MCSA-MCITP-MCTS en SQL SERVER• Synergy TPC SAS como consultor especializado en

bases de datos SQL Server

Julián

Castiblanco

Andrés

Useche

• Ingeniero de Sistemas• Especialista en Teleinformática• MCP SQL SERVER 2012• Terpel como ingeniero de infraestructura IT - DBA

Agenda General

DevOptimización de consultas

AdminOptimización de

Servidores

SSISOptimización de paquetes ETLs

https://www.microsoft.com/learning/en-us/mcsa-sql-certification.aspx

http://www.microsoftvirtualacademy.com/colleges/mcsa-sql

Para pasar el examen….

http://www.amazon.com/Training-Kit-Exam-70-461-Microsoft/dp/0735666059/ref=sr_1_1?ie=UTF8&qid=1406662496&sr=8-1&keywords=70-461

http://www.amazon.com/Training-Kit-Exam-70-462-Administering/dp/0735666075/ref=sr_1_1?ie=UTF8&qid=1406662577&sr=8-1&keywords=70-462

http://www.amazon.com/Training-Kit-Exam-70-463-Implementing/dp/0735666091/ref=sr_1_1?ie=UTF8&qid=1406662601&sr=8-1&keywords=70-463

Trabajo si hay!!!!

Agenda

• Introducción a SSIS en Azure

• SQL Server Data Tools

• SSIS Catalog

• Data Profiler

En el principio la vida era simple…

pero…

Nuestra informaciónnecesitaba…

Seguir creciendo. (The Spider web)

SOURCE: William H. Inmon

Cuadro comparativo de Bases de datos

Bodegas de datos Sistemas transaccionales

Orientadas a objetivo Orientada a transacciones

Grandes (cientos de GB a varios TB) Medianas (MB a varios GB)

Información histórica Datos actuales

Estructura no normalizada (pocastablas, muchas columnas por tabla)

Estructura normalizada

Actualización en batch Actualización por transacción

Usualmente consultas complejas Consultas simples y complejas

Diferencias en diseño

Star Schema

Bodegas de datosSistemas transaccionales

ER Diagram

Data Warehouses, Data Marts, and Operational Data Stores

• Data Warehouse – base de consulta de la organización. Compuesta de la unión de varios data marts.

• Data Mart – subconjunto lógico de la bodega. Ofrecevistas de ciertos procesos de negocio (finanzas, crédito, productividad) o de varios procesos que le interesan a un grupo de la compañía.

• Almacén de datos operacional (ODS) – bases de datosque soportan el negocio a nivel transaccional. (reservas, inventarios, mantenimientos en aerolineas).

SOURCE: Ralph Kimball

Construyendo una bodega

• analisis

• diseño

• Importar información

• Instalar herramientas de exploración

• Probar y desplegar

Ciclo de vida de las bodegas de datos

Analisis

• Identificar:• Preguntas claves

• Necesidades de información

• Línea de tiempo

• granularidad

• Crear un diccionario de datos

• Analisis dimensional• Identificar tablas de hechos y dimensiones

diseño

• Modelo estrella, bola de nieve

• Transformación de datos

• agrupaciones

• Valores precalculados

• Arquitectura de

HW/SW

Dimensional Modeling

Modelamiento dimensional

• Tabla de hechos– tabla principal del modelocontiene las medidas que interesan al negocio.

• Dimensiones– es un conjunto de tablas que da sentido a la tabla de hechos. La mayoria contieneatributos de texto que definen el dominio que fuemedido en la tabla de hechos.

SOURCE: Ralph Kimball

Importación de datos

• Identificar orígen de datos

• Extraer información de sistemas operacionales a tablasde staging

• Transformar y limpiar datos• Resolver conflictos de tipos de

dats• Resolver problemas de nombres

y llaves• Remover, corregir o alertar

información sucia• Crear dimensiones

• Cargar información en la bodega de datos

Importar datos

OLTP 1

OLTP 2

OLTP 3

Data Staging Area Data

Warehouse

Operational Systems

(source systems)

Importar datos 2

• Ejemplo de carga de e-commerce

• Multiples filtors (usando “joins” de información), grabando registroserrados,antes de agrupar y guardar.

Invoice

line items

Split

Date-

time

Filter

invalidJoin

Filter

invalid

Invalid

dates/times

Invalid

items

Item

records

Filter

non -

match

Invalid

customers

Group by

customer

Customer

balance

Customer

records

Herramientas de Usuarios

• Reporting Services

• Excel

• Herramientas de mineria

• GIS

• Etc.

Pruebas y despliegue

• Pruebas de uso

• Instalación de software

• Entrenamiento a usuarios

• Ejecución de pruebas de carga

Pruebas y despliegue

SQL Server 2012 BI Platform

Data acquisition from source systems and integration

Data transformation and synthesis

Data enrichment, with business logic, hierarchical views

Data discovery via data mining

Data presentation and distribution

Data access for the masses

Integrate Analyze Report

MS SQL Server

Integration

Services 2012

MS SQL Server

Analysis

Services 2012

MS SQL Server

Reporting

Services 2012

SQL SERVER DATA TOOLS

CONTROL FLOW

• Ejemplos de los procesos que pueden realizarse:

• File System and FTP access• External Processes• SQL Server Administration operations• Operating system inspection• Send Mail• SQL Server Analysis Services Processing• Data profiling • Data mining queries

CONNECTION MANAGERS

• Los administradores de conexión son utilizados por los flujo de datos, que extraen y cargan datos endiferentes tipos de almacenes de datos, y por los proveedores de registro que escriben registros en unservidor, tabla o archivo de SQL Server.

Tipo Descripción

ADO Se conecta a los objetos de Objetos de datos ActiveX (ADO).

ADO.NET Se conecta a un origen de datos mediante un proveedor .NET.

DQS Conecta a un servidor de Data Quality Services y una base de datos de Data Quality Services en el servidor.

EXCEL Se conecta a un archivo de libro de Excel.

FILE Se conecta a un archivo o carpeta.

FLATFILE Se conecta a los datos en un solo archivo plano.

FTP Se conecta a un servidor FTP.

HTTP Se conecta a un servidor web.

OLEDB Se conecta a un origen de datos mediante un proveedor OLE DB.

ODBC Se conecta a un origen de datos mediante ODBC.

SMTP Se conecta a un servidor de correo SMTP.

CONTROL FLOW TASKS AND CONTAINERS

• El flujo de control define las operaciones y las relaciones entre ellas, estableciendo el orden y lascondiciones de su ejecución. Las operaciones de un flujo de control están representados por lastareas de control de flujo.

Planning a Complex Data Movement

• Algunos datos requieren transformaciones especiales, SSIS soportaalgunas como:

Data Flow Tasks Database Tasks File and Internet Tasks

• Data Flow • Data Profiling• Bulk Insert• Execute SQL• Execute T-SQL• CDC Control

• File System• FTP• XML• Web Service• Send Mail

ProcessExecution Tasks WMI Tasks Custom Logic Tasks

• Execute Package• Execute Process

• WMI Data Reader• WMI Event Watcher

• Script• Custom Tasks

DatabaseTransfer Tasks

AnalysisServices Tasks SQL Server Maintenance Tasks

• Transfer Database• Transfer Error Messages• Transfer Jobs• Transfer Logins• Transfer Master Stored Procedures• Transfer SQL Server Objects

• Analysis Services Execute DDL• Analysis Services Processing• Data Mining Query

• Back Up Database• Check Database Integrity• History Cleanup• Maintenance Cleanup• Notify Operator• Rebuild Index• Reorganize Index• Shrink Database• Update Statistics

Tareas de Script

• Modelos de programación como Visual C# 2010 o Visual Basic 2010

RESTRICCIONES DE PRECEDENCIA

• Las tareas que deben ser ejecutadas de forma secuencial, deben conectarse conuna o más restricciones de precedencia.

Precedence Constraints

• Three control flow conditions• Success

• Failure

• Completion

• Multiple constraints• Logical AND

• Logical OR

Task 1

Task 2

Task 3 Task 4

Task 5

Task 10

Task 6

Task 7

Success (AND)

Failure (AND)

Completion (AND)

Success (OR)

Failure (OR)

Completion (OR)

Task 9 Task 8

DEMOSTRACIÓN

• Correo: Juliancastiblancop@gmail.com• Skype: Julian.castiblancop• Correo corporativo: jcastiblanco@synergytpc.com• Blog y Sitio de comunidad: http://azurecloud.la/

http://julycastiblanco.blogspot.com

Julián

Castiblanco

Gracias !!!