Monetización y gobierno de datosfiles.meetup.com/20282103/Monetizacion y gobierno de datos.pdf•...

31/10/2016

1

Census Ciencia y Gobierno de Datos

Monetización y gobierno de datos

Ing. María del Rosario Bruera

charobruera@census.com.ar

Census Ciencia y Gobierno de Datos

• Los datos son un activo de la compañía. Esto supone que tienen un valor patrimonial asociado que debe cuantificarse

• El valor de los datos depende del beneficio que se obtiene al utilizarlos para la toma de decisiones

• Monetización de datos es el proceso que permite a las organizaciones agregar valor de sus activos de información para:

– Productivizarlos y venderlos a otras organizaciones generando un beneficio económico directo

– Integrarlos en sus productos para crear productos más “inteligentes” y mejorar la eficiencia de los procesos

– Descubrir patrones de comportamiento de sus clientes para optimizar su relacionamiento y mejorar el retorno de la inversión en marketing

Ideas fundamentales

31/10/2016

2

Census Ciencia y Gobierno de Datos

Porqué monetizar los activos de datos?

• Beneficios directos

• Mejora de procesos

• Atracción de inversores

• CRM y experiencia de

usuario

• Diferenciación con la

competencia

• Calidad de servicio

• Diseño de productos

• etc

Census Ciencia y Gobierno de Datos

Proceso de monetización de datos

Identificar Gestionar Aplicar

Cuáles son las

fuentes de datos

disponibles

Que hacemos para

agregarles valor ?

Cómo obtenemos un

beneficio económico?

Cadena de valor

31/10/2016

3

Census Ciencia y Gobierno de Datos

Factores que influyen en

el valor de los datos

Factores

Objetivos • Integridad • Completitud • Validez • Precisión • Obsolescencia • Disponibilidad

•……..

Factores

Subjetivos • Relevancia • Utilidad • Credibilidad • Claridad •…….

Descubrir Mejorar

La clave del éxito:

• Gobierno de datos. • Uso eficiente de la tecnología y los RRHH. • Capacitación y transformación cultural.

Census Ciencia y Gobierno de Datos

Porqué gobernar los datos?

• Gobierno de Datos es el desarrollo y aplicación de un conjunto de

reglas, políticas, procesos y estándares para manejar los datos

corporativos considerados como activos estratégicos de la

compañía.

• Se implanta a partir de un equipo de gestión (integrado por

profesionales de Tecnología y de las áreas de Negocio) unificados

en una única misión que es asegurar que los datos corporativos

alcanzan los objetivos:

– De regulación y uso autorizado

– De estandarización y documentación

– De calidad y valor potencial

31/10/2016

4

Census Ciencia y Gobierno de Datos

Niveles de madurez en el

Gobierno de los Datos

Census Ciencia y Gobierno de Datos

METADATA CALIDAD

DE DATOS

SOPORTE

LEGAL ORGANIZACION

PROCESOS CICLO DE

VIDA DEL

DATO

INTEGRACION

Y MDM

Disciplinas que integra

el Gobierno de Datos

31/10/2016

5

Census Ciencia y Gobierno de Datos

Metadata

• Metadata es la información que describe o provee contexto a los

datos sobre su contenido, significado, procesos de negocio en los

que intervienen , servicios, reglas de negocio y políticas que

soportan los sistemas de información de la compañía.

• Existen 3 tipos de Metadata:

– Técnica : nombre de la fuente de datos, nombre de las tablas,

columnas, tipo de dato, etc

– Negocio : contexto que contiene al dato, glosario de nombres,

definiciones, responsables, referencias de origenes del dato, etc

– Operativa : información sobre el uso del dato, fecha y proceso de

actualización, cantidad de accesos, última fecha de acceso, etc.

Census Ciencia y Gobierno de Datos

Ejemplo de tareas de gobierno de Metadata

• Construcción del glosario de términos de negocio que aplican a todos los elementos de datos que intervienen en el proceso

• Construcción del repositorio de información sobre los datos que contiene (para cada elemento de datos del sistema de información): – Origen del dato

– Proceso de captura

– Sensibilidad de su contenido

– Descripción semántica

– Contexto legal de uso del dato

– Procesos en los que interviene

• Definición de las políticas y procesos de actualización y publicación de la metadata

31/10/2016

6

Census Ciencia y Gobierno de Datos

Soporte Legal : Algunas normas

• Dato sensible : datos personales que revelan origen racial y étnico, opiniones

políticas, convicciones religiosas, filosóficas o morales, afiliación sindical e

información referente a la salud o a la vida sexual (Ley 25.326 Art 2).

• Los datos total o parcialmente inexactos, o que sean incompletos, deben ser

suprimidos y sustituidos, o en su caso completados, por el responsable del archivo

o base de datos cuando se tenga conocimiento de la inexactitud o carácter

incompleto de la información de que se trate, sin perjuicio de los derechos del

titular establecidos en el artículo 16 de la presente ley. (Ley 25.326 Art 4.)

• Los datos sensibles sólo pueden ser recolectados y objeto de tratamiento cuando

medien razones de interés general autorizadas por ley. También podrán ser

tratados con finalidades estadísticas o científicas cuando no puedan ser

identificados sus titulares (Ley 25.326 Art 7).

Census Ciencia y Gobierno de Datos

Tareas de Soporte Legal

• Registración de las bases de datos en la DNPDP

• Identificación datos sensibles y definición de

criterios de privacidad

• Definición de las políticas de tratamiento para los

datos sensibles

• Definición de las políticas de acceso y seguridad de

los datos sensibles y no sensibles

31/10/2016

7

Census Ciencia y Gobierno de Datos

Gestión de Datos Maestros (MDM)

• MDM refiere a las copias sincronizadas de las entidades

utilizadas en aplicaciones transaccionales o analíticas de la

organización sujetas a las políticas de gobierno.

Tradicionalmente incluye a las principales entidades (data

sets) como clientes, productos, empleados, proveedores,

etc pero puede extenderse a otras entidades críticas que

no están en esta enumeración.

Census Ciencia y Gobierno de Datos

Datos Maestros

31/10/2016

8

Census Ciencia y Gobierno de Datos

Tareas de gobierno asociadas a

Master Data Management

• Reglas de negocio para la resolución de la

identidad

• Políticas de aceptación de los niveles de calidad de

los datos previas a la integración

• Procesos de consolidación e integración de fuentes

de datos para lograr una visión única de las

entidades referenciales (Visión 360)

• Procesos de notificación y corrección de problemas

de calidad de integración

Census Ciencia y Gobierno de Datos

Mejoras en los procesos para

sostener el Gobierno de Datos

• Proceso de monitoreo de avance del programa de Gobierno

• Proceso de escalamiento , resolución de incidentes y definición de prioridades

• Definición de las políticas de uso de los datos

• Acuerdos de reciprocidad para la administración de los datos

• Modelo de negocio de monetización de los activos de datos

31/10/2016

9

Census Ciencia y Gobierno de Datos

La calidad de los datos

Census Ciencia y Gobierno de Datos

Una definición

• Los datos tienen CALIDAD cuando satisfacen los

REQUERIMIENTOS de los CONSUMIDORES DE DATOS

(DATA CONSUMERS)

• Existe un problema de calidad de datos cuando se identifica

cualquier dificultad que invalida el uso del dato por parte del

consumidor

• Un programa de aseguramiento de la calidad es una

combinación EXPLICITA de procesos, metodologías y

actividades que existen con el propósito de sostener altos

niveles de calidad en los datos

31/10/2016

10

Census Ciencia y Gobierno de Datos

Métricas

• Para poder mejorar la calidad de los datos es necesario medirla

• Las dimensiones de la calidad de los datos se utilizan para definir,

medir y gestionar esta calidad

• No existe un standard de la industria que defina unívocamente estas

dimensiones

• Cada usuario utiliza las dimensiones que más aplican a su contexto

de negocio.

Census Ciencia y Gobierno de Datos

Tenemos todos los datos necesarios?

Están completas las relaciones entre entidades

y atributos?

Los datos representan correctamente al mundo

real?

Son los datos consistentes en todos los sistemas y sub sistemas?

Los contenidos almacenados cumplen los criterios de dominios

definidos?

Los datos estàn disponibles cuando se necesita? Cuàl es su

obsolescencia?

Métricas usuales

31/10/2016

11

Census Ciencia y Gobierno de Datos

Validez

Una medida de la concordancia del contenido del

dato con la realidad (lo cual requiere una fuente de

referencia externa accesible para su verificación)

Census Ciencia y Gobierno de Datos

Cobertura

Medida de la cantidad de datos disponibles

comparada con el total del universo o población

31/10/2016

12

Census Ciencia y Gobierno de Datos

Degradadación / Obsolescencia

Medida de los cambios NEGATIVOS que sufren los

datos a través del tiempo

Census Ciencia y Gobierno de Datos

Dificultad de medición y mejora

Completitud

Exactitud

Integridad

Consistencia

Disponibilidad

Validez

Valor de Negocio

Dificultad de mediciòn

y mejora

31/10/2016

13

Census Ciencia y Gobierno de Datos

Data Profiling

Data Profiling es el proceso de EXAMINAR los datos disponibles en una fuente de datos existentes y recolectar ESTADISTICAS e INFORMACIÓN sobre estos datos.

Se puede realizar con software específico o con sentencias SQL.

El resultado de la tarea permite calcular las métricas de calidad que aplican en cada conjunto de datos

Census Ciencia y Gobierno de Datos Data Profiling

Column profiling: analiza las columnas para todos los registros. Determina: Valores, frecuencias, tipo de datos, rangos, mínimos y máximos, patrones, reglas de unicidad

Permite : Descubrir problemas de contenido Validar si los datos conforman las expectativas Comparar el status actual con el deseado

Table Profiling Interno: analiza las relaciones entre las columnas de las tablas Verifica las claves primarias

Permite : Descubrir problemas de estructura, dependencias funcionales, problemas con las claves Verificar las expectativas de uso respecto de las dependencias de la tabla

31/10/2016

14

Census Ciencia y Gobierno de Datos

Data Profiling

Table profiling Externo:Compara los datos ENTRE tablas para descubrir duplicaciones y redundancia Compara datos provenientes de diferentes fuentes Verifica la consistencia de las claves secundarias

Permite : Descubrir datos duplicados, sinónimos y valores que corrompen la integridad de los datos Construye una estructura en 3era NF eliminando redundancias. Este modelo luego puede utilizarse como base para otros almacenamientos

Census Ciencia y Gobierno de Datos

Ejemplo Data Profiling

IBM Information Governance

Solutions, April 2014

31/10/2016

15

Census Ciencia y Gobierno de Datos

Definición de métricas de DQ

Documento de Uso Reservado 29

Recolectar input: 1. Incidentes de calidad de

datos 2. Inconsistencias de

sistemas de BI 3. Requerimientos

especiales de proyectos 4. KPIs de negocio

Data profiling para identificar los problemas comunes

Medidas candidatas:

k1 k2 k3 k4 k5

k6 ….

KPI Concepto Definiciòn funcional

Frecuencia Objetivo

k1

k23

Selecciòn final de KPI significativos

1 2 3

4

Census Ciencia y Gobierno de Datos

El Data Quality Mart

30

Extracciòn DQ

Profiling

Integración DQ

Profiling

Delivery

En

terp

rise

DW

Informes

Data

Steward

Err

ore

s

Proyecciones

Fix

es

Errores

DQmart

31/10/2016

16

Census Ciencia y Gobierno de Datos Tecnologías de soporte para

Gobierno de Datos

The Forrester Wave™: Data Governance

Tools, Q2 2014

Census Ciencia y Gobierno de Datos

Productos analizados

31/10/2016

17

Census Ciencia y Gobierno de Datos

Nuevos roles

• Data Governance Officer (DGO) : Es el responsable

de la gestión del programa de Gobierno de Datos

• Data Protection Officer (DPO) : Es el responsable

del cumplimiento de las regulaciones sobre el uso

de los datos y de la aplicación efectiva de las

políticas de seguridad

• Data Stewards : Son los responsables de manejar

el contenido de los datos.

Census Ciencia y Gobierno de Datos

Tareas del Data Steward

• Participar activamente en los procesos de identificación y adquisición de nuevas fuentes de datos

• Crear y mantener la metadata de negocio

• Publicar las novedades referidas a los datos de negocio y monitorear su correcta utilizaciòn

• Ejecutar las acciones de mejora de calidad de los datos

• Interpretar y analizar los informes de calidad de datos para identificar los problemas y dimensionar su impacto

• Trabajar activamente con IT en los proyectos de diseño de contenedores de datos y procesos de MDM

34

31/10/2016

18

Census Ciencia y Gobierno de Datos

¿Cómo empezar?

Start Up

6 meses

On going

6 meses PIR Diagnóstico

3 semanas

Plan de

proyecto

Start Up

1 semana

Census Ciencia y Gobierno de Datos

Data thinking : el método para la

“Ciencia de Datos”

Thinking with Data: How to Turn Information into

Insights by Max Shron

31/10/2016

19

Census Ciencia y Gobierno de Datos

La visión 360 del cliente

Opiniones y

encuestas

Identificación y

contactación

Perfil

sociodemográfico

Comportamiento

transaccional

Census Ciencia y Gobierno de Datos

CONTEXTO

DEMANDAS

VISION

RESULTADOS

Diseño caso de uso

V360 integrada y con

gobierno

Definición del

problema a resolver

31/10/2016

20

Census Ciencia y Gobierno de Datos

Conocimiento inicial

Contexto : Marco que engloba al asunto que estamos tratando (personas , organización, objetivos de negocio, etc)

Demandas: Problemas o desafíos que se benefician (resuelven) con el conocimiento obtenido de los datos

Visión : Imagen que tenemos de cómo será nuestro trabajo cuando tengamos el conocimiento que aportará el proyecto. Proyección de mejoras de performance.

Resultado : Definición operativa de cómo se utilizará el conocimiento y cómo se integrará a los procesos actuales de la organización.

Census Ciencia y Gobierno de Datos

Desafíos de factibilidad del caso de uso

Utilidad

Disponibilidad de Datos

Mercado

Escalabilidad Tecnológica

Etica y legal

Económica

31/10/2016

21

Census Ciencia y Gobierno de Datos

Desarrollo del caso

Idea factible

Evaluación Datos

Existentes

Gobierno de Datos

Modelado analítico

Aplicación de Datos

Monetizados

REFINAR LA IDEA

Census Ciencia y Gobierno de Datos

Espacio para preguntas

31/10/2016

22

Census Ciencia y Gobierno de Datos

Bibliografía

• Ladley John, Data Governance.How to Design, Deploy, and Sustain

an Effective Data Governance Program, Elsevier, USA, 2012

• IBM Information Governance Solutions. Ibm.com/redbooks

• Sebastian-Coleman, Laura, Measuring Data Quality for Ongoing

Improvement, Elsevier, USA, 2013

• The 12 Dimensions of Data Quality. Danette McGilvray, Granite Falls

Consulting, Inc.