Monetización y gobierno de datosfiles.meetup.com/20282103/Monetizacion y gobierno de datos.pdf• Para poder mejorar la calidad de los datos es necesario medirla • Las dimensiones

31/10/2016

1

Census Ciencia y Gobierno de Datos

Monetización y gobierno de datos

Ing. María del Rosario Bruera

[email protected]


• Los datos son un activo de la compañía. Esto supone que tienen un valor patrimonial asociado que debe cuantificarse

• El valor de los datos depende del beneficio que se obtiene al utilizarlos para la toma de decisiones

• Monetización de datos es el proceso que permite a las organizaciones agregar valor de sus activos de información para:

– Productivizarlos y venderlos a otras organizaciones generando un beneficio económico directo

– Integrarlos en sus productos para crear productos más “inteligentes” y mejorar la eficiencia de los procesos

– Descubrir patrones de comportamiento de sus clientes para optimizar su relacionamiento y mejorar el retorno de la inversión en marketing

Ideas fundamentales

31/10/2016

2


Porqué monetizar los activos de datos?

• Beneficios directos

• Mejora de procesos

• Atracción de inversores

• CRM y experiencia de

usuario

• Diferenciación con la

competencia

• Calidad de servicio

• Diseño de productos

• etc


Proceso de monetización de datos

Identificar Gestionar Aplicar

Cuáles son las

fuentes de datos

disponibles

Que hacemos para

agregarles valor ?

Cómo obtenemos un

beneficio económico?

Cadena de valor

31/10/2016

3


Factores que influyen en

el valor de los datos

Factores

Objetivos • Integridad • Completitud • Validez • Precisión • Obsolescencia • Disponibilidad

•……..

Factores

Subjetivos • Relevancia • Utilidad • Credibilidad • Claridad •…….

Descubrir Mejorar

La clave del éxito:

• Gobierno de datos. • Uso eficiente de la tecnología y los RRHH. • Capacitación y transformación cultural.


Porqué gobernar los datos?

• Gobierno de Datos es el desarrollo y aplicación de un conjunto de

reglas, políticas, procesos y estándares para manejar los datos

corporativos considerados como activos estratégicos de la

compañía.

• Se implanta a partir de un equipo de gestión (integrado por

profesionales de Tecnología y de las áreas de Negocio) unificados

en una única misión que es asegurar que los datos corporativos

alcanzan los objetivos:

– De regulación y uso autorizado

– De estandarización y documentación

– De calidad y valor potencial

31/10/2016

4


Niveles de madurez en el

Gobierno de los Datos


METADATA CALIDAD

DE DATOS

SOPORTE

LEGAL ORGANIZACION

PROCESOS CICLO DE

VIDA DEL

DATO

INTEGRACION

Y MDM

Disciplinas que integra

el Gobierno de Datos

31/10/2016

5


Metadata

• Metadata es la información que describe o provee contexto a los

datos sobre su contenido, significado, procesos de negocio en los

que intervienen , servicios, reglas de negocio y políticas que

soportan los sistemas de información de la compañía.

• Existen 3 tipos de Metadata:

– Técnica : nombre de la fuente de datos, nombre de las tablas,

columnas, tipo de dato, etc

– Negocio : contexto que contiene al dato, glosario de nombres,

definiciones, responsables, referencias de origenes del dato, etc

– Operativa : información sobre el uso del dato, fecha y proceso de

actualización, cantidad de accesos, última fecha de acceso, etc.


Ejemplo de tareas de gobierno de Metadata

• Construcción del glosario de términos de negocio que aplican a todos los elementos de datos que intervienen en el proceso

• Construcción del repositorio de información sobre los datos que contiene (para cada elemento de datos del sistema de información): – Origen del dato

– Proceso de captura

– Sensibilidad de su contenido

– Descripción semántica

– Contexto legal de uso del dato

– Procesos en los que interviene

• Definición de las políticas y procesos de actualización y publicación de la metadata

31/10/2016

6


Soporte Legal : Algunas normas

• Dato sensible : datos personales que revelan origen racial y étnico, opiniones

políticas, convicciones religiosas, filosóficas o morales, afiliación sindical e

información referente a la salud o a la vida sexual (Ley 25.326 Art 2).

• Los datos total o parcialmente inexactos, o que sean incompletos, deben ser

suprimidos y sustituidos, o en su caso completados, por el responsable del archivo

o base de datos cuando se tenga conocimiento de la inexactitud o carácter

incompleto de la información de que se trate, sin perjuicio de los derechos del

titular establecidos en el artículo 16 de la presente ley. (Ley 25.326 Art 4.)

• Los datos sensibles sólo pueden ser recolectados y objeto de tratamiento cuando

medien razones de interés general autorizadas por ley. También podrán ser

tratados con finalidades estadísticas o científicas cuando no puedan ser

identificados sus titulares (Ley 25.326 Art 7).


Tareas de Soporte Legal

• Registración de las bases de datos en la DNPDP

• Identificación datos sensibles y definición de

criterios de privacidad

• Definición de las políticas de tratamiento para los

datos sensibles

• Definición de las políticas de acceso y seguridad de

los datos sensibles y no sensibles

31/10/2016

7


Gestión de Datos Maestros (MDM)

• MDM refiere a las copias sincronizadas de las entidades

utilizadas en aplicaciones transaccionales o analíticas de la

organización sujetas a las políticas de gobierno.

Tradicionalmente incluye a las principales entidades (data

sets) como clientes, productos, empleados, proveedores,

etc pero puede extenderse a otras entidades críticas que

no están en esta enumeración.


Datos Maestros

31/10/2016

8


Tareas de gobierno asociadas a

Master Data Management

• Reglas de negocio para la resolución de la

identidad

• Políticas de aceptación de los niveles de calidad de

los datos previas a la integración

• Procesos de consolidación e integración de fuentes

de datos para lograr una visión única de las

entidades referenciales (Visión 360)

• Procesos de notificación y corrección de problemas

de calidad de integración


Mejoras en los procesos para

sostener el Gobierno de Datos

• Proceso de monitoreo de avance del programa de Gobierno

• Proceso de escalamiento , resolución de incidentes y definición de prioridades

• Definición de las políticas de uso de los datos

• Acuerdos de reciprocidad para la administración de los datos

• Modelo de negocio de monetización de los activos de datos

31/10/2016

9


La calidad de los datos


Una definición

• Los datos tienen CALIDAD cuando satisfacen los

REQUERIMIENTOS de los CONSUMIDORES DE DATOS

(DATA CONSUMERS)

• Existe un problema de calidad de datos cuando se identifica

cualquier dificultad que invalida el uso del dato por parte del

consumidor

• Un programa de aseguramiento de la calidad es una

combinación EXPLICITA de procesos, metodologías y

actividades que existen con el propósito de sostener altos

niveles de calidad en los datos

31/10/2016

10


Métricas

• Para poder mejorar la calidad de los datos es necesario medirla

• Las dimensiones de la calidad de los datos se utilizan para definir,

medir y gestionar esta calidad

• No existe un standard de la industria que defina unívocamente estas

dimensiones

• Cada usuario utiliza las dimensiones que más aplican a su contexto

de negocio.


Tenemos todos los datos necesarios?

Están completas las relaciones entre entidades

y atributos?

Los datos representan correctamente al mundo

real?

Son los datos consistentes en todos los sistemas y sub sistemas?

Los contenidos almacenados cumplen los criterios de dominios

definidos?

Los datos estàn disponibles cuando se necesita? Cuàl es su

obsolescencia?

Métricas usuales

31/10/2016

11


Validez

Una medida de la concordancia del contenido del

dato con la realidad (lo cual requiere una fuente de

referencia externa accesible para su verificación)


Cobertura

Medida de la cantidad de datos disponibles

comparada con el total del universo o población

31/10/2016

12


Degradadación / Obsolescencia

Medida de los cambios NEGATIVOS que sufren los

datos a través del tiempo


Dificultad de medición y mejora

Completitud

Exactitud

Integridad

Consistencia

Disponibilidad

Validez

Valor de Negocio

Dificultad de mediciòn

y mejora

31/10/2016

13


Data Profiling

Data Profiling es el proceso de EXAMINAR los datos disponibles en una fuente de datos existentes y recolectar ESTADISTICAS e INFORMACIÓN sobre estos datos.

Se puede realizar con software específico o con sentencias SQL.

El resultado de la tarea permite calcular las métricas de calidad que aplican en cada conjunto de datos

Census Ciencia y Gobierno de Datos Data Profiling

Column profiling: analiza las columnas para todos los registros. Determina: Valores, frecuencias, tipo de datos, rangos, mínimos y máximos, patrones, reglas de unicidad

Permite : Descubrir problemas de contenido Validar si los datos conforman las expectativas Comparar el status actual con el deseado

Table Profiling Interno: analiza las relaciones entre las columnas de las tablas Verifica las claves primarias

Permite : Descubrir problemas de estructura, dependencias funcionales, problemas con las claves Verificar las expectativas de uso respecto de las dependencias de la tabla

31/10/2016

14


Data Profiling

Table profiling Externo:Compara los datos ENTRE tablas para descubrir duplicaciones y redundancia Compara datos provenientes de diferentes fuentes Verifica la consistencia de las claves secundarias

Permite : Descubrir datos duplicados, sinónimos y valores que corrompen la integridad de los datos Construye una estructura en 3era NF eliminando redundancias. Este modelo luego puede utilizarse como base para otros almacenamientos


Ejemplo Data Profiling

IBM Information Governance

Solutions, April 2014

31/10/2016

15


Definición de métricas de DQ

Documento de Uso Reservado 29

Recolectar input: 1. Incidentes de calidad de

datos 2. Inconsistencias de

sistemas de BI 3. Requerimientos

especiales de proyectos 4. KPIs de negocio

Data profiling para identificar los problemas comunes

Medidas candidatas:

k1 k2 k3 k4 k5

k6 ….

KPI Concepto Definiciòn funcional

Frecuencia Objetivo

k1

k23

Selecciòn final de KPI significativos

1 2 3

4


El Data Quality Mart

30

Extracciòn DQ

Profiling

Integración DQ

Profiling

Delivery

En

terp

rise

DW

Informes

Data

Steward

Err

ore

s

Proyecciones

Fix

es

Errores

DQmart

31/10/2016

16

Census Ciencia y Gobierno de Datos Tecnologías de soporte para

Gobierno de Datos

The Forrester Wave™: Data Governance

Tools, Q2 2014


Productos analizados

31/10/2016

17


Nuevos roles

• Data Governance Officer (DGO) : Es el responsable

de la gestión del programa de Gobierno de Datos

• Data Protection Officer (DPO) : Es el responsable

del cumplimiento de las regulaciones sobre el uso

de los datos y de la aplicación efectiva de las

políticas de seguridad

• Data Stewards : Son los responsables de manejar

el contenido de los datos.


Tareas del Data Steward

• Participar activamente en los procesos de identificación y adquisición de nuevas fuentes de datos

• Crear y mantener la metadata de negocio

• Publicar las novedades referidas a los datos de negocio y monitorear su correcta utilizaciòn

• Ejecutar las acciones de mejora de calidad de los datos

• Interpretar y analizar los informes de calidad de datos para identificar los problemas y dimensionar su impacto

• Trabajar activamente con IT en los proyectos de diseño de contenedores de datos y procesos de MDM

34

31/10/2016

18


¿Cómo empezar?

Start Up

6 meses

On going

6 meses PIR Diagnóstico

3 semanas

Plan de

proyecto

Start Up

1 semana


Data thinking : el método para la

“Ciencia de Datos”

Thinking with Data: How to Turn Information into

Insights by Max Shron

31/10/2016

19


La visión 360 del cliente

Opiniones y

encuestas

Identificación y

contactación

Perfil

sociodemográfico

Comportamiento

transaccional


CONTEXTO

DEMANDAS

VISION

RESULTADOS

Diseño caso de uso

V360 integrada y con

gobierno

Definición del

problema a resolver

31/10/2016

20


Conocimiento inicial

Contexto : Marco que engloba al asunto que estamos tratando (personas , organización, objetivos de negocio, etc)

Demandas: Problemas o desafíos que se benefician (resuelven) con el conocimiento obtenido de los datos

Visión : Imagen que tenemos de cómo será nuestro trabajo cuando tengamos el conocimiento que aportará el proyecto. Proyección de mejoras de performance.

Resultado : Definición operativa de cómo se utilizará el conocimiento y cómo se integrará a los procesos actuales de la organización.


Desafíos de factibilidad del caso de uso

Utilidad

Disponibilidad de Datos

Mercado

Escalabilidad Tecnológica

Etica y legal

Económica

31/10/2016

21


Desarrollo del caso

Idea factible

Evaluación Datos

Existentes

Gobierno de Datos

Modelado analítico

Aplicación de Datos

Monetizados

REFINAR LA IDEA


Espacio para preguntas

31/10/2016

22


Bibliografía

• Ladley John, Data Governance.How to Design, Deploy, and Sustain

an Effective Data Governance Program, Elsevier, USA, 2012

• IBM Information Governance Solutions. Ibm.com/redbooks

• Sebastian-Coleman, Laura, Measuring Data Quality for Ongoing

Improvement, Elsevier, USA, 2013

• The 12 Dimensions of Data Quality. Danette McGilvray, Granite Falls

Consulting, Inc.

Documents

Monetización y gobierno de datosfiles.meetup.com/20282103/Monetizacion y gobierno de datos.pdf• Para poder mejorar la calidad de los datos es necesario medirla • Las dimensiones