http://www.solidq.com A lo largo de la sesión se destacarán aspectos importantes acerca de la gestión de la calidad de los datos en entornos empresariales y qué características aporta el servicio Data Quality Services implementado SQL Server 2012 para facilitarnos dicha gestión. La calidad del dato es fundamental en cualquier proceso de negocio: Listas de proveedores mal tecleadas, productos inexistentes porque no coinciden con su nombre oficial o reglas de negocio definidas por los desarrolladores ante la poca consistencia de los datos son escenarios comunes en nuestro trabajo. Comprobaremos como DQS nos ayuda a resolver estas situaciones.
Citation preview
1. BI 300003Trabajando con Data Quality ServicesPau Sempere
SnchezDPS BI DivisionMAP [email protected]
2. ObjetivosConocer Data Quality ServicesPosicionar el producto
Data Quality Services en el ciclo de Data Quality
ManagementReflejar el conocimiento sobre calidad de datos en bases
de conocimiento e integrarlo en nuestros procesos. 3. AgendaLa
importancia de la calidad de datosData Quality ServicesBases de
conocimiento Dominios Reglas Valoressasasasasasas 4.
AgendaProyectos DQS: Matching CleansingData Quality Services en
Integration Services 5. LA IMPORTANCIA DE LA CALIDAD DE DATOS 6.
Etapas en la madurez de los datosConocimiento Soporte decisiones de
negocio Informacin Datos Soporte operativa de negocioOtrosERP CRM
sistemas 7. Los datos y las personasUn software sano no puede
funcionarsin datos sanos 8. Los problemas de salud de los
datosEnfermedadDescripcin SntomaEstandarizacin Datos
incoherentesCdigo Gnero = H, M, Uen un sistema y CdigoGnero= 0, 1,
2 en otroCompletitud Nos faltan datos para Cdigos postales
vacosrepresentar la realidad en el 50% de nuestrocallejeroPrecisin
Tenemos datos que noTenemos proveedoresrepresentan la realidad
marcados como activosdel negocio que estn muertos hace 6aos 9. Los
problemas de salud de los datosEnfermedad Descripcin
SntomaValidezDatos rebeldes que no Los sueldos deben estar cumplen
nuestras reglas entre 60.000 y 120.000 al aoUnicidad La entidad del
modelo Javier Torrenteras y Javi de datos aparece msTorrenteras son
el mismo de una vezempleado 10. El extrao caso de los hombres
embarazados yotros fenmenos britnicosEntre 2009 y 2010, unos 20.000
hombres en Reino Unido requirieron servicios de matrona, segn el
Sistema Nacional de Salud britnico (NHS)Ms de 8.000 hombres
llegaron a ver a un gineclogoCasi 3.000 menores de edad accedieron
a servicios de geriatra. 11. Los costes de los datos de mala
calidadRecursos adicionales para corregir los problemas de los
datosDifcil mantenimiento de los mecanismos de correccin de
datos.Prdida de oportunidades negocio. 12. DEMOVisualizando datos
de mala calidad 13. DATA QUALITY SERVICES 14. Qu es Data Quality
Services?Data Quality Services (DQS) esuna solucin basada en el
conocimiento de la calidad dedatos que permite a losadministradores
de datos y profesionales de IT la mejora dela calidad de sus datos
fcilmente 15. Al aplicar Data Quality Services Conocimiento
Centralizacin del conocimiento de la calidad de datos del negocio
Limpieza Correccin de datos con proyectos de cleansing Consolidacin
Consolidacin y de-duplicacin con proyectos de matching Aporte de
valor Gestin sencilla del conocimiento sobre la calidad de los
datos por parte de los usuarios de negocio 16. Dnde encaja Data
Quality Services?Sistemasde origenData Quality Services Integracin
de datos en otros sistemas 17. Arquitectura bsica DQSData Quality
DQS_MAIN Services ClientDQS_PROJECTS Componente Integration
ServicesDQS_STAGING 18. BASES DE CONOCIMIENTO 19. Bases de
conocimientoReferencias externasReglas de matchingDominioBases
deconocimiento Reglas yValores relacionesDominios Dominios
compuestos 20. Bases de conocimientoEntidad Data Quality
ServicesJugadorDQKB Jugador Nombre4 dgitos Salarios dentro de
Equipoun rango Ao de debut PosicinLista de Equipos valores y
Salario correciones Atributos Dominios 21. Combinando dominiosDQKB
JugadorNombreEquipoRegla:Si Nombre = Pau GasolEntonces Equipo = Los
Angeles Lakers Dominio compuesto 22. DEMOConstruyendo una base de
conocimiento 23. PROYECTOS DE DATA QUALITY SERVICES 24. Proyectos
de Matching Creacin deMatchingExportacin regla(s) Lgica difusa Quin
se queda en el Poltica de Agrega metadatos. modelo? comportamiento
del SQL Server, Excel y CSV motor DQS 25. DEMOReglas y proyectos de
matching 26. Proyectos de CleansingLimpieza de datos partiendo de
una base de conocimientoInformacin extra sobre las decisiones que
toma.Consumir bases de conocimiento en la nube. 27. Integracin con
SSISNuevo componente: Data Cleansing ComponentData Cleansing
Project en un paquete SSIS.Aade la potencia de SSIS para tratar la
informacin obtenida. 28. DEMOLimpiando datos con SSIS 29. Qu hemos
visto?La importancia de la calidad de los datosDesarrollo de bases
de conocimiento y dominiosReglas y proyectos de matching.Data
Cleansing ProjectsIntegracin con SSIS Data Cleansing Component 30.
Si quieres disfrutar de las mejores sesiones denuestros mentores de
Espaa y Latino Amrica, sta es tu
oportunidad.http://summit.solidq.com/madrid/Sguenos:
