Upload
jairo-cesar
View
30
Download
4
Embed Size (px)
Citation preview
MINERÍA DE DATOS EN SALUD:
SERIES TEMPORALESJAIRO CESAR ALEXANDER 2017
:HAY TÉCNICAS CUALITATIVAS, CUANTITATIVAS, BASADAS EN MODELOS CAUSALES Y MIXTOS
• El primero utiliza datos cualitativos como la opinión de los expertos, y puede o no tener en cuenta el pasado.
• El segundo, por el contrario, se centra exclusivamente en patrones y cambios de patrón, y por lo tanto se basa enteramente en datos históricos.
• La tercera utiliza la información altamente refinada y específica acerca de las relaciones entre los elementos del sistema, y es lo suficientemente potente como para tener eventos especiales formalmente en cuenta. Al igual que con técnicas de análisis de series temporales y de proyección, el pasado es importante para los modelos causales.
• Los modelos mixtos dan información cuantitativa a un grupo de expertos para sacar conclusiones validas.
COMO TRABAJAR CON SERIES TEMPORALES
MÉTODOS CUANTITATIVOS
TRABAJAR CON SOFTWARERECOMENDADOS
• JDemetra+ TRAMO-SEATS, X13-ARIMA (libre)
• GRETL (Libre)
• JOINT POINT (Libre)
• EXCEL (Comercial)
• GMDH SHELL DS (Comercial)
• MATLAB (Comercial)
• IBM SPSS . MODELER (Comercial)
• R (libre)
• WEKA - PENTAHO
https://surveillance.cancer.gov/joinpoint/
http://gretl.sourceforge.net/index.html
SERIES TEMPORALES: DEFINICIÓN
Colección de observaciones hecha en el tiempo
TAREAS: DE LA MINERÍA DE SERIES TEMPORALES
• Caracterización y comparación temporal: ejem. Dos departamentos tienen series de dengue muy similares
• Análisis clustering temporal: ejem cluster costa atlantica cluster area amazoncia
• Clasificacion temporal: la sifilis congenital estabien el el centro, critica en la periferia, y acceptable en la region costera.
• Reglas de asociación temporal: si la economiacae 3 puntos y la produccion se mantiene la desnutrición aumentara 7%
• Analisis de patrones temporales, en carmen de bolivar se ha detectado un anormal caso de eventos adeversos a la vacunación que debeser atendido.
• Analisis de prediccción y tendenciastemporales: ejemplo de continuar la tendenciano se cumplirarn las metas de desnutrición enniños para los proximos 4 años.
• Detección de anomalias: inceremento en loscasos de hemophilia en Colombia.
Guangchen Ruan, Paul C. Hanson, Hilary A. Dugan, Beth Plale, Mining Lake Time Series using
Symbolic Representation, Ecological Informatics,
ETAPAS DE LOS MODELO DE SERIES TEMPORALES
Formulación de un
problema
Estudio del Fenómeno
Parte descriptiva
70%
Parte pronostico
30%
Explicación de supuestos
Presentación de
escenarios
Generación de un modelo
DE LOS FENÓMENOS
• Es necesario la comprensión del fenómenos, definiciones
• Datos , recuentos, porcentajes, tasas, índices
• Causalidad, asociaciones, dependencias
• Estudios y modelos anteriores
• Registros históricos
PARTE DESCRIPTIVA
Suministra mucha
mas información
de la que se piensa
ANÁLISIS DE SERIES TEMPORALES
• Representación de la serie temporal e indexación
• Reducción de dimensionalidad
• Medida de similaridad
• Comparando todas las series
• Distancia euclídea coeficientes DFT y los coeficientes DWT
• Distancia “time warping”
• Comparando sub secuencias de las series (búsqueda por desplazamiento)
• Método General-Match
• Minería en series temporales
• Segmentación
• Visualización
EJEMPLOS DE ALGORITMOS
• Support vector regression (SVR)
• algoritmo Gecko
• Neural clustering method
• fuzzy c -means (FCM)
• Autorregresivo de media móvil (ARMA , ARIMA)
• Modelos ocultos de Markov (HMM)
• El análisis de conglomerados
• descomposición wavelet
• clasificación del vecino más cercano
• árboles de decisión basados en DTW
• transformación simbólica
• candle stick charting
Ak-chung Fu, A review on time series data mining, Engineering Applications of Artificial Intelligence, Volume 24, Issue 1, February 2011, Pages 164-181,
LOS NUEVOS: APROXIMACIÓN SIMBÓLICA
Convierte los datos a palabras y utiliza algoritmos de procesamiento de lenguaje natural para descubrir y clasificar los patrones
Guangchen Ruan, Paul C. Hanson, Hilary A. Dugan, Beth Plale, Mining Lake
Time Series using Symbolic Representation, Ecological Informatics,
RESUMEN DE REPRESENTACIONES
• Polinómicas - regresión interpolación
• Coeficientes
• Simbólica
• Arboles
• Wavelet
• Espectral - transformada de Fourier
LOS DATOS Y LAS FECHAS
La segmentación e
incompatibilidad de
los sistemas de
información puede
ser un problema
La depuración , de
datos errados
faltantes,
inconsistentes, y con
formatos
incompatibles
pueden tomar algún
tiempo, que hay que
tener en cuenta
OUTLIER
• Es una observacion que se desvian mucho de las otrasobservaciones y se creegenerada por mecanimosdiferentes
• La mayoria de software recomendado puedeeliminar este tipo de datos, pero eso depende de losobjetivos del invetigador.
VALORES MISSING FALTANTES U OCULTOS
• El software puede detectar y tratar este problemas con varios métodos como la interpolación
INTEGRACIÓN DE BASE DE DATOSY FORMATOS
Mayores capacidades
Los modelos generados deben ser pensados en producción desde el comienzo
Y también en integración para superar los problemas de segmentación de los sistemas
de información
MANEJO DE OS FORMATOS Y ESTANDARES
Es necesario el manejo
adecuado de los formato
(estándar) en este caso la fecha
en GRETL
DATOS INGRESO DE INFORMACIÓN
http://www.ins.gov.co/lineas-de-
accion/Subdireccion-
Vigilancia/sivigila/Paginas/vigilancia-
rutinaria.aspx
FORMATO DE ARCHIVO
PDF !
INSEs necesario que lo sistemas
de información suministren
información de forma útil, y
no solo para cumplir la
norma
ADQUISICIÓN DE INFORMACIÓN
La información
pueden venir de
base de datos, ejem
PENTAHO- Base de
datos, o KNIME, en
MYSQL.
En la imagen
integración de varios
archivos de
indicadores de salud
(INS) de Excel en
ACCESS
Un ejemplo de consulta SQL de
un conjunto de tablas de
EXCEL en ACCES (Indicadores
de salud pública)
EJEMPLO DE GRAFICAS Y LA EXPLORACIÓN INICIAL
Aquí se ve el
comportamie
nto de la
varicela en
Colombia,
nota/ la
varicela tiene
vacuna
efectiva.
Registro
histórico con
proyección a
2018
LOS FILTROS
Filtro media móvil
exponencial
Filtro tendencia polinómicaFiltro Hodrick -Prescott
Serie varicela 2012- 2016 (recuento)
PERMITEN:
Mirar la tendencia
Estacionalidad,
componente aleatorio
CONSIDERACIONES SOBRE LA EXPLORACION DE SERIES DE TIEMPO
• Algunos fenómenos son tan complejos que es necesario tener en cuenta ciertas cosas sobre como se clasifican, los fenómenos aleatorios, la teoría del caos, la causalidad y el manejos de escalas para tener en cuenta en los modelos
CONSIDERACIONES
• - tipo de fenómeno
• - el azar, la mala suerte o la buena suerte
• - la causalidad
• - la teoría del caos
• - la ley de los grandes números y las escalas
-TIPOS DE FENÓMENOS DE ACUERDO A SU COMPLEJIDAD
ADRIANA ELISA ESPINOSA CONTRERAS “EL CAOS Y LA CARACTERIZACIÓN DE SERIES DE TIEMPO A
TRAVÉS DE TÉCNICAS DE LA DINÁMICA NO-LINEAL” UNIVERSIDAD NACIONAL AUTÓNOMA
DE MÉXICO. MÉXICO, D.F. 2004
Todos los fenómenos
no son tan
predecibles como
una Varicela,
algunos rayan en lo
aleatorio y parecen
o se asemejan a
series económicas
En la figura se
pueden ver
diferentes tipos de
fenómenos
-CONSIDERACIONES SOBRE LOS FENÓMENOS
ADRIANA ELISA ESPINOSA CONTRERAS “EL CAOS Y LA CARACTERIZACIÓN DE SERIES DE TIEMPO A
TRAVÉS DE TÉCNICAS DE LA DINÁMICA NO-LINEAL” UNIVERSIDAD NACIONAL AUTÓNOMA
DE MÉXICO. MÉXICO, D.F. 2004
Se puede ver que algunos
fenómenos son muy
deterministas, otros
imposibles de predecir
(aleatoriedad) con la
ciencia actual , y otros
están en el limite de lo
predecible y tienen un
comportamiento
matemáticamente
extraño.
-DEL DEMONIO DE LAPLACE A LA FÍSICA CUÁNTICA :
DETERMINISMO VS INDETERMINISMOAleatoriedad
Concepto central dentro de la teoría de probabilidadesy en los estudios del comportamiento cuya definicióndescansa en la suposición de que todo suceso tieneuna causa, nada es azaroso. La noción de aleatoriedadaparece asociada al espacio generado por eldesconocimiento humano (parcial o total) de talescausas. Así, la "aleatoriedad significa que no hay una leyconocida, capaz de ser expresada en un lenguajecoherente, que describa o explique los eventos y susresultados" (Kerlinger, 1994, p.126).
Demonio del mercurio alquímico, en el libro “Della
trasmutatione metallica”, Giovani Battista Nazario,
Brescia, 1589.
-MIS INDICADORES OBEDECEN SOLO A VARIABLES CONOCIDAS A EFECTO AZAR (PURÍSIMA SUERTE!) A VARIABLES DESCONOCIDAS O
FENÓMENOS COMPLEJOS?
-LA CAUSALIDAD
Según la indagación, "hasta el momento
tenemos evidencia de que ningún factor
técnico influyó en el accidente, todo está
involucrado en un factor humano y
gerencial".
-HAY QUE TENER EN CUENTA LA TEORÍA DEL CAOS
-PUEDE UN DISCURSO DE DONALDTRUMP EN WASHINGTON AFECTAR
GRAVEMENTE LA SALUD DE UN NIÑO EN LA GUAJIRA?
-CONSIDERACIONES
• El azar, la suerte, o el libre albedrio es importante?• Como estimarlos? Existen??
• Basta con cambiar la escala temporal? , o usar proporciones?
• Bata con usar filtros ?
• Toca usar índices de aletoriedad, dimesiones, fractalidad, etc..?
• Que pasa con la predicción si el fenómeno es complejo y el azar cambia los condiciones iniciales del fenómeno?
• Los diferencia entre lo pronosticado y lo real se debe al azar, a los factores asociados o a ambos y en que grado?
• Mi predicción o mis acciones puede alterar el futuro?
-LEY DE LOS GRANDES NÚMEROS (APLICADA)
• En la teoría de la probabilidad, bajo el término genérico de ley de los grandes números se engloban varios teoremas que describen el comportamiento del promedio de una sucesión de variables aleatorias conforme aumenta su número de ensayos.
• Estos teoremas prescriben condiciones suficientes para garantizar que dicho promedio converge al promedio de las esperanzas de las variables aleatorias involucradas. Ejemplo la difusión de un gas es azarosa a pequeña escala pero determinística a gran escala.
-AUMENTAR LA ESCALA EN EL TIEMPO
• Aumentar la escala de tiempo permite filtrar el componente aleatorio que se anula a si mismo y permite ver otros elementos de la serie temporal, como la tendencia, la estacionalidad, y los ciclos.
• Disminuir la escala aumenta el efecto visible del componente suerte.
• Inconvenientes?
Por día
Por semana
Por mes
Por trimestre
Por semestre
Por año
Por 4 años
-AUMENTAR LA ESCALA EN EL EVENTO
• Tasas x 1000 x 10 000 x 1 000 000 ….
• Proporciones
• Índices
• Funciones
• Inconvenientes
Usar denominadores puede filtrar algunos componentes aleatorios
y otros componentes como el crecimiento de la población, mortalidad
Etc.
-FRACTALES
Algunos fenómenos
son independientes de
escala !!!
VOLVIENDO AL MODELO Y LA MINERÍAHAY QUE SELECCIONAR UN MODELO
OTRAS CONSIDERACIONES ….
• En un modelo determinístico se pueden controlar los factores que intervienen en el estudio del proceso o fenómeno y por tanto se pueden predecir con exactitud sus resultados.
• En un modelo estocástico no es posible controlar los factores que intervienen en el estudio del fenómeno y en consecuencia no produce simples resultados únicos. Cada uno de los resultados posibles se genera con una función de probabilidad que le adjudica una probabilidad a cada uno de éstos,
Ejemplo: un modelo para predecir el tamaño de una epidemia en una población de N individuos. Para el caso determinístico se proporciona un valor único, C, mientras que el modelo estocástico permite la posibilidad de obtener desde cero hasta N individuos y se adjudica una cierta probabilidad a cada uno de estos sucesos. La diferencia es más grande de lo que parece, ya que en un modelo matemático determinístico en el contexto epidemiológico; un solo sujeto causa una epidemia generalizada, mientras que bajo un modelo estocástico existe la posibilidad de que la epidemia se extinga
SIEMPRE ESTA LA OPCIÓN DE LA ELABORACIÓN AUTOMÁTICA DEL
MODELO DE SERIE TEMPORAL• La mayoría de software de alta calidad tiene funciones automatizadas para
seleccionar el mejor modelo según nuestras necesidades y datos
• En el caso de las series temporales JDEMETRA (software libre) o IBM SPSS MODELER y GMDH SHELL (software comercial) ofrecen herramientas muy sofisticadas para elaboración automática de modelos.
• Los modelos luego pueden exportarse a medios de producción
LOS MODELOS EN R SON MAS MANUALES, AUNQUE EXISTEN MUCHOS PAQUETES DE AUTOMATIZACIÓN
• Pronostico del autor generado con un modelo HOLTWINTERS en R para la serie de bajo peso al nacer en Colombia con datos semanales
SELECCIÓN AUTOMÁTICA DEL MODELO EJEMPLO
Este es el modelizador
experto automático
de SPSS 20,0
MODELOS AUTOMÁTICOS EN SPSS
MODELOS AUTOMÁTICOS EN JDEMETRA+
HAY QUE TENER EN CUENTA EN LA ELABORACIÓN DEL MODELO PARA
SERIE TEMPORAL• Información de buena calidad produce resultados de buena calidad
• Datos de pésima calidad, generalmente producen malos resultados independiente de lo sofisticado de los algoritmos o software usado
• La elaboración de modelos temporales como por ejemplo los ARIMA puede tomar algún tiempo , por eso puede ser recomendable iniciar con un proceso automático en MODELER GMDH SHELL Y JDEMETRA que presentan resultados bastante buenos .
MEDIDAS DE BONDAD DE AJUSTE: (SE USAN PARA SABER QUE TAN BUENO ES EL MODELO)
• R cuadrado estacionaria, R cuadrado (R2), raíz del error cuadráticopromedio (RMSE), error absoluto promedio (MAE), error absoluto porcentualpromedio (MAPE), error absoluto máximo (MaxAE), error absoluto máximoporcentual (MaxAPE) y criterio de información bayesiano (BIC) normalizado
EJEMPLO DE SERIE DE TIEMPO BAJO PESO AL NACER
Bajo peso al nacer vs Semana Epidemiológica
BAJO PESO AL NACER MAPA DE RECURRENCIA
El grado de
aleatoriedad
puede estimarse
con un mapa de
recurrencia
en este caso en
MATLAB
MAPA DE RECURRENCIA
Aquí se puede ver
Un fenómeno
desde completamente
Azaroso (puntos) hasta
Determinista (las líneas)
FILTROS - CURVE FITING TOOL
General model Sin3:f(x) =
a1*sin(b1*x+c1) + a2*sin(b2*x+c2) + a3*sin(b3*x+c3)
where x is normalized by mean 26.58 and std14.47Coefficients (with 95% confidence bounds):
a1 = 2162 (1718, 2606)b1 = 0.3811 (-0.2769, 1.039)c1 = 1.541 (1.002, 2.079)a2 = 6529 (-1.161e+07, 1.162e+07)b2 = 2.792 (-42.63, 48.21)c2 = 0.3984 (-41.46, 42.26)
a3 = 6569 (-1.161e+07, 1.162e+07)b3 = 2.843 (-41.07, 46.75)c3 = -2.698 (-41.6, 36.2)
Goodness of fit:SSE: 3.479e+06R-square: 0.9146Adjusted R-square: 0.9118RMSE: 121.4
Los filtros pueden
mostrar patrones no
visibles interesantes..
LOS CAMBIOS DE ESCALA PARA CONTRARESTAR AL AZAR
Función previsión
Suaviza cimiento
exponencial AAA
En Excel
Función
agregar
elemento
grafico
líneas de
tendencia
con
proyección
en Excel
Estadística Valor
Alpha 0.50
Beta 0.00
Gamma 0.50
MASE 1.20
SMAPE 0.08
MAE 23.68
RMSE 33.10
ESTE ES UN EJEMPLO DE TEST DE BONDAD DE AJUSTE EN EXCEL
EJEMPLO BAJO PESO AL NACER
• El análisis de las series temporales pude determinar que regiones departamentos y municipios están presentado mas el fenómeno, y si alguna política esta impactando en la región
• La información estaría disponible no solo para el tomador de decisión sino también para la opinión publica, el medico y el usuario.
CONSIDERACIONES FINALES
DIMENSIONES:CIRCULO O CUADRADO (2D)?
Hay que pensar
Siempre desde varias
Perspectivas
El trabajo en quipo
Multidiciplinario es
Recomendable,
Los dx poblaciones
Son de equipo
PATRONES :UNA CARA EN MARTE?
Crédito NASA
ASOCIACIONES – CAUSALIDAD - AZAR
Tyler Viglen - Spurious Correlations website
https://commons.wikimedia.org/w/index.php?curid=48043945
http://www.nature.com/nature/journal/v529/n7584/full/nature16166.html
http://science.sciencemag.org/content/347/6217/78
SIEMPRE INTERPRETAR
•“La mejor manera de predecir el futuro es crearlo” (“The best way to predict the future is to create it”).
Dennis Gabor Nobel de Física en Inventando el futuro 1963
FIN