Asociación versus Clasificación

en estudios biomédicos

Carmen Cadarso‐Suárez

Unidad de BioestadísticaFacultad de Medicina Departamento de Estadística e IO

Barcelona,  10  de  diciembre  de  2009

2. Estudios  de  clasificación (predicción/screening)

Exposición continua / enfermedad (estudios dosis‐respuesta)

• Modelo estadístico: GLM Logístico • Medidas de asociación: Odds‐Ratio (OR), Riesgo Relativo (RR )• Mejoras con modelos flexibles GAM (Generalized Additive Models)

1.  Estudios  de  asociación

Bio(marcador) diagnóstico / enfermedad

• Herramienta estadística: Curva ROC (Receiver Operating Characteristic)• Medida de precisión diagnóstica: Área bajo la Curva (AUC)• Búsqueda de puntos de corte “óptimos” • Extensiones interesantes: 

a) “Mezcla” de distribucionesb) Introducción de covariables 

• Mejoras con modelos GAM.

3. Ilustración con datos reales

1. Estudios de asociación

Medidas relacionadas con el efecto:

Riesgo Relativo (Relative Risk, RR) Odds‐Ratio  (OR)

Objetivo: búsqueda de asociación (o efecto) de

una “exposición” con una enfermedad

(“dose‐response”  analyses)

Odds‐Ratio (OR)

( ) ( )( )=

p F / D Odds D

p F / D ( ) ( )

( )=p F / D

Odds Dp F / D

( )( )=F

F

Odds DOR

Odds D

OR = 1  ,   no asociación entre  D y  F OR > 1  ,   F factor de riesgo

OR < 1  ,   F factor protector

F factor de exposición (binario), y D representa el status de Enfermedad

Dosis‐respuesta:  Modelos GLM

Los Modelos Lineales Generalizados (GLM) expresan la relación entre la respuesta de interés (D) y una  exposición continua, X,  a través de formas (funciones) paramétricas.

En un modelo GLM Logístico, la respuesta D es  binaria (0/1):

( )( ) ( )0

1/logit=log

1 1/P D X

f XP D X ββ

⎛ ⎞== +⎜ ⎟⎜ ⎟− =⎝ ⎠

( ) ( ) ( )ln , ref refOR x x f x f xβ β= −

donde refx es el valor de referencia.

CIRUGÍA

“Factores de riesgo de infección post‐quirúrgica (POI)”

Cadarso‐Suárez C, Roca‐Pardiñas J, Figueiras A. Effect measures in non‐parametric regression withinteractions between continuous exposures. Stat Med. 2006 ;25(4):603‐21. 

Cadarso‐Suárez C, Roca‐Pardiñas J, Figueiras A, González‐Manteiga W. Non‐parametric estimation of the odds ratios for continuous exposures using generalized additive models with an unknown linkfunction. Stat Med. 2005 ;24(8):1169‐84. 

Saez M, Cadarso‐Suárez C, Figueiras A. Np.OR: an S‐Plus function for pointwise nonparametric estimation of odds‐ratios of continuous predictors. Comput Methods  Programs Biomed. 2003;71(2):175‐9. 

Figueiras A, Cadarso‐Suárez C. Application of nonparametric models for calculating odds ratios and their confidence intervals for continuous exposures.  Am J Epidemiol. 2001;154(3):264‐75

Figure 2a

-3

-2

-1

0

1

2

3

4

50 75 100 125 150 175 200 225 250 275 300

Plasma glucose (mg/dl)

Ln O

R (x

, xre

f)

Reference value(95mg/dl)

( )10 0 1logit f Gluc Glucββ β β= + = + ×

Relación paramétrica lineal

Respuesta: Infección post-quirúrgica (0=no, 1=si) Exposición: Glucosa (mg/dl)

• Relación “rígida”.• Relación no plausible en valores bajos de glucosa.

0 1 2 32 3logit Gluc1+ Gluc Glucβ β β β= + × × + ×Figure 2a

-3

-2

-1

0

1

2

3

4

50 75 100 125 150 175 200 225 250 275 300Plasma glucose (mg/dl)

Ln O

R (x

, xre

f)Reference value

(95mg/dl)Grupo de referencia:

(92-102)

Análisis categórico

Gluc_co: “<92”, “92-102”, “103-121”, “>121” (cuartiles)

• Riesgos constantes dentro de cada categoría.

• ¿Cómo seleccionar los puntos de corte?

Más flexibleque

la recta(local)

• En general, baja potencia estadística.

Herramientas GAM

Suavizadores (smoothers) :   

‐ Smoothing splines (Wahba, 1990)‐ P‐Splines (Eilers‐Marx, 1996), Bayesian P‐Splines (Lang‐Brezger, 2004)‐ Thin regression Splines (Wood, 2003)….                          

( )0logit f Xβ= +

Métodos de estimación:

‐ Backfitting (Hastie‐Tibshirani, 1990)‐ Verosimilitud Penalizada (Ruppert et al, 2003; Wood, 2006)….

( )f̂ X

Criterios automáticos de suavización óptima  (          ) :‐ Akaike´s Information Criterion (AIC)‐ Generalized Cross‐Validation (GCV)‐ Restricted Maximum Likelihood (REML),…

optdf

Relación suavizada: Modelo GAM

( )0logit f Glucβ= +

“Spoon”  shape

Smoothing Splines , 6.25AICdf =

(Figueiras, A., Cadarso‐Suárez, C.  Amer J Epidemiol, 2001)

Figure 5a

-3

-2

-1

0

1

2

3

4

50 75 100 125 150 175 200 225 250 275 300Plasma glucose (mg/dl)

LnO

R (x

,xre

f)

Reference value(95mg/dl)

Curva OR  (Modelo GAM)

np.OR Sáez M, Cadarso‐Suárez C, Figueiras A. Comput Meth Progr Bio, 2003

( ) ( ) ( )ln , 95 95refOR x x f x f= = −

Curva OR  “ajustada”

Interacción   “factor x curva”

( ) ( )0 1 Diablogit Diab f Gluc f Glucβ β= + × + +

Diabetes No  Diabetes

1GCVdf = 5.9GCVdf =

“diabetes x glucosa”

-0.3

1

2.3

45 95 145 195

Glucose

Log

(OR

)

Reference Value

-0 .8

0

0 .8

2 9 1 6 2 3 3 0 3 7 4 4

L y m p h o c yte s (% )

Log

(OR

)

R e fe re n c e V a lu e

Interacción entre exposiciones continuas

( ) ( )0 1 2 3 4logit Sex Age f Gluc f Linf%β β β= + + + +

( ) ( ) ( )0 1 2 3 4 34logit Sex Age f Gluc f Linf% f Gluc,Linf%β β β= + + + + +

“Main effects”

“Interaction”

2. Estudios de clasificación 

Medidas de la precisión diagnóstica:

Curva ROCArea bajo la Curva (AUC)

Objetivo:

Búsqueda de (bio)marcadores o test diagnósticos de una enfermedad

( predicción, screening)

Medida da precisión diagnóstica de tests (marcadores) con respuesta continua, Y

Proponiendo un punto de corte “c” para clasificar a enfermos ysanos ( ),D D

D

D

c( )T P F c

( )F P F c

[ ]( ) /FNF c P Y c D= <

( ) /TNF c P Y c D Specificity⎡ ⎤= < =⎣ ⎦

( ) /FPF c P Y c D⎡ ⎤= ≥⎣ ⎦

[ ]( ) /TPF c P Y c D Sensitivity= ≥ =

Curva ROC  (Receiver Operating Characteristic)

Área bajo la Curva (AUC)

( )1

0AUC ROC t dt= ∫

Curva ROC

Definiciones

( ) ( )( ) ( )1 , 0,1−= ∈D DROC t S S t t

donde                        son las funciones de supervivencia de enfermos y sanos, respectivamente., D DS S

AUC=0.5, marcador  “nulo”AUC=1.0, marcador  “perfecto”

Ventajas de la ROC sobre la OR

Si pretendemos evaluar/comparar  el comportamiento diagnóstico de una exposición continua, Y,  la OR no es una buena medida:

1.   La OR depende de las unidades de la exposición, por lo que no puedencompararse  dos  exposiciones distintas.

2.   Una fuerte asociación (en términos de OR) de una  exposición Y conla enfermedad, no implica que Y sea un buen marcador para diagnosis…..

Pepe MS, Janes H, Longton G, et al. Limitations of the odds ratio in gauging the performance of a diagnostic, prognostic, or screening marker. Am J Epidemiol 2004;159:882–90.

OR=1..5 OR=3

OR=9 OR=25

OR=70 OR=350

Escenario controlado

OR=1.5 OR=3 OR=9 OR=25 OR=70 OR=350

AUC 0.5569 0.6567 0.7813 0.8724 0.9334 0.9808

Escenario controlado

Punto de corte “óptimo”

• En estudios de clasificación, un problema común es la búsqueda de un punto

de corte “óptimo”, C, para el marcadorc

• En la literatura estadística y biomédica, existen varios criterios. Entre ellos, el

basado en la maximización del Índice de Youden (Youden, 1951):

( ) ( )( )maxc

YI TPF c FPF c= −

El criterio típicamente adoptado en el contexto clasificatorio de  considerar valores más  

altos (o alternativamente más bajos) del marcador como  indicativos de enfermedad, no

es siempre adecuado. 

Por tanto, la determinación de la validez de dicho criterio viene dada por la distribución

del marcador en los casos y en los controles. 

• Distribuciones no solapadas: la aproximación clásica a través de la ROC es la 

adecuada. Habría 1 punto de corte “óptimo”.

• Distribuciones  mezcladas : la regla clasificatoria asumida en la ROC no es la que minimiza

el error de clasificación global.  Además, habría varios puntos de corte “óptimos”…..

Poblaciones “mezcladas”

• Solución intuitiva: estimar la probabilidad de pertenencia a cada uno de los estados 

(caso/control) en función de los valores del marcador   “transformado”, i.e.  P(D=1/Y), y

basar la clasificación en dichas probabilidades (Neyman‐ Pearson ,1963; McIntosh‐Pepe,

2002). 

• Puede utilizarse, p.e., un  modelo flexible GAM logistico de la forma:

( )( ) ( )0

1/log

1 1/⎛ ⎞=

= +⎜ ⎟⎜ ⎟− =⎝ ⎠

P D Yf Y

P D Yβ

BIOLOGÍA  MARINA“Clasificación del erizo de mar según sexo 

a través del  color de sus gónadas”

Lustres‐Pérez V, Rodríguez‐Álvarez MX, Pata MP, Fernández‐Pulpeiro E, Cadarso‐ Suárez C. (2009). The application of Receiver Operating Characteristic (ROC) methodology in biological studies of marine resources: sex determination of Paracentrotus lividus (Lamarck, 1816).  Submitted.

Color gonadal (escala ordinal)

AUC  = 0.586    ,    95% bootstrap CI (0.542, 0.638)

Marcador  “crudo”

AUC  = 0.914    ,    95% bootstrap CI (0.891, 0.936)

Marcador  “transformado”

Range of female gonad

color

 Probability of  correct 

classification of a 

female individual (TPF)

Probability of correct 

classification of a male 

individual (TNF)

[9,14] 0.84 0.87

[9,15] 0.82 0.92

AUC CI (95%)“Crude”∙ Glucose 0,60 0,49‐0,71

“Transformed” Glucose 0,71  0,61‐0,78

Infección Post‐quirúrgica (POI)

La precisión diagnóstica de un marcador, Y, puede depender de un conjunto de covariables, X , asociadas al individuo (sexo, edad,….).

Aproximaciones actuales

1. ROC condicional (López de Ullibarri et al, 2008)Se basa en la estimación de las funciones de supervivencia condicionales (a X) de enfermos y sanos, y luego “componer” la curva ROC ajustada.

2. Regresión ROC (Pepe, 2003)

2.1. ROC “inducida” : Se ajusta el marcador con dos modelos de regresión separados (enenfermos y sanos) y luego se “ induce” la curva ROC.

2.2. ROC “directa” (ROC‐GLM): La curva ROC se estima directamente, utilizando un modelo de regresiónGLM logístico, donde la sensibilidad se pone en función, no sólo de lafracción FPF, sino también del conjunto de covariables X.

ROC con covariables

donde

son las funciones de superviviencia condicionales (a X ), en 

enfermos y sanos, respectivamente.

• Estimación no paramétrica tipo kernel local.

• Los parámetros de suavizado  se seleccionan con métodos bootstrap.

1. ROC condicional(López‐de‐Ullibarri  et al, CSDA 2008)

( ) ( )( ) ( )1 , 0,1−= ∈X D X D XR O C t S S t t

, DX DXS S

RADIOLOGÍA

“Evaluación de sistemas diagnósticos asistidos por ordenador CAD (Computer‐Aided Diagnostic Systems)”

López‐de‐Ullibarri Cao R, Cadarso‐Suárez and Lado MJ (2008). Nonparametric estimation of conditional ROC curves: Application to discrimination tasks in computerized detection of early breast cancer.  CSDA,  52, 2623-2631.

Evaluación diagnóstica del CAD

CADComputer‐Aided 

Diagnosis

Radiografía(mama)

FP (False Positive) 

Lesión:Cúmulo (real) de 

microcalcificaciones

TP (True Positive) 

Condicionado por:

Nivel de gris de la mamografía digital.

Tipo de tejido de la mama (denso/graso).

Test diagnóstico:    Tamaño del cúmulo.Status:                      1=cúmulo real, 0=no.

ROC condicional

Denso Graso Denso Graso

Gris Gris

Gris Gris

AUCROC

Sea   Y el marcador. (X,Z) el vector de covariables, X continua,  y Z un factor de K niveles)

( ) ( )( ) ( ),X Zg ROC t h t Z Xβ γ= + +

donde g = función link (probit, logit)

h(t) = función de la fracción  FPF

Regresión ROC paramétrica (ROC‐GLM)

Pepe MS. The Statistical Evaluation of Medical Tests for Classification and Prediction. Oxford University Press: New York, 2003.

Janes H,  Pepe MS. Adjusting for Covariates in Studies of Diagnostic, Screening, or  Prognostic   Markers: An Old Concept  in a New Setting. Amer J Epidemiol, 2008. 

Sea  Y el marcador, (X,Z) el vector de covariables  (X continua,  Z factor):

( ) ( )( ) ( ) ( ),1

,K

k kX Zk

g ROC t h t Z f X Zβ=

= + +∑

Modelos Aditivos Generalizados (GAM; Hastie and Tibshirani, 1990)

Suavizadores:  Tipo  Local Linear Kernel

Método GCV (Generalized Cross‐Validation) para la  selección automática delgrado de suavización.

Algoritmo Backfitting (Penalized Iterative Least Squares).

donde            y             son funciones suaves (desconocidas).{ }kf ( )h t

ROC‐GAM incluyendo interacciones(Rodríguez‐Álvarez et al 2009)

Herramientas estadísticas

ENDOCRINOLOGÍA“Predicción de factores de riesgo cardiovascular 

a través de marcadores antropométricos”

Rodríguez‐ Alvarez MX, Roca‐Pardiñas J, Cadarso‐Suarez C (2009). ROC curves and covariates: extending the induced methodology to the non‐parametric framework. Tech. Report 09‐05 Univ Vigo. Submitted.Rodríguez‐ Alvarez MX, Roca‐Pardiñas J, Cadarso‐Suarez C (2009). A new flexible direct ROC regression methodology: detection of cardiovascular risk factors by anthropometric measures. Tech. Report 09‐06 Univ Vigo. Submitted.

1. No hay un consenso sobre cuál es el mejor índice antropométricopara predecir “clusters” de factores de riesgo cardiovasculares (diabetes,HTA,….)

2.  Cuál debe ser el punto de corte “óptimo” de  cada índice. Ellopermitiría llevar a cabo “cribados” (screenings) efectivos de la población.

3.  La obesidad y factores de riesgo cardiovascular, dependen de:‐ Población (país) y raza.‐ Edad y sexo.

Cuestiones actuales en Endocrinología

Muestra representativa de la población adulta gallega (18‐85 años)  

n=2945 individuos :  1361 varones (46.2%)  , 1584 mujeres (53.8%)

Marcadores antropométricos: 

BMI =       Índice de Masa Corporal=Peso/Talla2 (Kg/m2)WC =       Circunferencia de Cintura (cm)

Status:D=1  “tener 2 ó más factores de riesgo cardiovascular”D=0  “caso contrario”

Factores de riesgo cardiovascular (IDF, 2005):

Triglicéridos elevados, HDL‐C bajo, HTA, Glucemia en ayunas elevada  ó ser diabético.

(Promovido por la Sociedad Gallega de Endocrinología y Nutrición)

Estudio EPDGA (2004)

D=0

D=1

Climaterio

Body Mass Index 

D=0

D=1

Waist Circumference

( ) ( )( ) ( ) ( ) )

0 1 2,

, ,

( Age Gender

men women

ROC t M Gender

f Age men f Age women h t

β β β=Φ + × + × +

+ +

Φ = Link Probit ( distribución normal estándar )

M = factor con 2 niveles ( correspondiendo al tipo de marcador )

Criterio GCV de selección automática de los parámetros de suavización.

Las funciones, , se estiman no paramétricamente( ), , women menf f h t

Inferencia bootstrap: Método Bca (Efron and Tibshirani, 1993)

ROC‐GAM

Women Men

Superficies ROC

BMI

WC

BMI

WC

AUCs  “ajustadas”  por sexo y edad

Women

Women

Men

Men

94 cm (varones)

80 cm (mujeres)

Criterios Actuales (IDF)

Puntos de corte “óptimos” ajustados

Criterios Actuales

BMI>=30