Verosimilitud empírica aplicada a las curvas ROCsct.uab.cat/estadistica/.../files/2009_verosimilitud_empirica_roc_v2.pdf · Emilio Letón y Elisa M. Molanes 24 Punto de corte óptimo

1Emilio Letón y Elisa M. Molanes

Verosimilitud empírica aplicada a las curvas ROC

16-Oct-2009

[email protected]

[email protected]

Emilio LetónDpto. IAUNED

Elisa M. MolanesDpto. Estadística

UC3M


Índices de diagnósticoTests múltiples

TESTS DE DIAGNÓSTICO DICOTÓMICOS

TESTS DE DIAGNÓSTICO CONTINUOS

INFERENCIA DEL ÍNDICE DE YOUDEN


TESTS DE DIAGNÓSTICO DICOTÓMICOST+ T-

Enf a b r1Sano c d r2

s1 s2 n

OR=2.58 (p=0.04)

T+ T-Enf 10 30 40Sano 12 93 105

22 123 145

OR=69.75 (p<0.0001)

T+ T-Enf 36 4 40Sano 12 93 105

48 97 145


Índices de diagnóstico

- Sensibilidad y Especificidad.

- Valores predictivos.

- Razones de verosimilitud.


Sensibilidad y especificidad

( )Enf|TPr'adSensibilid 1 +=π=

( )Sano|TPr'1adspecificidE 2 −=π−=

11 r

a'pSens ==

212 r

drc

1'p1speE =−=−=


Dependencia de la prevalencia

T+ T-Enf 36 4 40Sano 120 930 1050

Prev 3.7% 27.6% 79.2%

Sens 90.0% 90.0% 90.0%

Espe 88.6% 88.6% 88.6%

T+ T-36 4 4012 93 105

T+ T-360 40 40012 93 105


Índices relacionados

( ) EspeevPr1SensevPrEficacia ⋅−+⋅=

1-EspeSensYouden +=

nda

ficE+

=

1rd

ra

J21

−+=


Valores predictivos

( )+=π= T|EnfPrPpositivoV 1

( )−=π−= T|SanoPr1VPnegativo 2

( )1

1 sa

pPV ==+

( )22

2 sd

sb

1p1PV =−=−=−



T+ T-Enf 36 4 40Sano 120 930 1050

Prev 3.7% 27.6% 79.2%

VP(+) 23.1% 75.0% 96.8%

VP(-) 99.6% 95.9% 69.9%

T+ T-36 4 4012 93 105

T+ T-360 40 40012 93 105


Incorporación de la prevalencia

( ) ( ) ( )Espe1evPr1SensevPrSensevPr

PV−⋅−+⋅

⋅=+

( ) ( )( ) ( )Sens1evPrEspeevPr1

EspeevPr1PV

−⋅+⋅−⋅−

=−

( ) ( )+=+ PVT|EnfPr

( ) ( )−−=− PV1T|EnfPr


Razones de verosimilitud

( )( )Sano|TPr

Enf|TPr''

LRpositivo2

1

++

=ππ

=

( )Espe1

Sens'p'p

LR2

1

−==+

( )( )Sano|TPr

Enf|TPr'1'1

LRnegativo2

1

−−

=π−π−

=

( )Espe

Sens1'p1'p1

LR2

1 −=

−−

=−



T+ T-Enf 36 4 40Sano 120 930 1050

Prev 3.7% 27.6% 79.2%

LR(+) 7.875 7.875 7.875

LR(-) 0.113 0.113 0.113

T+ T-36 4 4012 93 105

T+ T-360 40 40012 93 105


Incorporación de la prevalencia

( ) ( )( ) ( )evPr1LRevPr

LRevPrT|EnfPr

−++⋅+⋅

=+

( ) ( )( ) ( )evPr1LRevPr

LRevPrT|EnfPr

−+−⋅−⋅

=−

( ) ( )( ) ( )evPr1resLRevPr

resLRevPrres|EnfPr

−+⋅⋅

=


Nomograma de Fagan


Ganancia de la información

( )( ) evPr1

evPrEnfPr1

EnfPrprioriOdds

−=

−=

( )( )−+

=LRLR

OR

( )( ) )(LRprioriOdds

T|EnfPr1T|EnfPr

)(posOdds +⋅=+−

+=+

( )( ) )(LRprioriOdds

T|EnfPr1T|EnfPr

)(posOdds −⋅=−−

−=−


Tests múltiples

Test1 Test2 Test3

Sens 0.90 0.70 0.75

Espe 0.80 0.75 0.90

LR(+) 4.50 2.80 7.50

LR(-) 0.12 0.40 0.27

Prev=0.15


Combinación de razones de verosimilitud

( ) ( ) ( ) ( )+⋅−⋅+=+−+ LRLRLR,,LRglobal

( ) ( )( ) ( )evPr1,,LRglobalevPr

,,LRglobalevPr,,|EnfPr

−++−+⋅+−+⋅

=+−+

5.135.74.05.4 =⋅⋅=

( ) 70.015.015.1315.0

5.1315.0=

−+⋅⋅

=




Curvas ROC




( ) ( ) ( ) ( )cXPrD|cXPrcqcSens 1 >=>==

( ) ( ) ( )cXPrH|cXPrcp)c(speE 0 <=≤==

Umbral c

- PSA: antígeno específico de la próstata.

- TSH: hormona específica de la tiroides.


Curvas “Receiver Operating Characteristic”

( ) ( )( ) ( )Sens,Espe1cq,cp1 −=− ( ) ( )( )tFFtROC 101−=

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

Curva ROC

Linea de referencia

q(c)

p(c)-4 -3 -2 -1 0 1 2 3 4 5 6

0

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

f1f0

c


Poblaciones no solapadas

( ) ( )( ) ( ) ( )1,01,11cq,cp1 =−=−

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

Curva ROC

Linea de referencia

q(c)

p(c)

-4 -2 0 2 4 6 8 100

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

f1f0

c


Poblaciones completamente solapadas

( ) ( )( ) ( ) ( )( )cp1,cp1cq,cp1 −−=−

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

Curva ROC

Linea de referencia

q(c)p(c)

-4 -3 -2 -1 0 1 2 3 40

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

f0=f1

c


AUC

Sensi

Sensi-1

Inespei-1 Inespei

( )∑=

−− ⎟

⎠

⎞⎜⎝

⎛ +⋅−

k

1i

1ii1ii 2

SensSensInespeInespe


Punto de corte óptimo

- Esquina Noroeste.

- Índice de Youden.

Youden (1950), Fluss et al. (2005), Schisterman et al. (2005), Le (2006), Schisterman and Perkins (2007), …

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

1-Espe(c)S

ens(

c)

(1-p(cJ),q(cJ))

(1-p(cNO),q(cNO))


Índice de Youden (1/3)

( ){ }ℜ∈= c;cJmaxJ

( ) ( ) ( ) 1cpcqcJ −+=

( ) ( )( )cq,cp1 − ( ) ( )( )cp1,cp1 −−

( )( ) ( )( )( ) ( ) ( )( )( ) ( )cJcp1cqcp1cp1 22 =−−+−−−

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

Curva ROCLinea de referencia

q(c)

p(c)

J


( ) ( ) ( ) ( ) ( ) 1cXPrcXPr1cpcqcJ 01 −<+>=−+=

( ) ( ) ( )cFcFcJ 01 −=

Índice de Youden (2/3)

( ) ( ) ( )cfcfc'J0 01 +−==

-4 -3 -2 -1 0 2 3 4 5 60

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

c

f1f0



Método deltaVerosimilitud empírica ajustada

Estudio de simulaciónEjemplo

Conclusiones




- Basado en el teorema de Taylor.

- Útil para aproximar momentos de transformadas de v.a.

- Schisterman y Perkins (2007) para modelo binormal y modelo bigamma.

( )[ ] ( ) [ ] ( ) [ ]YV,yh

XV,xh

Y,XhV2

yx

2

yx ⎥⎦

⎤⎢⎣

⎡μμ

∂∂

+⎥⎦

⎤⎢⎣

⎡ μμ∂∂

≈

( ) ( ) ( )Y,XCov,yh

,xh

2 yxyx ⎥⎦

⎤⎢⎣

⎡μμ

∂∂

⎥⎦

⎤⎢⎣

⎡ μμ∂∂

+

Método delta


Modelo binormal

( ) ( ) 0,x,x21

exp2

1x,,f i

2i2

iiiii >σℜ∈⎥

⎦

⎤⎢⎣

⎡μ−

σ−

πσ=σμ

( ) ( ) ( )dxxfdxxfcJc 0c 1 ∫∫∞∞

−=

- Hay una expresión cerrada para copt.

- No es necesario tener dicha expresión.

- Se puede usar MV.


Varianza de J

[ ] [ ] [ ]1

2

10

2

0ˆVar

JˆVar

JJVar μ⎥

⎦

⎤⎢⎣

⎡μ∂∂

+μ⎥⎦

⎤⎢⎣

⎡μ∂∂

≈

[ ] [ ]1

2

10

2

0ˆVar

JˆVar

Jσ⎥

⎦

⎤⎢⎣

⎡σ∂∂

+σ⎥⎦

⎤⎢⎣

⎡σ∂∂

+

- Las parciales de J utilizan las parciales de c.

- De forma análoga se deduce una expresión para la varianza de .c


Parciales de J

( ) ( ) ( ) ( ) ( ) dxxxf1

1cF1cJ

c i2i

1i2i

ii

i

i∫∞+

σ−+

σμ

−=μ∂∂

( ) ( )( )cfcfc

10i

−μ∂∂

+

( ) ( ) ( ) ( ) ( ) dxxxf1

11

cF1cJ 2

c i3i

1i3i

2i

ii

i

i∫∞+

σ−+⎟⎟

⎠

⎞⎜⎜⎝

⎛

σμ

−σ

−=σ∂∂

( ) ( ) ( ) ( )( )cfcfc

dxxxf2

1 10i

c i3i

ii −σ∂∂

+σμ

−+ ∫∞


Formas cerradas para las parciales de c

( ) 0ccJ

opt =∂∂

( ) ( ) ( ) 0cc

ccJ

cc

Jopt

iopt2

2

opti

2

=μ∂∂

∂∂

+∂μ∂

∂

( )( )

( )

( ) ( )( ) ( )opt

10

opti

10

opt2

2

opti

2

opti c

cff

cff

ccJ

cc

J

cc

∂−∂μ∂−∂

−=

∂∂

∂μ∂∂

−=

μ∂∂


Caso especial (σ0= σ1=σ)

[ ] [ ] [ ]1

2

10

2

0ˆVar

JˆVar

JJVar μ⎥

⎦

⎤⎢⎣

⎡μ∂∂

+μ⎥⎦

⎤⎢⎣

⎡μ∂∂

≈

[ ]σ⎥⎦

⎤⎢⎣

⎡σ∂∂

+ ˆVarJ

2

- Ajustar las parciales de J.

- Ajustar las parciales de c.


Modelo bigamma

( )( )

0,0,0x,xe

x,,f iiii

1/x

iiii

ii

>β>α>αΓβ

=βαα

−αβ−

( ) 0p,dxxep 1p

0

x >=Γ −∞ −∫

( ) ( ) ( )dxxfdxxfcJc 0c 1 ∫∫∞∞

−=

- No hay una expresión cerrada para copt.

- No es necesario tener dicha expresión.

- Se puede usar MV.


Varianza de J

[ ] [ ] [ ]0

2

00

2

0

ˆVarJ

ˆVarJ

JVar β⎥⎦

⎤⎢⎣

⎡β∂∂

+α⎥⎦

⎤⎢⎣

⎡α∂∂

≈

( )0000

ˆ,ˆCovJJ

2 βα⎥⎦

⎤⎢⎣

⎡β∂∂

⎥⎦

⎤⎢⎣

⎡α∂∂

+

[ ] [ ]1

2

11

2

1

ˆVarJ

ˆVarJ

β⎥⎦

⎤⎢⎣

⎡β∂∂

+α⎥⎦

⎤⎢⎣

⎡α∂∂

+

( )1111

ˆ,ˆCovJJ

2 βα⎥⎦

⎤⎢⎣

⎡β∂∂

⎥⎦

⎤⎢⎣

⎡α∂∂

+


Caso especial 1 (α0=α1=α)

[ ] [ ] [ ]0

2

0

2

ˆVarJ

ˆVarJ

JVar β⎥⎦

⎤⎢⎣

⎡β∂∂

+α⎥⎦

⎤⎢⎣

⎡α∂∂

≈

( )00

ˆ,ˆCovJJ

2 βα⎥⎦

⎤⎢⎣

⎡β∂∂

⎥⎦

⎤⎢⎣

⎡α∂∂

+

[ ]1

2

1

ˆVarJ

β⎥⎦

⎤⎢⎣

⎡β∂∂

+

( )1010

ˆ,ˆCovJJ

2 ββ⎥⎦

⎤⎢⎣

⎡β∂∂

⎥⎦

⎤⎢⎣

⎡β∂∂

+

( )11

ˆ,ˆCovJJ

2 βα⎥⎦

⎤⎢⎣

⎡β∂∂

⎥⎦

⎤⎢⎣

⎡α∂∂

+


Caso especial 2 (β0=β1=β)

[ ] [ ] [ ]1

2

10

2

0

ˆVarJ

ˆVarJ

JVar α⎥⎦

⎤⎢⎣

⎡α∂∂

+α⎥⎦

⎤⎢⎣

⎡α∂∂

≈

( )βα⎥⎦

⎤⎢⎣

⎡β∂∂

⎥⎦

⎤⎢⎣

⎡α∂∂

+ ˆ,ˆCovJJ

2 00

[ ]β⎥⎦

⎤⎢⎣

⎡β∂∂

+ ˆVarJ

2

( )1010

ˆ,ˆCovJJ

2 αα⎥⎦

⎤⎢⎣

⎡α∂∂

⎥⎦

⎤⎢⎣

⎡α∂∂

+

( )βα⎥⎦

⎤⎢⎣

⎡β∂∂

⎥⎦

⎤⎢⎣

⎡α∂∂

+ ˆ,ˆCovJJ

2 11


Verosimilitud empírica ajustada

- Los métodos basados en la verosimilitud son más potentes.

- Los métodos no paramétricos evitan los problemas derivados de la incorrecta especificación de un modelo paramétrico.

- Verosimilitud empírica (EL): combina ambas metodologías.

- Propuesto por Thomas y Grunkemeier (1975) para calcular mejores intervalos de confianza para el estimador de KM.- Las principales ventajas de los IC calculados por EL es que respetan el rango del espacio de parámetros, que son invariantes frente a transformaciones y que su forma es”data-driven” (los datos hablan por sí mismos).

- EL ajustada: método propuesto para estimar cuantiles por Zhou y Jing (2003).


Distribución relativa

( ) ( ) ( )( ) ( )( )tFFtXFPrtZPrtR 1011001−=≤=≤=

- Handcock y Morris (1999).- Muy relacionada con el concepto de curva ROC.

( ) ( ) 101 Xdecuantil-sesctcF,scF ⇒==

( ) ( )t1ROC1tR01 −−=0Xedcuantil-tsec


( ) ( )t1ROC1tR01 −−=

180º

Distribución relativa vs. curva ROC

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

Curva ROC

Linea de referencia

q(c)

p(c)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

Distribución relativa

Linea de referencia

q(c)

p(c)


Método nuevo

- Basado en EL y bootstrapping.

- Estimación del punto de corte óptimo y del índice de Youdenasociado.

- IC para ambos.

- En primer lugar se calcula el umbral, y luego como valor añadido la estimación de J.

- Cuatro pasos.


Paso 1

( ) ( )∑=

⎟⎟⎠

⎞⎜⎜⎝

⎛ −=

10

n

1k 1

k1n0

101 h

XFtG

n1

tR

( ) ( ) dyyKxGx

∫ ∞−=

( ) ttRmaxargt 010 −=

( ) 110 t,tR


Paso 2

( ) ( ) ( ) ( )( ) ( )⎟⎟⎠

⎞⎜⎜⎝

⎛

−−

−+=i

ii

i

iii t1

cF1logcF1

tcF

logcFn2cL

- Aplicamos el método de EL ajustado para estimar cuantiles(Zhou y Jing (2003)).

- Estimación del t0-ésimo cuantil de la población sana c0.

- Estimación del t1-ésimo cuantil de la población enferma c1.

( ) ∑=

⎟⎟⎠

⎞⎜⎜⎝

⎛ −=

in

1k i

ik

ii g

XxG

n1

xF


Pasos 3 y 4

0cc =

( ) ( )01000 cFcFJ −=

- Remuestras bootstrap.- Método del percentil para los IC.

( ) ( )11101 cFcFJ −=

10 JJ si >

1cc = 10 JJ si ≤


Estudio de simulación

- MATLAB.- 1000 ensayos considerados: n0=50, n1=50.- Paso 1: kernel gausiano, parámetros de ventana:

-Paso 2: kernel específico, parámetros de ventana

-B=299 remuestras bootstrap: kernel gausiano, ventana:

( ) { }2/1

ii1x2 ng,1

82133

x8

21921xK −

≤ =⎪⎭

⎪⎬⎫

⎪⎩

⎪⎨⎧ +−

+−

=

{ } 31

11k10_n0k10_n01 nn,...,1k)),X(F(iqr)),X(F(stdmin34.19.0

h −==

{ } 51

00k0k0 nn,...,1k),X(iqr),X(stdmin34.19.0 −=

{ } 31

00k01_n1k01_n10 nn,...,1k)),X(F(iqr)),X(F(stdmin34.19.0

h −==


Escenarios

10.38425.65172.76501.6622α2=2.0

19.80209.78474.35652.4828α1=1.5

J=0.9J=0.8J=0.6J=0.4Forma α1

Índice de Youden J

1,5.1 00 =β=α


Resultados: c

1.972895.702.711895.400.92.01.425095.502.167396.700.82.0

1.162597.501.493596.200.62.0

1.767195.301.124491.700.42.0

1.972994.002.993094.200.91.5

1.376793.702.427198.300.81.5

0.999893.301.730196.500.61.5

1.174894.301.333589.600.41.5

AnchuraCobertura (%)AnchuraCobertura (%)Jα1

Método deltaELM


Resultados: J

0.121590.500.127789.900.92.00.180091.900.183791.500.82.0

0.248593.100.257393.800.62.0

0.280193.100.304594.400.42.0

0.121890.800.122290.400.91.5

0.179392.500.178592.900.81.5

0.244593.900.251994.000.61.5

0.277394.200.298894.500.41.5

AnchuraCobertura (%)AnchuraCobertura (%)Jα1

Método deltaELM


Ejemplo

- Le (2006).- 53 pacientes con cáncer de próstata: 20 con nódulos infectados y 33 sin nódulos infectados.- Biomarcador: nivel de “acid phosphatase” en sangre (x100).

Con nódulos infectados:48, 49, 51, 56, 67, 67, 67, 70, 70, 72, 76, 78, 81, 82, 82, 84, 89, 99, 126, 136.Sin nodos infectados:40, 40, 46, 47, 48, 48, 49, 49, 50, 50, 50, 50, 50, 52, 52, 55, 55, 56, 59, 62, 62, 63, 65, 66, 71, 75, 76, 78, 83, 95, 98, 102, 187.


Resultados (1/2)


Resultados (2/2)

- Nuestro método (sin asunciones paramétricas):Umbral=60.67, IC95%=(51.40, 67.50).

- Método delta:No aplicable.

- Le (Alternativas de Lehmann):Umbral=75.00.


Conclusiones

- El nuevo IC tiene buen comportamiento en términos de la cobertura y de la anchura.

- Competitivo con el método delta.

- No requiere de asunciones paramétricas.

- Mayor coste computacional en términos de tiempo que el método delta.


Trabajo futuro (1/2)

- LOD: límite de detección.

- Datos concentrados en torno a un valor (“spiked data”).

- Muestras combinadas.

- Covariables.


Trabajo futuro (2/2)

-10 -8 -6 -4 -2 0 2 4 6 8 100

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

f1 f1

f0


Referencias

- Le, C.T. A solution for the most basic optimization problem associated with an ROC curve. Statistical Methods in Medical Research 2006, 15, 571-584.- Letón, E.; Molanes, E.M. Statistics and Econometrics Series 2009, 07, Working Paper 09-19.- Pepe, M.S. The statistical evaluation of medical tests for classification and prediction. Oxford University Press, New York, 2003.- Schisterman, E.F.; Perkins, N.J. Confidence intervals for the Youden index and corresponding optimal cut-point. Communications in Statistics – Simulation and Computation 2007, 36, 549-563.

Documents

Verosimilitud empírica aplicada a las curvas ROCsct.uab.cat/estadistica/.../files/2009_verosimilitud_empirica_roc_v2.pdf · Emilio Letón y Elisa M. Molanes 24 Punto de corte óptimo