Epidemiología y demografía sanitaria Bloque de epidemiología Tema 13 Estudios de las pruebas...

Epidemiología y demografía sanitaria

Bloque de epidemiología

Tema 13

Estudios de las pruebas

diagnósticas

Dr. Esteve Fernández

¿Qué queremos aprender?

1. El concepto de variación en la medición y reproducibilidad.

2. Los conceptos y manera de calcular la sensibilidad y especificidad.

3. Los conceptos y manera de calcular los valores predictivos.

4. La utilidad de las curvas ROC y de las razones de verosimilitud.

5. Uso de pruebas diagnósticas en serie y en paralelo.

6. Los diseños para valorar la utilidad de las pruebas diagnósticas

Estructura de la sesión

1. Variación en la medición.

2. Reproducibilidad o concordancia de medidas.

3. Validez de una prueba diagnóstica.

4. Uso de pruebas diagnósticas en serie y en

paralelo.

5. Diseños para valorar una prueba diagnóstica.

Materiales para el aprendizaje

0. (Diapositivas de la lección)

1. Lectura recomendada

• Capítulo 14 libro Piédrola Gil y Capítulo 3 libro

Fletcher y cols.

2. Lecturas complementarias

• Artículos Aula Global

3. Seminario de resolución de problemas nº 9

Variación en la medición

Las apariencias a la mente son de cuatro clases.Cosas hay que son lo que parecen ser;o no lo son y no parecen serlo;o lo son y no parecen serlo;o no son y sí parecen serlo.Es tarea del hombre sabioel decidir correctamenteen todos esos casos

Epícteto (siglo II dC)Discursos (libro I, cap. 27)

La práctica de la medicina clínica

consiste en interpretar signos,

síntomas y “pruebas diagnósticas”

para tomar decisiones: diagnosticar,

tratar, o no tratar…

200 -

180 -

160 -

140 -

120 -

100 -

80 -

Valores hipotéticos de TA sistólica en un individuo

tiempo

Ten

sión

art

eria

l sis

tólic

a (m

m H

g)

Fuentes de variabilidad

Reproducibilidad o concordanciaGrado en que concuerdan dos o más mediciones sobre la misma muestra

ValidezGrado en que una medición coincide con la verdad

Validez y reproducibilidad…...

Reproducibilidad o concordancia de medidas

Reproducibilidad

Repetibilidad / Concordancia / Acuerdo / Fiabilidad

Grado en en que una variable tiene el mismo valor cuando se mide varias veces

en la misma muestra

La reproducibilidad es previa a la validez

El consenso (alta reproducibilidad) es útil en ausencia de referente

Reproducibilidad o concordancia

• interobservador grado de coincidencia de un observador consigo mismo

• entre observadores grado de concordancia entre dos o más observadores

Reproducibilidad de variables categóricas

–

+

–+

a b

c d

Observador B

Ob

serv

ado

r A

Acuerdo específico en lo positivoPo+ = 2a / (2a+b+c)

Acuerdo específico en lo negativoPo- = 2d / (2d+b+c)

Acuerdo totalPo = (a+d) / (a+b+c+d)

Problemas Depende de los pares discordantes Puede haber concordancia al azar

Índice Kappa (test de Cohen)

Resume la concordancia entre dos medidas de una variable en escala cualitativa, tras eliminar la concordancia debida al azar.

i

k

iie

k

iii

e

e

ppp

pp

p

ppKappa

.1

.

10

0

*

1

–

+

–+

a b

c d

Observador B

Ob

serv

ado

r A

Concordancia entre dos radiólogosal leer una mamografía (imagen patológica sí/no)

Sí

No

Sí No

71 41

42 455

Observador B

Ob

serv

ado

r A

113 496

112

497

609

Acuerdo específico en lo positivoPo+ = 2a / (2a+b+c)Po+ = 0,6311 = 63,1%

Acuerdo específico en lo negativoPo- = 2d / (2d+b+c)Po- = 0,9164 = 91,6%

Acuerdo totalPo = (a+d) / (a+b+c+d)Po = 0,8637 = 86,4%

Pasamos a probabilidades…

Sí

No

Sí NoObservador B

Observador A1166.0

609

71

7471.0609

455

1839.0609

112

8144.0609

496

8161.0609

497

1856.0609

113

547.06989.01

6979.08637.0

1

6989.0)8161.0*8144.0()1839.0*1856.0(*

8637.07471.01166.0

0

.1

.

10

e

e

i

k

iie

k

iii

p

ppKappa

ppp

pp

Clasificaciones propuestas para la interpretación del índice kappa

0

0,2

0,4

0,6

0,8

1

-1.0

Landis andKoch (1977) Altman (1991) Fleiss (1981) Byrt (1996)

Almostperfect

Substantial

Moderate

Fair

Slight

Poor

Very good

Good

Moderate

Fair

Poor

Excellent

Fairto

good

Poor

Excellent

Very good

Good

Fair

Slight

Poor

Noagreement

¿Y si tuvieramos tres opciones de respuesta?

Observador B

Ob

serv

ado

r A

+ +/– –

+

+/–

– ew

ewww

p

pp

ponderadaKappa

10

Problemas con el uso de kappa

• Depende de la prevalencia de “verdaderos

positivos” (o del desequilibrio entre resultados

negativos y positivos)

dar el valor de , Po+ y Po-

• Puede estar sesgado por la asimetría de las

discordancias

plantear diferentes escenarios de acuerdo

Reproducibilidad de variables continuas

• Pueden categorizarse pérdida de información

• No usar coeficiente de correlación

(regresión a la media)

• Trabajar con la “diferencia entre variables”

y sus medias:

coeficiente de correlación intraclase

t de Student para datos apareados

Ej.: Concordancia entre dos balanzas en la medida del peso

Validez de una prueba diagnóstica

Validez

Grado en el que los resultados de una medición corresponden al fenómeno real (“la verdad”)

ENFERMEDAD

PRUEBA

Sí

+

No

–

Verdaderospositivos

Falsospositivos

Falsosnegativos

Verdaderosnegativos

a b

c d

o no lo son y no parecen serlo;o lo son y no parecen

serlo;

o no son y sí parecen serlo.

Cosas hay que son lo que parecen ser; ENFERMEDAD

PRUEBA

Sí

+

No

–

Verdaderospositivos

Falsospositivos

Falsosnegativos

Verdaderosnegativos

a b

c d

– Grado en que los resultados de una prueba corresponden realmente a aquello que se está midiendo.

– Capacidad de la prueba para medir el fenómeno que se está estudiando.

– Capacidad de una prueba diagnóstica de clasificar correctamente a enfermos y no enfermos.

Parámetros de validez interna:– Sensibilidad (S) de la prueba– Especificidad (E) de la prueba

Validez

Parámetros de validez interna: sensibilidad

Sensibilidad

Probabilidad de que la prueba sea positiva si la enfermedad está presente.

ENFERMEDAD

PR

UE

BA

Sí

+

No

–

Verdaderospositivos

Falsospositivos

Falsosnegativos

Verdaderosnegativos

a b

c d

Sensibilidad: S =a

a + c

Ejemplo:S=0,75 u 75%La prueba es positiva en el 75% de los que tienen la enfermedad

Parámetros de validez interna: especificidad

Especificidad

Probabilidad de que la prueba sea negativa en los individuos sanos.

ENFERMEDAD

PR

UE

BA

Sí

+

No

–

Verdaderospositivos

Falsospositivos

Falsosnegativos

Verdaderosnegativos

a b

c d

Especificidad: E =d

b + d

Ejemplo:E=0,90 u 90%La prueba es negativa en el 90% de los que no tienen la enfermedad

Ejemplo: Validez del diagnóstico clínico de la faringitis en 152 pacientes (patrón de oro: cultivo)

Cultivo faríngeo

Dia

gnós

tico

clín

ico +

+

–

–

27 35

10 77 Especificidad: E =d

b + d

Sensibilidad: S =a

a + c

S = 27 / 37 = 73%

E = 77 / 112 = 69%

IC95%:

p 1,96 (p (1-p) / N)

S= 0,73 (0,66 - 0,80)

E= 0,69 (0,61 - 0,76)

Interés de pruebas sensibles

• Cuando el precio de omitir un diagnóstico sea elevado o cuando existe riesgo de extensión de la enfermedadObjetivo: detectar que se tiene la enfermedad (para tratarla o prevenir su extensión)Ej.: linfoma, Sida

• En las primeras etapas diagnósticas, cuando hay numerosas posibilidades diagnósticas, con la intención de disminuir éstas. Objetivo: descartar procesos.Ej.: sospecha de neoplasia

Una prueba sensible sobre todo es útil cuando su resultado es negativo.

• Útiles para confirmar un diagnóstico que ha sido sugerido por otros datos una prueba específica da pocos resultados “falsos positivos”.

Objetivo: confirmar que no se tiene el proceso

• Cuando los falsos positivos pueden causar perjuicio importante al paciente (físico, emocional o económico).

Una prueba específica sobre todo es útil cuando su resultado es positivo.

Interés de pruebas específicas

• Aparentemente no están relacionadas: la S se mide entre los que tienen la enfermedad y la E entre los que están sanos...

¿Relación entre S y E?

Angina

IAM

[CPK]

FPVN

• Aparentemente no están relacionadas: la S se mide entre los que tienen la enfermedad y la E entre los que están sanos...

¿Relación entre S y E?

Angina

IAM

[CPK]

FN VP

• Aparentemente no están relacionadas: la S se mide entre los que tienen la enfermedad y la E entre los que están sanos...

¿Relación entre S y E?

Angina

IAM

[CPK]FP EspecificidadVN

VP SensibilidadFN

¿Relación entre S y E?

FP EspecificidadVN

VP SensibilidadFN

Relación inversa

Cuanto más exigente sea el criterio,menor será la sensibilidad y mayor la especificidad

Puntos de corte

CPK

Valor S E

1 70 100.0 17.7

2 120 94.0 40.3

3 140 92.5 59.7

4 160 85.1 82.3

5 180 82.6 83.9

6 200 73.1 87.1

7 220 70.1 90.3

8 260 67.2 90.3

9 300 61.2 90.3

10 340 68.2 90.3

11 400 32.8 96.8

12 500 16.8 100.0

Relación inversa entre S y E

La relación inversa entre S y Esuele representarse mediante la curva ROC“receiver operating characteristic”

sensibilidadvs.1 – especificidad

sens

ibili

dad

1 – especificidad

Curva ROC

• Permite el cálculo del área bajo la curva

• Impresión gráfica de la relación entre S y E

• Facilita elección puntos de corte

• Permite valorar todo el espectro de valores

• Permite comparar pruebas diagnósticas (gráfica y estadísticamente)

sens

ibili

dad

1 – especificidad

VN+VPDiagnósticoscorrectos

FP+FN

Valores predictivos

En clínica normalmente deseamos saber si el resultado (positivo o negativo) de la

prueba es correcto o no, es decir, la probabilidad de la enfermedad tras

saber el resultado de la prueba

Valor predictivo positivo

• Probabilidad que tiene una prueba de detectar enfermos cuando da un resultado positivo

ENFERMEDAD

PR

UE

BA

Sí

+

No

–

Verdaderospositivos

Falsospositivos

Falsosnegativos

Verdaderosnegativos

a b

c d

VPP =a

a + b

Ejemplo:VPP=0,99 0 99%El 99% de los pacientes con la prueba positiva tiene realmente la enfermedad

Valor predictivo positivo

• Probabilidad que tiene una prueba de detectar enfermos cuando da un resultado positivo

VPP =a

a + b

VPP =P * S

P * S + (1 – P) (1 – E)

El VPP depende de la prevalencia o probabilidada priori de la enfermedad

Cuando la muestra no es representativa se calcula a partir del Teorema de Bayes

P: prevalenciaS: sensibilidadE: especificidad

Valor predictivo negativo

• Probabilidad que tiene una prueba de detectar sanos cuando da un resultado negativo

ENFERMEDAD

PR

UE

BA

Sí

+

No

–

Verdaderospositivos

Falsospositivos

Falsosnegativos

Verdaderosnegativos

a b

c d

VPN =c

c + d

Ejemplo:VPN=0,10 0 10%El 10% de los pacientes con la prueba negativa tiene realmente la enfermedad

Valor predictivo negativo

• Probabilidad que tiene una prueba de detectar sanos cuando da un resultado negativo

VPN =c

c + d

VPP =(1 – P) * E

(1 – P) E + P (1 – S)

El VPN depende de la prevalencia o probabilidada priori de la enfermedad

Cuando la muestra no es representativa se calcula a partir del Teorema de Bayes

P: prevalenciaS: sensibilidadE: especificidad

Valores predicitivos --implicaciones

Dado que dependen de la prevalencia:

• Las pruebas diagnósticas funcionan mejor cuando la prevalencia de la enfermedad es mayor

• El uso de pruebas diagnósticas debe tener en cuenta las características de la enfermedad en el contexto en que se usan

• La prevalencia de enfermedad depende del nivel asistencial

Razones de verosimilitud(razones de probabilidad diagnóstica)

(likelihood ratios)

Parámetros independientes de la prevalencia de la enfermedad que

aglutinan la información sobre sensibilidad y especificidad

Razón de verosimilitud positiva (RVP)

La RVP relaciona… … la ventaja preprueba de diagnosticar la enfermedad (odds de prevalencia, P / 1 – P) … con la ventaja posprueba de un resultado positivo (odds del VPP, VPP / 1 – VPP)

VPP

1 – VPP

P

1 – P

S

1 – E= X

Razón de verosimilitud positiva (RVP)

Cuanto mayor es la RVP (sobre 1) más importante es la contribución de un resultado positivo de la prueba en el diagnóstico de la enfermedad.

EjemploRVP=8 indica que el resultado es proporcionalmente 8

veces más frecuente en los enfermos que en los no enfermos

RVP >10 -- prueba excelenteRVP 5-10 -- prueba buenaRVP 2-5 -- prueba regularRVP 1-2 -- deficiente

Razón de verosimilitud negativa (RVN)

La RVN relaciona… … la ventaja preprueba de diagnosticar la enfermedad (odds de prevalencia, P / 1 – P) … con el inverso de la ventaja posprueba de un resultado negativo (odds del VPN, VPN / 1 – VPN)

1 – VPN

VPN

P

1 – P

1 – S

E= X

La RVN valora la contribución de un resultado negativo en la “no confirmación” de la enfermedadmás importante cuanto más cerca de 0

1 – S

E

Razón de verosimilitud negativa (RVN)

E

1 – S

Se puede definir RVN al revés.Informa de la relación entre la ventaja preprueba de no enfermedad y la ventaja posprueba del resultado negativo, y su escala es similar a la de la RVP

Uso de pruebas diagnósticas múltiples

Pruebas diagnósticas múltiples

• Tipos:

– pruebas en paralelo (a la vez): un resultado positivo de cualquiera de ellas se considera diagnóstico de la enfermedad

– pruebas en serie (consecutivas): sólo se considera el diagnóstico de enfermedad cuando todas las pruebas dan positivas.

Pruebas en paralelo

• Cuando se necesita un diagnóstico rápido

(Ej.: pacientes hospitalizados o en urgencias)

– aumentan la sensibilidad y el VP negativo

– disminuyen la especificidad y el VP positivo

A

B

C

+

+

+

–

–

–

Prueba A o prueba B o prueba C positivas

Pruebas en paralelo

• Especialmente útiles cuando se requiere una prueba muy sensible pero sólo se dispone de pruebas relativamente insensibles que miden diferentes fenómenos clínicos.

• Es menos probable que la enfermedad se pase por alto, pero también hay más falsos positivos.

• Perjuicio: el tratamiento de algunos pacientes sin la enfermedad.

Pruebas en serie

• Cuando no se precisa una evaluación rápida

• Cuando alguna de las pruebas tiene un coste o un riesgo elevado

-- aumentan la especificidad y el VP positivo

-- disminuyen la sensibilidad y el VP negativo

A + B + C +

– – –

Prueba A y prueba B y prueba C positivas

Diseños para valorar pruebas diagnósticas

Diseños para valorar pruebas diagnósticas

Aspectos clave

• Seleccionar una muestra que represente a los pacientes o a la población en la que se aplicará la prueba

• Se debe estudiar la prueba diagnóstica bajo condiciones reales de aplicación (sin que el estudio influya en cómo se realizan)

• Independencia de las observaciones: en los estudios de concordancia es crucial que los observadores no se influyan

Diseños para valorar pruebas diagnósticas

Estudio transversal

• Único que se utiliza en los estudios de reproducibilidad• Segundo más usado en el estudio de la validez

• La prueba se aplica a una muestra representativa de los sujetos en los que luego se utilizará y todos los resultados se confirman mediante una prueba de referencia

• Permite calcular S y E; VPP y VPN; RVP y RVN

punto clave: selección de la muestra

Diseños para valorar pruebas diagnósticas

Estudio de casos y controles

• Diseño más usado en estudios de validez, y al mismo tiempo el que más problemas plantea

• Se seleccionan casos con la enfermedad y controles con diagnósticos diferenciales de la enfermedad (y con confirmación del diagnóstico mediante la prueba de referencia)

• Permite calcular la S en los casos y la E en los controles

Si enfermos y no enfermos no guardan la debida proporción no se pueden calcular los VPP y VPN

Diseños para valorar pruebas diagnósticas

Estudio de cohortes

• Se utilizan menos para valorar pruebas diagnósticas

• A partir de una muestra representativa de la población de referencia se forman dos cohortes, una con la prueba positiva y otra con la prueba negativa. En la cohorte con la prueba positiva se aplica la prueba de referencia y la cohorte con prueba negativa se sigue para descartar el diagnóstico

La declaración STARDStandards for Reporting of Diagnostic Accuracy

Es una guía de 25 puntos (y un diagrama de flujo), que pueden utilizar autores, editores, revisores y lectores para la redacción de artículos sobre pruebas diagnósticas y para su evaluación

Disponible en Aula Global

Recapitulación

1. Variación en la medición

Reproducibilidad o concordanciaGrado en que concuerdan dos o más mediciones sobre la misma muestra

ValidezGrado en que una medición coincide con la verdad

Recapitulación

2. Reproducibilidad o concordancia

–

+

–+

a b

c d

Observador B

Ob

serv

ado

r A

• Acuerdo total• Acuerdo específico en lo

positivo• Acuerdo específico en lo

negativo• Índice Kappa • Índice Kappa ponderado

Recapitulación

3. Validez de una prueba diagnóstica

Grado en el que los resultados de una medición corresponden al fenómeno real (“la verdad”)

ENFERMEDAD

PR

UE

BA

Sí

+

No

–

Verdaderospositivos

Falsospositivos

Falsosnegativos

Verdaderosnegativos

a bc d

• Sensibilidad (S) y Especificidad (E)• Curva ROC• Valores predictivos (VPP y VPN)• Razones de verosimilitud (RVP y RVN)

Recapitulación

4. Pruebas diagnósticas múltiples

Pruebas en paralelo

• aumentan la sensibilidad y el VPN

• disminuyen la especificidad y el VPP

Pruebas en serie

• aumentan la especificidad y el VPP• disminuyen la sensibilidad y el VPN

A

B

C

+

+

+

–

–

–

A + B + C +

– – –

Recapitulación

5. Diseños para valorar pruebas diagnósticas

• estudios transversales

• estudios de casos y controles

• estudios de cohortes

• La declaración STARD

Epidemiología y demografía sanitaria

Bloque de epidemiología

Tema 13

Estudios de las pruebas

diagnósticas

Dr. Esteve Fernández