Concordancia Entre Observadores

8/19/2019 Concordancia Entre Observadores

1/6

1

.

En unidades anteriores hemos visto como en la práctica clínica es frecuente comparar,con un estándar, técnicas o procedimientos diagnósticos (o de medida) nuevos, con elfin de determinar su y, por lo tanto, su utilidad en la práctica clínica. A menudo,se comparan diferentes pruebas con el fin de ver cuál de ellas tiene los mejores índicesde sensibilidad y especificidad. En este proceso se determina si la prueba nueva tiene ungrado suficiente de acuerdo para su utilización.

La , es la capacidad para medir lo que realmente quiere medir. Una medida depeso es válida si se corresponde con el peso real de la persona que estamos pesando enese momento. Una prueba diagnóstica es válida cuando clasifica al enfermo comoenfermo. Cuando la medida se aleja de la verdad, estamos cometiendo un sesgo y, porlo tanto, se produce una alteración de la validez.

Ahora bien, qué ocurriría si nosotros volvemos a aplicar la misma prueba o repetimos lamedición al mismo paciente, ¿obtendríamos el mismo diagnóstico o, por el contrario elresultado, sería diferente?. ¿Podemos de los resultados de la prueba, en todas las ocasiones?.

La , es la capacidad de una medición para obtener elmismo valor cuando se realiza sobre la misma muestra en más de una ocasión.

La es sinónimo de reproducibilidad. Evalúa si las diferentes pruebasproducen cuando se aplican a los mismos pacientes en .

La concordancia, también se emplea para evaluar el acuerdo entre distintosobservadores omedidas repetidas realizadas por un mismo observador. La variación de

Contenido:

1. Introducción:Concepto y utilidades2. Metodología:

EjemploTabulaciónAnálisis: Índice Kappa

3. Características del Índice Kappa4. Bibliografía


2/6

2

un observador respecto de sí mismo, de un estandar o de otros observadores, se puede

medir por medio de la concordancia alacanzada al examinar y clasificar una serie de

elementos (pacientes, radiografías, etc…)

La evaluación de la reproducibilidad de las pruebas diagnósticas o la concordancia entreobservadores puede aplicarse en las siguientes situaciones:

1 Concordancia entre observadores. El interés de la investigación es valorar lo

reproducible que es una prueba, es decir la capacidad que tiene para obtener el mismo

valor cuando la medición se realiza en la misma muestra en más de una ocasión en

condiciones similares.

2. Concordancia intra-observador. Compara un observador consigo mismo; la misma

persona realiza la misma medición dos veces; por ejemplo a un radiólogo se le entrega

dos o más veces la misma serie de radiografías para quelas clasifique. En ocasiones, a

la hora de valorar una prueba diagnóstica, no existe un patrón oro de referencia , por lo

que dos métodos o pruebas pueden ser comparados sinque uno sea considerado superior

a otro.

El análisis de la reproducibilidad de una prueba diagnóstica es un paso previo al estudio

de validez. Si no hay reproducibilidad, la validez estará comprometida, ya que se

valorará con mayor dificultad.

: Para ilustrar el método vamos a tener en cuenta el siguiente escenario: Dos

clínicos diferentes establecen, de forma independiente, el diagnóstico de tuberculosis enuna muestra de 10 pacientes. El diagnóstico lo llevan a cabo mediante el estudio de las

mismas 10 radiografía de tórax de los pacientes. El diagnóstico establecido se encuentra

recogido en la tabla 1. Con esta información pretendemos analizar el grado de

concordancia o coincidencia entre los dos clínicos en el diagnóstico de tuberculosis.

1 POSITIVO POSITIVO

2 POSITIVO POSITIVO

3 POSITIVO POSITIVO

4 POSITIVO NEGATIVO5 NEGATIVO POSITIVO

6 NEGATIVO POSTIVO

7 NEGATIVO NEGATIVO

8 NEGATIVO NEGATIVO

9 NEGATIVO NEGATIVO

10 NEGATIVO NEGATIVO


3/6

3

La se recogen en la tabla 2.

a + + Concordantes 3

b + - Discordantes 1

c - + Discordantes 2

d - - Concordantes 4

Observe en ella las siguientes situaciones:

1. Encontramos 4 posibles parejas de resultados (a, b, c, d).

2.

Cada una de las parejas están formadas por el diagnóstico establecido por los

dos observadores.

Por ejemplo, en las parejas del grupo “a”, la combinación es (+,+), es decir,

ambos observadores han dictaminado que el paciente tiene tuberculosis. En elcaso de las parejas del tipo “b”, la combinación es (+,-), es decir, el observador 1

diagnostica una tuberculosis, mientras que el observador 2, no la diagnostica.

3. Los pares con igual diagnóstico se denominan concordantes. Los pares con

diferente diagnóstico se denominan discordantes.

4. En el análisis vamos a tener en cuenta el número de pares de cada una de las

combinaciones. Nos interesa principalmente la información proporcionada por

los pares concordantes.

5. Si la concordancia entre los observadores es perfecta, sólo existirán pares

concordantes (a y d). En el ejemplo existe un 70% de concordancia o acuerdo (7

pares concordantes/10 pacientes).

Lo primero que tenemos que hacer es . Elaborar una tabla decontingencia de 2x2, en la que se recogen los resultados del observador 1, en las filas, y

del observador 2, en las columnas. En las casillas internas se colocan el número de pares

con cada uno de los posibles resultados.

Diagnóstico de tuberculosisPositivo Negativo

Positivo (a) 3 (b) 1 4

Negativo (c) 2 (d) 4 6

5 5 10

En el podemos valorar dos parámetros:

1. (concordancia simple). Nos indica en que medida losobservadores coinciden en la clasificación de los pacientes. Se expresa como el

porcentaje de acuerdo entre los observadores. En el ejemplo, el índice de concordancia,


4/6

4

o porcentaje de acuerdo, es del 70%. Ambos observadores coinciden en 3 + 4 ocasiones

de 10 posibles [(7/10)*100].

Es un índice fácil e intuitivo que nos da una primera aproximación de la concordancia

entre observadores. No obstante, tiene el inconveniente de no considerar (neutralizar) la

influencia del azar. Suponga el caso extremo siguiente: a dos personas sin ninguna

formación clínica se les encarga que clasifiquen a los pacientes en enfermos(tuberculosis) o sanos; en esta situación, debido al azar, y no al criterio clínico, el

“diagnóstico” coincidirá en un número determinado de sujetos,

2. de concordancia. El índice de Kappa expresa el grado de acuerdo, unavez eliminada la parte atribuida al azar. El método elimina la concordancia debida

exclusivamente al azar.

Para su cálculo necesitamos conocer:

a) proporción de acuerdo observado.

b) proporción de acuerdo debido al azar.

c) proporción de acuerdo no explicada por el azar.

d) proporción máxima de acuerdo no explicada por el azar que podemos alcanzar

Los datos absolutos de la tabla inicial la

transformamos en una tabla de probabilidades o proporciones (tabla 4). ¿Cómo?:

dividiendo los efectivos de cada una de las casillas por el total de pacientes que se han

observado. Por ejemplo, los efectivos de la casilla “a = 3” los transformamos en

probabilidades “0,3 = 3/10”


Positivo (a) (b) 0,1 0,4

Negativo (c) 0,2 (d) 0,6 0,5 0,5 1,0

La proporción de acuerdo observada (Po) es la suma de las proporciones de los

resultados coincidentes (a+d). En el ejemplo la proporción observada es 0,3 + 0,4, es

decir existe concordancia en el 0,7 (70%) de los casos.

En la tabla de datos, calcular las

probabilidades, o proporciones, esperadas para cada uno de los resultados concordantes

(tabla 5). ¿Cómo?: multiplicando las probabilidades de dar un resultado (positivo o

negativo) de ambos observadores; por ejemplo, la proporción de acuerdo de la casilla

“a” sería el producto de la probabilidad de diagnosticar una tuberculosis el observador 1

(0,4) por la del observador 2 (0,5); es decir, la proporción esperada por efecto del azar

de “a” es de 0,2 (20%).


5/6

5


Positivo (a) 0,4 x 0,5 = 0,4

Negativo (d) 0,6 x 0,5 = 0,6 0,5 0,5 1,0

La proporción de acuerdo esperada por el azar (Pe) es la suma de las proporciones de

los resultados coincidentes (a+d). En el ejemplo, la proporción esperada es 0,2 + 0,3, es

decir existe concordancia global debida al azar del 0,5 (50%) de los casos.

. Se obtiene de restar a la proporción

observada (Po) la esperada por efecto del azar (Pe). En el ejemplo: Po – Pe = 0,70 - 0,50

= 0,20. La concordancia no explicada por el azar fue del 20%.

Interpretación:- Si el valor es “0” indica que la concordancia observada es debida totalmente al azar.

- Si el valor es “diferente” de cero, indica que el grado de acuerdo es mayor que el que

cabría esperar si solo estuviera influyendo el azar.

. Si la concordancia es

perfecta, la probabilidad observada de acuerdo es de 1 (100%), la más alta que se puede

encontrar. Si a la máxima concordancia observada le descontamos la esperada por el

azar, obtenemos la máxima concordancia posible no explicada por el azar (sin

intervención del azar). En el ejemplo, es de 0,50 (1-0,50).

El , es el cociente entre la proporción de acuerdo no explicada por elazar y la máxima concordancia posible sin influencia del azar.

En el ejemplo: [(0,70 - 0,50)/(1-0,50)] = [0,20/0,50] = 0,4 (40%)


6/6

6

El valor máximo del Índice Kappa es “1”, se da cuando existe la máxima coincidenciaposible, pero . En general se suele aceptar:

- Leve: valores entre 0-20

- Baja: valores de 0,21-0,40.- Moderada (aceptable): valores 0,41-0,60.- Bueno: valores entre 0,61-0,80- Excelente: valores entre 0,81-1

En el ejemplo, el grado de concordancia (0,40) es BAJO

.

Una de las principales limitaciones del I Kappa es la influencia que tiene sobre el laprevalencia de la enfermedad o el efecto estudiado. Esta influencia dificulta lageneralización de los resultados obtenidos en la comparaciones en situaciones conprevalencia de la enfermedad diferentes.

.

Cepeda Moreno MS, Pérez Medina A. Estudios de Concordancia: Intercambiabilidad ensistemas de medición. En: Álvaro Ruiz y Luis E Morillo, eds. Epidemiología Clínica.Investigación clínica aplicada. Colombia: Panamericana;2004.

Martínez-González MA, ed. Bioestadística amigable. 2ªed. España: Diaz de Santos;

2006.

Sackett, Haynes, Guyatt, Tugwell, eds. Epidemiología clínica. Ciencia básica para lamedicina clínica. 2ª ed. Argentina: Panamericana; 1994.

Documents

Concordancia Entre Observadores