Medición de la Medición de la concordanciaconcordancia

Preparado por:Preparado por:

Juan José García GarcíaJuan José García García

En el proceso de atención clínica no es En el proceso de atención clínica no es raro que, ante el mismo dato, se raro que, ante el mismo dato, se expresen opiniones distintas en la expresen opiniones distintas en la interpretación.interpretación.

Este hecho puede ocurrir entre dos Este hecho puede ocurrir entre dos colegas, pero aún un mismo colegas, pero aún un mismo profesional, puede llegar a conclusiones profesional, puede llegar a conclusiones diferentes si observa, por ejemplo, una diferentes si observa, por ejemplo, una misma imagen, sin saberlo.misma imagen, sin saberlo.

El procedimiento para determinar la El procedimiento para determinar la concordancia entre observadores o concordancia entre observadores o intraobservador, consiste en intraobservador, consiste en comparar las opiniones, juicios o comparar las opiniones, juicios o resultados emitidos u obtenidos por resultados emitidos u obtenidos por dos personas diferentes o por la dos personas diferentes o por la misma persona en dos ocasiones misma persona en dos ocasiones diferentes. diferentes.

La evaluación debe ser “a ciegas” La evaluación debe ser “a ciegas” con respecto al diagnóstico definitivo con respecto al diagnóstico definitivo y a la opinión de los otros y a la opinión de los otros participantes o la de la misma participantes o la de la misma persona, expresada previamente.persona, expresada previamente.

Naturaleza de los datos: Naturaleza de los datos: Tipo de variable estudiadaTipo de variable estudiada

Cuando la variable es de tipo Cuando la variable es de tipo cualitativo, particularmente nominal cualitativo, particularmente nominal dicotómica, (expresada como sí/no o dicotómica, (expresada como sí/no o presente/ausente) u ordinal (por presente/ausente) u ordinal (por ejemplo, leve, moderado, severo), se ejemplo, leve, moderado, severo), se puede calcular un valor que expresa puede calcular un valor que expresa el grado en que dos observaciones el grado en que dos observaciones han coincidido.han coincidido.

EjemplosEjemplos

En la literatura se pueden encontrar En la literatura se pueden encontrar diversas aplicaciones de esta diversas aplicaciones de esta preocupación por saber qué tanto preocupación por saber qué tanto coinciden dos interpretaciones de coinciden dos interpretaciones de procedimientos diagnósticos, tales procedimientos diagnósticos, tales como los de imagenología, trazos como los de imagenología, trazos electrocardiográficos, estudios electrocardiográficos, estudios histopatológicos, características del histopatológicos, características del fondo de ojo, etc.fondo de ojo, etc.

Medición de la concordanciaMedición de la concordanciaCasoCaso Observador 1Observador 1 Observador 2Observador 2 1 +1 + + + 2 + -2 + - 3 - +3 - + 4 - -4 - -

Nótese que para los n casos hay dos Nótese que para los n casos hay dos mediciones, y que de acuerdo con el mediciones, y que de acuerdo con el recuento de ellas se llenarán las celdillas recuento de ellas se llenarán las celdillas de una tabla como la que se muestra a de una tabla como la que se muestra a continuación, con respecto a la presencia continuación, con respecto a la presencia o ausencia de una alteración.o ausencia de una alteración.

Tabla general para el análisis de la Tabla general para el análisis de la concordanciaconcordancia

Observador 2

Observador 1 Presente Ausente Total

Presente a b a + b

Ausente c d c + d

Total a + c b + d n

Porcentaje de concordanciaPorcentaje de concordancia

Puede determinarse como concordancia Puede determinarse como concordancia absoluta y como concordancia específica, absoluta y como concordancia específica, esta última referida a los casos esta última referida a los casos diagnosticados como positivos o diagnosticados como positivos o negativos por ambos observadores. negativos por ambos observadores.

Esta medida representa la proporción Esta medida representa la proporción de observaciones en las cuales los de observaciones en las cuales los observadores reportan resultados observadores reportan resultados iguales, mide por tanto la variabilidad iguales, mide por tanto la variabilidad entre observadores.entre observadores.

No considera la posibilidad de que las No considera la posibilidad de que las coincidencias sean debidas al azar.coincidencias sean debidas al azar.

Entre los diversos indicadores Entre los diversos indicadores construidos para hacer esta construidos para hacer esta evaluación, destaca el índice o evaluación, destaca el índice o coeficiente kappa, que ha recibido coeficiente kappa, que ha recibido aceptación, al considerar en su aceptación, al considerar en su cálculo el papel que pudo tener el cálculo el papel que pudo tener el azar en la coincidencia de las azar en la coincidencia de las observaciones.observaciones.

Analicemos la siguiente Analicemos la siguiente tabla:tabla:

Medición de la concordanciaMedición de la concordancia

Observador 1 Total

Presente Ausente

Observador 2 Presente 140 52 192

Ausente 69 725 794

Total 209 777 986

Medición de la concordanciaMedición de la concordancia

Coeficiente o índice KappaCoeficiente o índice Kappa

Mejora la estimación del porcentaje de concordancia ya Mejora la estimación del porcentaje de concordancia ya que descuenta la proporción de la misma que puede que descuenta la proporción de la misma que puede ocurrir por azar.ocurrir por azar.

K = K = Co - CeCo - Ce

1 - Ce1 - Ce

Donde: Donde:

Co = concordancia observada = (a + d)/nCo = concordancia observada = (a + d)/n

Ce = concordancia esperada por azarCe = concordancia esperada por azar

= {[(a + b)/n] x [(a + c)/n]} + {[(c + d)/n] x [(b + = {[(a + b)/n] x [(a + c)/n]} + {[(c + d)/n] x [(b + d)/n]}d)/n]}

Índice kappa: Índice kappa: Fórmula alternativaFórmula alternativa

K = Co – CeK = Co – Ce

____________

1 – Ce1 – Ce

Donde:Donde:

Co = (a + d) / nCo = (a + d) / n

Ce = Ce = (a + b) (a + c)(a + b) (a + c) + + (c + d) (b + d)(c + d) (b + d)

nn22 n n22

Para los datos de la tabla:Para los datos de la tabla:

Concordancia observada:Concordancia observada: 0.8773 0.8773 Concordancia esperada:Concordancia esperada: 0.6759 0.6759

Valor de Kappa=Valor de Kappa= 0.6214 0.6214

Medición de la consistencia:Medición de la consistencia:Criterios de Landis y KochCriterios de Landis y Koch

Valor de KappaValor de Kappa

<< 0 0

0 a 0.200 a 0.20

0.21 a 0.400.21 a 0.40

0.41 a 0.600.41 a 0.60

0.61 a 0.800.61 a 0.80

0.81 a 1.000.81 a 1.00

Fuerza de Fuerza de concordanciaconcordancia

PobrePobre

LeveLeve

MedianaMediana

ModeradaModerada

SustancialSustancial

Casi perfectaCasi perfecta

EjercicioEjercicio

De acuerdo con los datos de la De acuerdo con los datos de la siguiente tabla, calcule e interprete siguiente tabla, calcule e interprete el valor de la concordancia obtenida.el valor de la concordancia obtenida.

Observador 2

Observador 1 Metástasispresentes

Metástasisausentes

Total

Metástasispresentes

47 5 52

Metástasisausentes

9 45 54

Total 56 50 106

Índice kappaÍndice kappa

Concordancia observada:Concordancia observada:

47 + 4547 + 45 = =

106106

Concordancia esperada:Concordancia esperada:

(56/106) (52/106) + (50/106) (54/106)(56/106) (52/106) + (50/106) (54/106)

Kappa = Kappa =

Para reflexionarPara reflexionar

Como médico en formación, el alumno Como médico en formación, el alumno adquiere conocimientos y habilidades adquiere conocimientos y habilidades en el estudio clínico del paciente en el estudio clínico del paciente teniendo como referencia la experiencia teniendo como referencia la experiencia del profesor, de tal manera que, con del profesor, de tal manera que, con respecto a este, ¿qué tanta respecto a este, ¿qué tanta concordancia ha adquirido en la concordancia ha adquirido en la identificación de signos durante la identificación de signos durante la exploración física?, por ejemplo, de exploración física?, por ejemplo, de alteraciones en el fondo de ojo, en los alteraciones en el fondo de ojo, en los ruidos cardiacos, etc.ruidos cardiacos, etc.