SSííntesis de Evidencias ntesis de Evidencias CientCientííficas: La revisificas: La revisióón n sistemsistemáática y el metatica y el meta--

ananáálisislisis

Buenos Aires, Mayo 2008Buenos Aires, Mayo 2008

Enrique PEnrique Péérez Gutirez Gutiéérrezrrez

Reconocimiento

Andrijana RajicLisa WaddellJavier SanchezJan M. SargeantJudy D. GreigAamir Fazil

http://www.angelfire.com/co4/civph

Objetivos

• Entender porqué es necesario

síntesis de conocimiento para

evaluar la efectividad de las intervenciones y apoyar la toma de

decisiones en salud pública

Datos de investigación básica

Datos de investigación aplicada

Datos de vigilancia

Información para la toma de decisiones

Efectividad de las intervenciones

InformaciónPara la toma de decisiones

Síntesis de la investigación:Evaluación de riesgoRevisión Sistemática &meta-análisis

Datos de investigación básica

Datos de terreno (comunidades)

Datos de vigilancia

Estadísticas impresionantes …

Hay más de 20.000 revistas científicas

biomédicas que publican más de DOS

MILLIONES de artículos por año

Ejemplo

� Cuando viajo, usualmente puedo terminar con un resfriado.

Buscando la respuesta …

Usando MEDLINE:

‘Anti-bacterial agents’

AND

‘common cold’ OR ‘rhinitis’

���� 488 artículos

¿No seria bueno solamente leer un

articulo y tomar una decisión?

Definición de Revisión Sistemática

� Es una revisión de una pregunta claramente

formulada:

�métodos sistemáticos y explícitos

�identificar, seleccionar y críticamente evaluar

investigaciones relevantes

� analizar datos de estudios que son incluidos en la

revisión.

� Meta-análisis puede o no ser utilizado para analizar y

resumir los resultados de los estudios.

Proceso de la Revisión Sistemática

Evaluación de calidad

Diseminación de la evidencia

Evaluación de relevancia Estructurada

Replicable

Válida

Documentada

2 personas

Población

Intervención

Evento de interés

Formulación de la pregunta

Extracción de datos

Revisión bibliográfica

Revisión

Sistemática

cualitativa

Meta-análisis

Evaluación de

Heterogeneidad

¿Que tipo de preguntas se pueden

hacer?

• Eficiencia de intervenciones

• Causas y factores de riesgo

• Prevalencia e Incidencia

• Evaluación de test diagnósticos

• Evaluación de programas

• Otras

La pregunta debe ser focalizadapuntos claves

• Claramente definida (de antemano)

• Estructurada en términos de la población, intervención (es), y el evento que se esta midiendo (depende del tipo de pregunta)

• Suficientemente amplia para permitir examinar la variabilidad en el estudio (e.j. duración / intensidad de la intervención, eventos a medir alternativos) y relevantes en diferentes poblaciones

• Si existe suficiente literatura, un filtro metodológico puede ser usado

• Si la pregunta es correctamente formulada, todo lo demás se hace mas fácil

Desarrollo de la pregunta

¿ Cual es la relación entre la

temperatura del agua y la

concentración de Vibrio

parahaemolyticus?

Desarrollo de la pregunta

• General / refinamiento

•Existe relación entre la temperatura del agua y la dosis infectante de VP (estaciones del ano)?

•Superficie (hasta 15mts) y ambiental

•Existe interacción con la salinidad del agua ?

•Existe relación con la oxigenación del agua ?

•Existe interacción en aspectos fisiológicos de las ostras o enfermedad concomitantes ?

Filtros metodológicos

• Revisión sistemática de los tratamientos en el campo humano son frecuentemente RCTs

• ¿Existen suficientes RCTs en la literatura veterinaria, de alimentos para hacer esto?

• ¿Podemos combinar información obtenida de diferentes tipos de estudios?

• Experimentos de desafío no son incluidos en RSsen salud humana (no se hacen en humanos!), pero, pueden ser una fuente (¿la única fuente?) de evidencia en veterinaria, alimentos.

Niveles de evidencia

Estudios descriptivos,

opiniones de expertos,

experiencia clínica

VI

Casos-controles, estudios

transversales observacionales

V

Experimentos de desafío

(en especies de interés)

IV

Estudio de cohortesIII

RCTII

Revisión sistemáticaI

Tipo de estudioNiveles de evidencia

Etapas en la Revisión Sistemática

Formulación de la pregunta

Revisión Bibliográfica

Evaluación de calidadExtracción de información y

resumen

Escribir un informe

Diseminación

Evaluación de relevancia

Alta Sensibilidad, encontrar muchos resúmenes extraños para a si evitar omitir los relevantes

Revisión bibliográfica: puntos claves• Identificar TODA investigación (¿publicada o no

publicada?) puede ser relevante para la revisión de la pregunta

– Estudios irrelevantes serán excluidos en la etapa de evaluación de relevancia

– Si es que hay demasiada información, o hay disponibles RCTs

de muy alta calidad, se puede usar filtros metodológicos

• Construir palabras de búsqueda usando palabras claves que se encuentren en la pregunta en cuestión

• Use bases de datos electrónicas para artículos publicados y otras técnicas para encontrar literatura no publicada

• Incorpore un(a) bibliotecario(a) a su equipo de trabajo

• Divida la pregunta en componentes:

– población, intervención, evento de interés

– población, factores de riesgo/exposición, evento de

interés

–Identificar palabras de búsqueda para cada

componente

• Combine palabras de búsqueda:

– “O” dentro de componentes asegura que todos los

registros o por lo menos uno de las palabras son

incluidas

– “Y” entre componentes asegura que todos los

componentes deben aparecer en los registros

Etapas para crear la búsqueda

Consideraciones adicionales

• ¿Años a incluir?

– ¿Primer diagnóstico de la enfermedad?

– Basado en cambios en el criterio de diagnóstico (¿evento de interés o enfermedad?)

• ¿Idiomas a incluir?

– Se puede optar por un filtro solo para “Inglés”

• Ventajas: Tiempo / costo de la traducción, lo mas probable que sea el mismo sistema de producción(?)

• Desventajas: Puede excluir evidencia importante

Base de datos electrónicas

• Muchas bases de datos electrónicas, médicas y

agrícolas (producción animal)

– MEDLINE, AGRICOLA, CAB, EMBASE,

FSTA, INGENTA, BIOSIS

• Algunas son gratuitas, algunas pueden ser usadas

por medio de convenios universitarios

• Todas tienen requerimientos diferentes para

ingresar las palabras de búsqueda

• Registre todo

Realizando la búsqueda electrónica

• Use programas de manejo de literatura

– Procite, Reference manager, EndNote

• Guarde los títulos, autores, la cita, y el resumen

• Van a existir muchos duplicados (>50%), tantos como aparezcan la misma revista en diferentes bases de datos

– Los programas de manejo de literatura tienen un procedimiento para eliminar duplicados

• Frecuentemente SOLO duplicados exactos (y los estilos de citas varia entre bases de datos)

• Programa de manejo de revisión sistemático en la web (SRS4.0 – TrialStat)

Búsqueda manual/lista de referencias

• Búsqueda manual:

– De antemano, identificar revistas que sean potencialmente relevantes y que no aparezcan en las bases de datos electrónicas

• Búsqueda manual que cubra los mismos años de la búsqueda electrónica

• Revisando la lista de referencias:

– Ayuda a validar la búsqueda electrónica

– Nuestro criterio es revisar las listas de referencias de las 5 revisiones bibliográficas más recientes; de las 5 revisiones más citadas y de los 5 artículos científicos más citados.

¿Sesgo de publicación?

• “Experimentos negativos” menos probable que se

publiquen

• Información confidencial

• Sesgo de idiomas

Etapas de la Revisión Sistemática

Formulación de la pregunta

Revisión bibliográfica

Evaluación de calidadExtracción de información y

resumen

Escribir un informe

Diseminar

Evaluación de relevancia

Evaluación

de relevancia

Evaluación de Relevancia

2 revisores, remueven

estudios no-relevantes

Evaluación de calidad

• Evaluación de todo el artículo.

• Remover estudios con serias falencias metodológicas

• Pautas de evaluación de calidad para diferentes tipos de

estudios (RCTs, experimentos de desafío, estudios

observacionales)

• Dos revisores evalúan la metodología de los estudios:• La validez externa, asignación al azar, uso de un grupo

control, ocultar el tipo de intervención, pérdida en el

seguimiento, evaluación de eventos de interés relevantes,

control de sesgo, análisis estadístico

• Componentes esenciales (criterio necesario para que un

estudio sea incluido en la revisión sistemática)

Etapas en la Revisión Sistemática

Formulación de la pregunta

Revisión bibliográfica

Evaluación de calidadExtracción de información y

resumen

Escribiendo un informe

Diseminación

Evaluación de relevancia

Extracción de información y resumen

Extracción de información:

puntos claves• Colecte la información relevante y los resultados

de estudios primarios incluidos en la revisión

sistemática para luego resumirlos.

• La información es extraída por dos revisores, deben

estar de acuerdo o decidir con consenso

• Nota: podemos extraer datos de todos los estudios

relevantes; presentarlos de acuerdo a la calidad

asignada; y realizar estudios de sensibilidad para

evaluar el impacto de la calidad

Extracción de información:

diseño de una pauta

• Información general del estudio

• Materiales y Métodos

• Descripción de la población

• Evento de interés medido

• Tablas de resultados

• Estadística & Tablas estadísticas

Fuentes deheterogeneidad

Extracción: resultados• Eventos binomiales

– Medidas de relatividad: RR, OR

– Medidas absolutas: Diferencia en riesgo, NNT

• No tan buenas para eventos en MA cuando son calculadas para cada articulo primario

• Eventos continuos

– Diferencia en promedios

– Diferencia en promedio estandarizados

– Eventos ordinales (escalas de medición)

• Datos del número de eventos

• Tiempo hasta el evento (Hazard)

Es posible hacer cálculos

posteriores a partir de los datos de cada artículo, la

forma de extraerlos debería seguir un

formato de ingreso para luego calcular

el evento de interés.

Consideraciones adicionales

• Niveles de aleatoriedad: individuos versus

grupos

• Intervenciones múltiples en el mismo individuo

(experimentos “cross-over”, sitios de

tratamientos diferentes en el mismo individuo)

• Mediciones repetidas del mismo evento

• Uso del mismo grupo control en forma repetida

(comparaciones de tratamiento múltiple)

Consideraciones adicionales

• Análisis estadístico realizado por el autor

– Trate de encontrar:

• El resumen de las estadísticas

• Factores de ajustes en el análisis

• Valores de P

Trate de entender que información Ud.

necesitara encontrar de antemano para así

evitar revisar otra vez los artículos

.

Ejecutando la extracción de

información• Tiempo:

– 60 minutos/por artículo

• Pretest, pretest, pretest:

– Asegúrese de que todos los factores de interés sean

incluidos

• Rol del administrador:

– Identificar problemas en la información extraída,

resolverlos con los revisores, hacer cálculos apropiados

cuando sea necesario & generar una tabla de

información clara y sin errores.

Resumen de la información

• Objetivo: Resumir los resultados de estudios primarios incluidos en la revisión sistemática

• Si es apropiado, realizar un meta-análisis para obtener un efecto promedio o investigar heterogeneidad.

Resumen de los datos• Resumen cualitativo

– Resumir la información disponible (Tabla, por tipo de estudio)

– Identificar falta de conocimientos, problemas comunes en la metodología,

• Resumen cuantitativo

–Evaluación gráfica (gráfica forest),

test para heterogeneidad

•Si es que NS/y el evento de interés y comparaciones son consistentes, y existe suficiente información disponible � combinedatos de diferentes estudios/reportes efectos combinados

•Si es que es significativo, explore heterogeneidad/meta-regresión o sub-análisis

e.j. gráfico forest

Meta-análisis (definición)

• Meta-análisis es esencialmente una síntesis de la literatura disponible en algún tema.

• Idealmente, usando una serie de estudios con aleatoriedad con los cuales se llega a un estimado único con el cual se estima un parámetro.

Por-qué hacer un análisis estadístico

• Se realiza para estimar un efecto que resuma todos los estudios.

• El efecto puede ser:– Una diferencia entre tasas– Un riesgo relativo o un odds ratio

• Para estimar el efecto resumen es importante definir el modelo de análisis:– De efectos fijos. El estimado es válido para estudios

incluidos en el análisis– De efectos aleatorios. Asume que los estudios analizados

son una muestra aleatoria del universo de estudios existentes en el tema.

• Cuando existe homogeneidad los modelos fijos y aleatorios son indistinguibles

• Finalmente se hace una análisis de sensibilidad para ver que tan bueno es el modelo.

Tipos de análisis

• Efectos Fijos: responde la pregunta que con los estudios incluidos en el análisis se demuestra que el tratamiento o que la exposición producen el efecto promedio

• Efectos aleatorios: Responde la pregunta de que con los estudios incluidos en la muestra el tratamiento o la exposición produce el resultado

Análisis más comunes

• El método Mantel Haenszel que es unmétodo de análisis estratificado

• En Meta-análisis se usa para unir losefectos de varios estudios

Análisis más común

• El estadístico Q es muy útil para medir homogeneidad. La hipótesis nula que prueba es que los estudios son homogéneos.

• El estadístico Q tiene una distribución de chi-cuadrado siendo los grados de libertad N en donde N = (Numero de estudios- 1).

• Cuando los estudios son homogéneos no hay diferencia entre modelos de efectos fijos o aleatorios

Modelo de efectos aleatorios o fijos?

• Responde a la pregunta de que la intervención o la exposición estarán asociadas con el resultado del estudio. En tanto que el efecto fijo responderá la pregunta de que la intervención o exposición mostraron una asociación con el resultado de los estudios

Meta-análisis (concepto)

• Meta-análisis es un procedimiento estadístico que integra los resultados de diferentes estudios considerados “combinables”

Meta-análisis (conceptos)

• Debe verse como un estudio observacional de evidencias.

• Con los pasos de:

– Formulación del problema

– Colecta y análisis de datos

– Reporte de resultados

Meta-análisis (conceptos)

• Los resultados deben expresarse en una forma estandarizada para permitir la comparación entre estudios

– Medias

– RR

– OR

Meta-análisis (conceptos)

• El paso final em meta-análisis es analizar los

efectos combinados.

• La media aritmética no sirve porque:

– Los resultados de estudios pequenos son mas sujetos a tener sesgos y por lo tanto deben tenermenor peso.

– Métodos usados en meta-análisis usan promediosponderados de los resultados dando mayor valor a los estudios de mayor número de observaciones

Heterogeneidad

• Si los resultados de los estudios difierenmucho, no tiene sentido hacer una combinación de resultados.

• Como responder esto no es tan simple:

– Hacer um test de heterogeneidad a lo largo

de los estudios (estratos) es la respuesta.

Como mostrar los resultados

• Por ejemplo, graficamente

• Cada estudio se representa en uncuadrado negro que es el estimado puntualy el intervalo de confianza en la línea horizontal.

• La linea vertical corresponde al no-efecto (odds ratio 1.0).

Egger, M. et al. BMJ 1997;315:1533-1537

Análisis de sensibilidad

• Las opiniones pueden variar de la forma en que fue realizado el meta-análisis.

• Por lo tanto la robustez del análisis puede demostrarse usando diferentes supuestos bajo un análisis de sensibilidad

Copyright ©1997 BMJ Publishing Group Ltd. Egger, M. et al. BMJ 1997;315:1533-1537

Análisis de sensibilidad

Meta-análisis

• El meta-análisis debe verse como un proceso que estructura una revisión de investigaciones realizadas en un tema.

• Los temas en cuanto a que tan completa y combinable es la evidencia deben ser explícitos