SSííntesis de Evidencias ntesis de Evidencias CientCientííficas: La revisificas: La revisióón n sistemsistemáática y el metatica y el meta--
ananáálisislisis
Buenos Aires, Mayo 2008Buenos Aires, Mayo 2008
Enrique PEnrique Péérez Gutirez Gutiéérrezrrez
Reconocimiento
Andrijana RajicLisa WaddellJavier SanchezJan M. SargeantJudy D. GreigAamir Fazil
http://www.angelfire.com/co4/civph
Objetivos
• Entender porqué es necesario
síntesis de conocimiento para
evaluar la efectividad de las intervenciones y apoyar la toma de
decisiones en salud pública
Datos de investigación básica
Datos de investigación aplicada
Datos de vigilancia
Información para la toma de decisiones
Efectividad de las intervenciones
InformaciónPara la toma de decisiones
Síntesis de la investigación:Evaluación de riesgoRevisión Sistemática &meta-análisis
Datos de investigación básica
Datos de terreno (comunidades)
Datos de vigilancia
Estadísticas impresionantes …
Hay más de 20.000 revistas científicas
biomédicas que publican más de DOS
MILLIONES de artículos por año
Buscando la respuesta …
Usando MEDLINE:
‘Anti-bacterial agents’
AND
‘common cold’ OR ‘rhinitis’
���� 488 artículos
¿No seria bueno solamente leer un
articulo y tomar una decisión?
Definición de Revisión Sistemática
� Es una revisión de una pregunta claramente
formulada:
�métodos sistemáticos y explícitos
�identificar, seleccionar y críticamente evaluar
investigaciones relevantes
� analizar datos de estudios que son incluidos en la
revisión.
� Meta-análisis puede o no ser utilizado para analizar y
resumir los resultados de los estudios.
Proceso de la Revisión Sistemática
Evaluación de calidad
Diseminación de la evidencia
Evaluación de relevancia Estructurada
Replicable
Válida
Documentada
2 personas
Población
Intervención
Evento de interés
Formulación de la pregunta
Extracción de datos
Revisión bibliográfica
Revisión
Sistemática
cualitativa
Meta-análisis
Evaluación de
Heterogeneidad
¿Que tipo de preguntas se pueden
hacer?
• Eficiencia de intervenciones
• Causas y factores de riesgo
• Prevalencia e Incidencia
• Evaluación de test diagnósticos
• Evaluación de programas
• Otras
La pregunta debe ser focalizadapuntos claves
• Claramente definida (de antemano)
• Estructurada en términos de la población, intervención (es), y el evento que se esta midiendo (depende del tipo de pregunta)
• Suficientemente amplia para permitir examinar la variabilidad en el estudio (e.j. duración / intensidad de la intervención, eventos a medir alternativos) y relevantes en diferentes poblaciones
• Si existe suficiente literatura, un filtro metodológico puede ser usado
• Si la pregunta es correctamente formulada, todo lo demás se hace mas fácil
Desarrollo de la pregunta
¿ Cual es la relación entre la
temperatura del agua y la
concentración de Vibrio
parahaemolyticus?
Desarrollo de la pregunta
• General / refinamiento
•Existe relación entre la temperatura del agua y la dosis infectante de VP (estaciones del ano)?
•Superficie (hasta 15mts) y ambiental
•Existe interacción con la salinidad del agua ?
•Existe relación con la oxigenación del agua ?
•Existe interacción en aspectos fisiológicos de las ostras o enfermedad concomitantes ?
Filtros metodológicos
• Revisión sistemática de los tratamientos en el campo humano son frecuentemente RCTs
• ¿Existen suficientes RCTs en la literatura veterinaria, de alimentos para hacer esto?
• ¿Podemos combinar información obtenida de diferentes tipos de estudios?
• Experimentos de desafío no son incluidos en RSsen salud humana (no se hacen en humanos!), pero, pueden ser una fuente (¿la única fuente?) de evidencia en veterinaria, alimentos.
Niveles de evidencia
Estudios descriptivos,
opiniones de expertos,
experiencia clínica
VI
Casos-controles, estudios
transversales observacionales
V
Experimentos de desafío
(en especies de interés)
IV
Estudio de cohortesIII
RCTII
Revisión sistemáticaI
Tipo de estudioNiveles de evidencia
Etapas en la Revisión Sistemática
Formulación de la pregunta
Revisión Bibliográfica
Evaluación de calidadExtracción de información y
resumen
Escribir un informe
Diseminación
Evaluación de relevancia
Alta Sensibilidad, encontrar muchos resúmenes extraños para a si evitar omitir los relevantes
Revisión bibliográfica: puntos claves• Identificar TODA investigación (¿publicada o no
publicada?) puede ser relevante para la revisión de la pregunta
– Estudios irrelevantes serán excluidos en la etapa de evaluación de relevancia
– Si es que hay demasiada información, o hay disponibles RCTs
de muy alta calidad, se puede usar filtros metodológicos
• Construir palabras de búsqueda usando palabras claves que se encuentren en la pregunta en cuestión
• Use bases de datos electrónicas para artículos publicados y otras técnicas para encontrar literatura no publicada
• Incorpore un(a) bibliotecario(a) a su equipo de trabajo
• Divida la pregunta en componentes:
– población, intervención, evento de interés
– población, factores de riesgo/exposición, evento de
interés
–Identificar palabras de búsqueda para cada
componente
• Combine palabras de búsqueda:
– “O” dentro de componentes asegura que todos los
registros o por lo menos uno de las palabras son
incluidas
– “Y” entre componentes asegura que todos los
componentes deben aparecer en los registros
Etapas para crear la búsqueda
Consideraciones adicionales
• ¿Años a incluir?
– ¿Primer diagnóstico de la enfermedad?
– Basado en cambios en el criterio de diagnóstico (¿evento de interés o enfermedad?)
• ¿Idiomas a incluir?
– Se puede optar por un filtro solo para “Inglés”
• Ventajas: Tiempo / costo de la traducción, lo mas probable que sea el mismo sistema de producción(?)
• Desventajas: Puede excluir evidencia importante
Base de datos electrónicas
• Muchas bases de datos electrónicas, médicas y
agrícolas (producción animal)
– MEDLINE, AGRICOLA, CAB, EMBASE,
FSTA, INGENTA, BIOSIS
• Algunas son gratuitas, algunas pueden ser usadas
por medio de convenios universitarios
• Todas tienen requerimientos diferentes para
ingresar las palabras de búsqueda
• Registre todo
Realizando la búsqueda electrónica
• Use programas de manejo de literatura
– Procite, Reference manager, EndNote
• Guarde los títulos, autores, la cita, y el resumen
• Van a existir muchos duplicados (>50%), tantos como aparezcan la misma revista en diferentes bases de datos
– Los programas de manejo de literatura tienen un procedimiento para eliminar duplicados
• Frecuentemente SOLO duplicados exactos (y los estilos de citas varia entre bases de datos)
• Programa de manejo de revisión sistemático en la web (SRS4.0 – TrialStat)
Búsqueda manual/lista de referencias
• Búsqueda manual:
– De antemano, identificar revistas que sean potencialmente relevantes y que no aparezcan en las bases de datos electrónicas
• Búsqueda manual que cubra los mismos años de la búsqueda electrónica
• Revisando la lista de referencias:
– Ayuda a validar la búsqueda electrónica
– Nuestro criterio es revisar las listas de referencias de las 5 revisiones bibliográficas más recientes; de las 5 revisiones más citadas y de los 5 artículos científicos más citados.
¿Sesgo de publicación?
• “Experimentos negativos” menos probable que se
publiquen
• Información confidencial
• Sesgo de idiomas
Etapas de la Revisión Sistemática
Formulación de la pregunta
Revisión bibliográfica
Evaluación de calidadExtracción de información y
resumen
Escribir un informe
Diseminar
Evaluación de relevancia
Evaluación
de relevancia
Evaluación de calidad
• Evaluación de todo el artículo.
• Remover estudios con serias falencias metodológicas
• Pautas de evaluación de calidad para diferentes tipos de
estudios (RCTs, experimentos de desafío, estudios
observacionales)
• Dos revisores evalúan la metodología de los estudios:• La validez externa, asignación al azar, uso de un grupo
control, ocultar el tipo de intervención, pérdida en el
seguimiento, evaluación de eventos de interés relevantes,
control de sesgo, análisis estadístico
• Componentes esenciales (criterio necesario para que un
estudio sea incluido en la revisión sistemática)
Etapas en la Revisión Sistemática
Formulación de la pregunta
Revisión bibliográfica
Evaluación de calidadExtracción de información y
resumen
Escribiendo un informe
Diseminación
Evaluación de relevancia
Extracción de información y resumen
Extracción de información:
puntos claves• Colecte la información relevante y los resultados
de estudios primarios incluidos en la revisión
sistemática para luego resumirlos.
• La información es extraída por dos revisores, deben
estar de acuerdo o decidir con consenso
• Nota: podemos extraer datos de todos los estudios
relevantes; presentarlos de acuerdo a la calidad
asignada; y realizar estudios de sensibilidad para
evaluar el impacto de la calidad
Extracción de información:
diseño de una pauta
• Información general del estudio
• Materiales y Métodos
• Descripción de la población
• Evento de interés medido
• Tablas de resultados
• Estadística & Tablas estadísticas
Fuentes deheterogeneidad
Extracción: resultados• Eventos binomiales
– Medidas de relatividad: RR, OR
– Medidas absolutas: Diferencia en riesgo, NNT
• No tan buenas para eventos en MA cuando son calculadas para cada articulo primario
• Eventos continuos
– Diferencia en promedios
– Diferencia en promedio estandarizados
– Eventos ordinales (escalas de medición)
• Datos del número de eventos
• Tiempo hasta el evento (Hazard)
Es posible hacer cálculos
posteriores a partir de los datos de cada artículo, la
forma de extraerlos debería seguir un
formato de ingreso para luego calcular
el evento de interés.
Consideraciones adicionales
• Niveles de aleatoriedad: individuos versus
grupos
• Intervenciones múltiples en el mismo individuo
(experimentos “cross-over”, sitios de
tratamientos diferentes en el mismo individuo)
• Mediciones repetidas del mismo evento
• Uso del mismo grupo control en forma repetida
(comparaciones de tratamiento múltiple)
Consideraciones adicionales
• Análisis estadístico realizado por el autor
– Trate de encontrar:
• El resumen de las estadísticas
• Factores de ajustes en el análisis
• Valores de P
Trate de entender que información Ud.
necesitara encontrar de antemano para así
evitar revisar otra vez los artículos
.
Ejecutando la extracción de
información• Tiempo:
– 60 minutos/por artículo
• Pretest, pretest, pretest:
– Asegúrese de que todos los factores de interés sean
incluidos
• Rol del administrador:
– Identificar problemas en la información extraída,
resolverlos con los revisores, hacer cálculos apropiados
cuando sea necesario & generar una tabla de
información clara y sin errores.
Resumen de la información
• Objetivo: Resumir los resultados de estudios primarios incluidos en la revisión sistemática
• Si es apropiado, realizar un meta-análisis para obtener un efecto promedio o investigar heterogeneidad.
Resumen de los datos• Resumen cualitativo
– Resumir la información disponible (Tabla, por tipo de estudio)
– Identificar falta de conocimientos, problemas comunes en la metodología,
• Resumen cuantitativo
–Evaluación gráfica (gráfica forest),
test para heterogeneidad
•Si es que NS/y el evento de interés y comparaciones son consistentes, y existe suficiente información disponible � combinedatos de diferentes estudios/reportes efectos combinados
•Si es que es significativo, explore heterogeneidad/meta-regresión o sub-análisis
e.j. gráfico forest
Meta-análisis (definición)
• Meta-análisis es esencialmente una síntesis de la literatura disponible en algún tema.
• Idealmente, usando una serie de estudios con aleatoriedad con los cuales se llega a un estimado único con el cual se estima un parámetro.
Por-qué hacer un análisis estadístico
• Se realiza para estimar un efecto que resuma todos los estudios.
• El efecto puede ser:– Una diferencia entre tasas– Un riesgo relativo o un odds ratio
• Para estimar el efecto resumen es importante definir el modelo de análisis:– De efectos fijos. El estimado es válido para estudios
incluidos en el análisis– De efectos aleatorios. Asume que los estudios analizados
son una muestra aleatoria del universo de estudios existentes en el tema.
• Cuando existe homogeneidad los modelos fijos y aleatorios son indistinguibles
• Finalmente se hace una análisis de sensibilidad para ver que tan bueno es el modelo.
Tipos de análisis
• Efectos Fijos: responde la pregunta que con los estudios incluidos en el análisis se demuestra que el tratamiento o que la exposición producen el efecto promedio
• Efectos aleatorios: Responde la pregunta de que con los estudios incluidos en la muestra el tratamiento o la exposición produce el resultado
Análisis más comunes
• El método Mantel Haenszel que es unmétodo de análisis estratificado
• En Meta-análisis se usa para unir losefectos de varios estudios
Análisis más común
• El estadístico Q es muy útil para medir homogeneidad. La hipótesis nula que prueba es que los estudios son homogéneos.
• El estadístico Q tiene una distribución de chi-cuadrado siendo los grados de libertad N en donde N = (Numero de estudios- 1).
• Cuando los estudios son homogéneos no hay diferencia entre modelos de efectos fijos o aleatorios
Modelo de efectos aleatorios o fijos?
• Responde a la pregunta de que la intervención o la exposición estarán asociadas con el resultado del estudio. En tanto que el efecto fijo responderá la pregunta de que la intervención o exposición mostraron una asociación con el resultado de los estudios
Meta-análisis (concepto)
• Meta-análisis es un procedimiento estadístico que integra los resultados de diferentes estudios considerados “combinables”
Meta-análisis (conceptos)
• Debe verse como un estudio observacional de evidencias.
• Con los pasos de:
– Formulación del problema
– Colecta y análisis de datos
– Reporte de resultados
Meta-análisis (conceptos)
• Los resultados deben expresarse en una forma estandarizada para permitir la comparación entre estudios
– Medias
– RR
– OR
Meta-análisis (conceptos)
• El paso final em meta-análisis es analizar los
efectos combinados.
• La media aritmética no sirve porque:
– Los resultados de estudios pequenos son mas sujetos a tener sesgos y por lo tanto deben tenermenor peso.
– Métodos usados en meta-análisis usan promediosponderados de los resultados dando mayor valor a los estudios de mayor número de observaciones
Heterogeneidad
• Si los resultados de los estudios difierenmucho, no tiene sentido hacer una combinación de resultados.
• Como responder esto no es tan simple:
– Hacer um test de heterogeneidad a lo largo
de los estudios (estratos) es la respuesta.
Como mostrar los resultados
• Por ejemplo, graficamente
• Cada estudio se representa en uncuadrado negro que es el estimado puntualy el intervalo de confianza en la línea horizontal.
• La linea vertical corresponde al no-efecto (odds ratio 1.0).
Egger, M. et al. BMJ 1997;315:1533-1537
Análisis de sensibilidad
• Las opiniones pueden variar de la forma en que fue realizado el meta-análisis.
• Por lo tanto la robustez del análisis puede demostrarse usando diferentes supuestos bajo un análisis de sensibilidad
Copyright ©1997 BMJ Publishing Group Ltd. Egger, M. et al. BMJ 1997;315:1533-1537
Análisis de sensibilidad