EVALUACIÓN DE PROGRAMAS DE PLANIFICACIÓN FAMILIAR · agradecidos con nuestros colegas de la USAID y la familia de programas de planificación familiar en Brasil, Ecuador, Honduras,

E V A L U A C I Ó N

D E P R O G R A M A S

D E P L A N I F I C A C I Ó N F A M I L I A R

Jane T. Bertrand

Robert J.Magnani

Naomi Rutenberg

C O N

A D A P T A C I O N E S

P A R A S A L U D

R E P R O D U C T I V A

Setiembre 1996

USAID Contrato Número: DPE-3060-C-00-1054-00

Reconocimientos

Reconocemos el apoyo de la Oficina dePoblación de la Agencia de los Estados Unidospara el Desarrollo Internacional (USAID ContratoNúmero: DPE-3060-C-00-1054-00) y agradece-mos haber hecho posible esta publicación. Lasopiniones expresadas aquí corresponden a losautores y no a la agencia patrocinadora.

Los autores desean agradecer a varios miem-bros del Proyecto EVALUATION por sus críticasconstructivas a diversas versiones de este manual:Amy Tsui, David Guilkey, Albert Hermalin, JohnRoss, John Stover, David Hotchkiss, Jennifer Strick-ler, y Lisanne Brown. Krista Stewart, Asesora Téc-nica del Proyecto de la USAID, también hizo su-gerencias muy útiles a versiones anteriores. Tam-bién queremos extender nuestro agradecimientoa varios revisores externos: Jerry Bowers, JohnCasterline, Allan Keller, Barbara Janowitz, F.M.Mburu, Virginia Paine, y Jack Reynolds. Algunoscolegas hicieron contribuciones sobre aspectosespecíficos del tema de la salud reproductiva(Capítulo VII): Gina Dallabetta, Erin Eckert, SusanHassig, Cate Johnson, Marge Koblinsky, MiriamLabbok, Therese McGinn, Barbara Mensch, NancyMock, Leo Morris y Chloe O’Gara.

Varias misiones de la USAID y programasnacionales han ofrecido al personal del ProyectoEVALUATION la oportunidad de probar distintosenfoques de la evaluación de la planificaciónfamiliar en el campo. Estamos particularmenteagradecidos con nuestros colegas de la USAID y lafamilia de programas de planificación familiar enBrasil, Ecuador, Honduras, Gana, India, Kenia,Marruecos, Nigeria, Perú, Filipinas y Tanzania porsu apoyo y participación en varias actividades deevaluación desde 1992.

Apreciamos el apoyo de Allison Cohn, TracySaunders y Martha Scherzer en la edición de laversión final de este manuscrito. Por el diseño y ladiagramación del documento, damos las graciasa Sue Koenigshofer y Erin Hancock de SCK Design.

La traducción al español del manual y su dia-gramación estuvo a cargo de Luis Rosero-Bixby yHelena Ramírez.

Impreso en papel reciclado.

LI S TA D E SI G L A S

AOE Atención Obstétrica Esencial

APP Años de Protección de la Pareja

APPE Años de Protección Pareja Estandarizados

ARI Ayuda a las Personas a Lograr sus Intenciones Reproductivas

CAP Conocimiento, Actitud y Práctica

CBD Distribución Basada en la Comunidad

CDC Centros de Control y Prevención de Enfermedades de Atlanta, EEUU

CDIE Centro para el Desarrollo y la Evaluación (de USAID)

COPE Técnica Eficiente para el Proveedor Orientada hacia el Cliente

CPS Encuesta de Prevalencia Anticonceptiva

DHS Encuestas de Demografía y Salud

ETS Enfermedad(es) de Transmisión Sexual

GIS Sistemas de Información Geográfica

IEC Información-Educación-Comunicación

IPPF Federación Internacional de Paternidad Responsable

MPE Malnutrición Proteíco-Energética

MS Ministerio de Salud

MVIC Máximo-verosimilitud con Información Completa

ONG Organización no Gubernamental

PF Planificación Familiar

PF-PN Programa Nacional de Planificación Familiar

PF-SA Servicios de Apoyo a la Planificación Familiar

PPS Puntos de Provisión de Servicios

SAM Módulo de Disponibilidad del Servicio (de la DHS)

SIDA Síndrome de Inmunodeficiencia Adquirido (AIDS en inglés)

SIG Sistemas de Información de Gestión

SMI Salud Materno-infantil

SR Salud Reproductiva

TBN Tasa Bruta de Natalidad (CBR en inglés)

TGF Tasa Global de Fecundidad (TFR en inglés)

USAID Agencia para el Desarrollo Internacional de los EEUU

VIH Virus de Inmunodeficiencia Humano

WFS Encuesta Mundial de Fecundidad

TA B L A D E C O N T E N I D O S

Reconocimientos 2

Lista de siglas 3

Capítulo

I Visión de conjunto de la evaluación 6

¿Por qué evaluar?

Objetivos del manual

Destinatarios de este manual

Planificación familiar o salud reproductiva

Alcance y punto focal de las evaluaciones

¿Por qué otro manual de evaluación?

Organización de este manual

II Definición del alcance de la evaluación 12

Determinación de metas y objetivos de programas

Descripción de cómo “debe” funcionar el programa

Establecimiento de los objetivos de la evaluación

Esquema del alcance de la evaluación en el plan de evaluación

III Enfoque metodológico: Seguimiento (monitoreo)

de programas 26

Aclaración del propósito principal del seguimiento

Identificación de los componentes que deben recibir seguimiento

Definición de indicadores relevantes

Identificación de fuentes de datos

Diseño de un formato para la presentación de los resultados

Resumen del enfoque metodológico

IV Enfoque metodológico: Valoración del impacto 44

Una advertencia amigable

Visión de conjunto de los temas

Criterios para la selección del enfoque metodológico

Enfoques preferidos

Enfoques alternativos

Resumen

V Desarrollo de un plan de implementación 74

Definición de las instituciones y personas responsables de la evaluación

Establecimiento de un cronograma de actividades específicas

Presupuesto de la evaluación

VI Diseminación y utilización de los resultados 80

Preparación de la presentación de resultados para la audiencia

correspondiente

Identificación de resultados con implicaciones programáticas importantes

Establecimiento de un foro para presentar los resultados que implican

una acción

Presencia permanente en el proceso

VII Adaptaciones a otras intervenciones de salud

reproductiva 84

Prevención de ETS/VIH

Embarazo seguro

Lactancia

Nutrición de las mujeres

Servicios de salud reproductiva para adolescentes

VIII Resumen: Lista de pasos del diseño de un plan

de evaluación 98

Referencias 101

Apéndice

El modelo multinivel en formato de regresión 108

Capítulo I

Visión de conjunto de la

evaluación

• ¿Por qué evaluar?

• Objetivos de este manual

• Destinatarios de este manual

• Planificación familiar o salud reproductiva

• Alcance y punto focal de las evaluaciones

• ¿Por qué otro manual de evaluación?

• Organización de este manual

Capítulo I

¿POR QUÉ EVALUAR?

La evaluación es la aplicación de procedimientosde investigación de las ciencias sociales para va-lorar y mejorar las políticas y programas sociales,desde sus primeras etapas de definición y diseñohasta su desarrollo e implementación (Rossi &Freeman, 1993). Los resultados de la evaluacióndeben proveer información para la administra-ción de programas, el planeamiento estratégico,el diseño de nuevos proyectos o iniciativas y la fi-jación de recursos.

La evaluación de los programas de planifica-ción familiar incluye tanto el seguimiento delprograma como la valoración del impacto. Elseguimiento se usa para determinar si el progra-ma es llevado a cabo apropiadamente en susdistintos niveles y a qué costo. También marcael cambio ocurrido a través del tiempo en la en-trada de recursos, la producción y el uso de losservicios. La valoración del impacto determinala medida en que este cambio puede ser atribui-do a la intervención del programa (causa y efec-to).

Los resultados del seguimiento del programason indispensables para la gestión del programaporque informan al administrador si el progra-ma está bien orientado, dónde están los proble-mas y cuáles resultados inesperados han ocurri-do. La evaluación de los procesos usados paraimplementar el programa permite hacer correc-ciones a mitad del camino. De hecho, el tipo deseguimiento de programas descrito en el Capítu-lo III de este manual está integralmente vincula-do a los sistemas de información de gestión(SIG), enfatizando la fuerte relación entre el se-guimiento y la administración.

Los resultados de la evaluación también soninsumos importantes para el planeamiento es-tratégico y el diseño de programas. Los indica-dores del desempeño del programa, de los pro-ductos y de los resultados en la población, des-criben la situación vigente de la demanda de ser-vicios y el ambiente del programa. Los resulta-

dos que vinculan los insumos y las actividades alos productos del programa y a los cambios enla población sirven para demostrar qué ha fun-cionado en el pasado y sugerir posibles direccio-nes para el futuro. Las intervenciones exitosas sepueden incrementar o replicar en nuevos pro-yectos o etapas de programas, mientras las acti-vidades que no producen resultados pueden serdescartadas. La evaluación también puede servirpara explorar por qué algunas intervenciones nofuncionaron.

Resumiendo, las personas responsables de im-plementar programas y las que financian pro-gramas deberían exigir que la evaluación seaparte integral de cada intervención. Para lograrun mayor beneficio, la evaluación debe formarparte del diseño del programa desde el principioy proveer información a los administradores du-rante el transcurso de la actividad. Los resulta-dos de la evaluación pueden ayudar a los admi-nistradores a saber qué están haciendo bien, aidentificar deficiencias que pueden ser corregi-das y a tomar decisiones informadas sobre la di-rección futura de sus programas. En la situaciónactual de restricciones presupuestarias, la eva-luación apunta hacia un uso racional de los limi-tados recursos —humanos y materiales— paralograr resultados.

OBJETIVOS DEL MANUAL

Este manual prepara al usuario para:

• Distinguir entre los principales tipos de eva-luación de programas, seguimiento de pro-gramas y valoración de impacto;

• Evaluar críticamente las ventajas y desventa-jas de los métodos alternativos de valoraciónde impacto;

• Valorar y seleccionar los tipos de evaluaciónmás adecuada para un escenario determina-do (i.e., aquélla que responde las preguntasmás importantes, y que es factible y prácticade ejecutar);

7

VI S I Ó N D E CO N J U N T O D E L A EVA LUA C I Ó N

• Identificar los indicadores y fuentes de datosapropiados para la evaluación; y

• Preparar un plan de evaluación definiendo eldiseño del estudio, los indicadores y las fuen-tes de datos que guiará la implementacióncorrespondiente.

DESTINATARIOS DE ESTE MANUAL

Este manual está dirigido a profesionales de lasalud con distintos niveles de capacitación y ex-periencia en la evaluación de programas, inclu-yendo:

• los administradores de programas,

• los especialistas en evaluación

• el personal de las agencias donantes.

Este manual supone que el usuario cuenta concapacitación o experiencia en técnicas de inves-tigación social; no revisa procedimientos básicosde recolección y análisis de datos.1

¿PLANIFICACIÓN FAMILIAR O SALUDREPRODUCTIVA?

Hasta hace poco, el término “planificación fa-miliar” (PF) se interpretaba principalmente como“servicios anticonceptivos.” Aunque algunosprogramas también ofrecían servicios de inferti-lidad para parejas que no podían lograr el em-barazo, la mayor parte de los servicios estaba re-lacionada con la anticoncepción.

Sin embargo, alrededor de la Conferencia In-ternacional de Población y Desarrollo en el Cairoen 1994, hubo bastante presión dentro de la co-munidad relacionada con el tema de la pobla-ción (especialmente de grupos de mujeres) paraampliar la constelación de servicios a la atenciónde otras necesidades de salud reproductiva (SR)de las mujeres. Estas incluyen el embarazo segu-ro, las enfermedades de transmisión sexual y elsíndrome de inmunodeficiencia adquirido (SI-DA), la lactancia, la nutrición de las mujeres yotras. Además, las adolescentes y los hombreshan sido identificados como audiencias objetivoimportantes para las intervenciones de los pro-gramas. La importancia relativa de los diferen-tes servicios o poblaciones objetivo varía por paí-ses.

Este manual se basa en la vasta experiencia dela comunidad relacionada con el tema de la po-blación en la evaluación de programas de plani-ficación familiar. Específicamente, ofrece linea-

mientos relevantes para desarrollar un plan deevaluación para un programa nacional de plani-ficación familiar, con énfasis en los servicios an-ticonceptivos.

¿Se aplican por igual estos principios a los pro-gramas de otras áreas de la salud reproductiva?En lo referente al seguimiento de programas, lalógica y las técnicas metodológicas son, en bue-na medida, similares entre los distintos tipos deintervenciones de PF y SR. Las diferencias estánen la selección de los indicadores, su medición yla definición de la población objetivo, no en losdiseños de estudio o las técnicas de análisis uti-lizados.

Por lo tanto, el enfoque para la evaluacióndescrito en este manual generalmente es aplica-ble a otras áreas de la salud reproductiva, yasean programas verticales (por ejemplo, un pro-grama nacional para promover la lactancia), oprogramas integrados con componentes múlti-ples (por ejemplo, lactancia, embarazo seguro,planificación familiar y prevención de ETS/VIH).Sin embargo, hay algunas diferencias notablesque aparecen resumidas en el Capítulo VII.

En lo referente a la valoración del impacto, lalógica y las técnicas metodológicas también sonsemejantes. En principio, los tres “métodos pre-feridos” presentados en el Capítulo IV son tanaplicables a otras intervenciones de salud repro-ductiva como a la planificación familiar. Sin em-bargo, el Capítulo IV se centra casi exclusiva-mente en la planificación familiar por varias ra-zones. Primero, porque la cuestión del impactoen los programas de planificación familiar ha re-cibido más atención, y durante más años, queotras intervenciones de SR. Consecuentemente,se ha puesto más atención al desarrollo y refina-miento de los métodos de evaluación de la pla-nificación familiar que a otros programas de SR.Los avances metodológicos descritos en el Capí-tulo IV han sido desarrollados en relación a losesfuerzos para valorar el impacto de la planifica-ción familiar sobre la fecundidad. No existe untrabajo semejante hasta ahora relacionado conotros resultados de SR. Además, uno de los re-sultados asociados con la planificación familiar -disminución de la fecundidad- puede ser medi-do con validez a través de la información repor-tada por los entrevistados en encuestas grandes.En cambio, existen dificultades metodológicas

8

Visión de conjunto de la evaluación

1 Sin embargo, aquéllos interesados en un texto útilsobre los antecedentes pueden consultar García-Nuñez (1992).

importantes para medir otros resultados de SR,como la mortalidad materna, la prevalencia deinfecciones VIH y las tasas de aborto. El énfasisen la fecundidad en el Capítulo IV no tiene co-mo propósito disminuir la importancia de otrasintervenciones de salud reproductiva. Más bien,refleja el hecho de que la fecundidad se prestamás fácilmente que la mayoría de los otros re-sultados de salud reproductiva para medicionesprecisas, basadas en informes de los entrevista-dos de las encuestas por muestreo.

En suma, este manual aprovecha la amplia ex-periencia en evaluación de los programas de pla-nificación familiar, mucha de la cual es aplicableal espectro más amplio de intervenciones de sa-lud reproductiva. El manual está concebido co-mo complemento a otras dos publicaciones delProyecto EVALUATION, el Manual de Indicadorespara la Evaluación de Programas de PlanificaciónFamiliar (Bertrand et al., 1994) y el de Indicado-res de Evaluación de Programas de Salud Repro-ductiva (Bertrand & Tsui, 1995). Estos dos docu-mentos ofrecen un menú de indicadores para lasintervenciones de evaluación en las áreas de laplanificación familiar, el embarazo seguro, la lac-tancia, la prevención de ETS/VIH, la nutrición delas mujeres y los servicios de salud reproductivapara adolescentes. A diferencia de los anterio-res, este manual ofrece lineamientos para el di-seño de un plan de evaluación (que incorporaráesos indicadores) para el seguimiento y evalua-ción de las intervenciones.

ALCANCE Y PUNTO FOCAL DE LAS EVALUACIONES

Las evaluaciones varían mucho en cuanto a sualcance y campo de acción. Por ejemplo, el áreaobjeto de la evaluación podría definirse como:

• todo el país;

• toda una región o estado; o

• una ciudad o lugar específico.

La evaluación puede centrarse en diferentescomponentes del programa:

• insumos,

• procesos,

• productos, y

• resultados.

Las mediciones pueden ser:

• poblacionales (por ejemplo, en una muestraaleatoria de la población general), o

• del programa (por ejemplo, de los clientes oparticipantes en un determinado programa).

Pueden usarse distintas técnicas para recolec-tar y analizar los datos:

• cuantitativa, o

• cualitativa.

La población objetivo variará según las cir-cunstancias y para los distintos tipos de inter-venciones:

• todas las mujeres en edad reproductiva (porejemplo, planificación familiar);

• todos los adultos sexualmente activos (porejemplo, planificación familiar integrada -prevención de ETS/VIH); o

• jóvenes de 10 –19 años (i.e., programas paraadolescentes).

Este manual se centra en la evaluación de pro-gramas con alcance nacional, aunque muchasde las técnicas también pueden usarse para eva-luar programas o proyectos más pequeños.Considera la pregunta clave de la mayoría de losadministradores de programas y del personal deagencias donantes: ¿ha logrado el programa susobjetivos en lo referente a producir cambios enla población? Va más allá, preguntando en quémedida se pueden atribuir los cambios observa-dos al programa.

Aunque obtener resultados es lo más impor-tante, una evaluación exhaustiva también debeexaminar los procesos involucrados en la reali-zación del programa. Históricamente, la evalua-ción de programas de planificación familiar hatendido a centrarse mucho en los productos in-mediatos del programa de tipo cuantitativo (porejemplo, el número de nuevos aceptantes, losaños de protección pareja [APP]) o los resultadosfinales en la población (por ejemplo, el nivel deprevalencia anticonceptiva, la tasa global de fe-cundidad [TGF]). Sin embargo, este enfoque deevaluación trata al programa como una “cajanegra”. Si los resultados esperados no son ob-tenidos, ofrece poca explicación sobre las razo-nes. No se sabe, por ejemplo, cuáles factorescontribuyeron a obtener resultados tan pobres:¿un acceso inadecuado al servicio, una atenciónde mala calidad en los puntos de provisión deservicios (PPS) del sistema, falta de informaciónentre la población objetivo, falta de suministros

9


en el sistema? De igual manera, si el programaes exitoso, se tiene poco conocimiento sobrequé contribuyó al éxito.

En suma, una evaluación exhaustiva examinano solo los resultados cuantitativos que señalanel progreso hacia los objetivos del programa; si-no que evalúa también el funcionamiento inter-no del programa en términos de áreas funciona-les (administración, capacitación, suministros yaspectos logísticos, información, educación ycomunicación [IEC], investigación y evaluación) ysuficiencia del programa (acceso a los servicios ycalidad de la atención). Este manual se centratanto en los procesos como en los resultados,con un énfasis particular en los resultados. Es-tos siguen siendo el interés principal de muchosadministradores de programa y agencias donan-tes, especialmente en un ambiente con recursosdecrecientes y responsabilidades crecientes.

¿POR QUÉ OTRO MANUAL DEEVALUACIÓN?

La comunidad relacionada con el tema de lapoblación se ha interesado en la evaluación delos programas de planificación familiar desdesus orígenes en la década de los sesenta. Comoconsecuencia, varios métodos de evaluación hansido propuestos y refinados (Bogue, 1970; Rey-nolds, 1972; Sherris et al., 1985; Lloyd y Ross,1989; Manuales de NNUU, 1979, 1982, 1986;García–Nuñez, 1992; Buckner et al., 1995).¿Por qué, entonces, necesitamos un nuevo do-cumento sobre cómo evaluar los programas dePF? Este documento difiere de otros textos deevaluación por lo siguiente:

• Hace referencia a una necesidad declaradacada vez más frecuentemente por las agen-cias donantes y los administradores de pro-gramas: ¿cómo se diseña un plan de evalua-ción para un programa nacional?

• Reconoce que en la comunidad internacionalde agencias donantes la acción focalizada dela planificación familiar se ha desplazado deun sentido directamente definido como servi-cios anticonceptivos a una definición másamplia que comprende otros aspectos de lasalud reproductiva.

• Incorpora desarrollos y refinamientos meto-dológicos producidos recientemente por elProyecto EVALUATION, financiado por laUSAID, en los lineamientos para la aplicaciónen el campo.

• Actualiza el “estado del arte” en los diseñosmás apropiados para valorar el impacto delos programas de planificación familiar y se-ñala los asuntos metodológicos en términosque los administradores y el personal de eva-luación puedan entender. Estos términos, sinembargo, resultan también satisfactorios pa-ra la gran comunidad científica que se preo-cupa por el rigor metodológico.

• Refleja la experiencia práctica del personal delProyecto EVALUATION en la preparación deestrategias de evaluación para países específi-cos; como tal, considera el inevitable conflic-to entre el rigor científico y las limitacionesprácticas.

ORGANIZACIÓN DE ESTE MANUAL

Este manual está organizado de acuerdo con loselementos de un plan de evaluación cuyo esque-ma se presenta en la Gráfica I–1. Un plan deevaluación describe lo que se va a hacer, cómo,por quién, cuándo, con cuáles fondos y por qué;sirve como plan de acción para la implementa-ción. Idealmente, será preparado junto con el di-seño del programa (o antes de su implementa-ción). En lo posible, el plan debe incluir insumosde los planificadores y los administradores delprograma, quienes deben trabajar en contactocon los especialistas que llevarán a cabo la inves-tigación de evaluación.

Cada capítulo trata una sección del esquemamodelo para un plan de evaluación, que apare-ce en la Gráfica I–1. La información tiene el pro-pósito de ofrecer una guía para completar unplan de evaluación para un programa de PF,confeccionado para una situación particular.Los capítulos cubren lo siguiente:

Capítulo II Definición del alcance de la eva-luación

Capítulo III Enfoque metodológico: segui-miento de programas

Capítulo IV Enfoque metodológico: valora-ción del impacto

Capítulo V Desarrollo de un plan de imple-mentación

Capítulo VI Diseminación y utilización de losresultados

Capítulo VII Adaptaciones a otras intervencio-nes de salud reproductiva

Capítulo VIIIResumen: lista de pasos del diseñode un plan de evaluación

10


Debido a que demostrar impacto es la cues-tión clave en una evaluación, dedicamos un ca-pítulo aparte (IV) para este tema. En contrastecon textos anteriores que ofrecen un menú deocho “métodos clásicos” para evaluar el impac-to de los programas de planificación familiar so-bre la fecundidad, esta sección examina en for-ma crítica las alternativas y se inclina claramentepor el uso de tres métodos en particular. Los lec-tores notarán que la terminología de esta sec-ción es más cuantitativa que en otros capítulos;sin embargo, hemos tratado de presentar losconceptos en un lenguaje que pueda ser com-prendido por personas con un conocimiento bá-sico del diseño de estudios de investigación enciencias sociales. El Capítulo IV puede leerse endos planos. Para aquellos con dominio limitadode la estadística, el capítulo identifica los tresmétodos preferidos (“preferidos” porque loscambios observados pueden ser atribuidos alprograma) y explica sus ventajas y desventajas.

Da también al lector la oportunidad de familiari-zarse con los elementos para tomar decisionesinformadas respecto al tipo de evaluación a rea-lizar, aunque el lector no sea directamente res-ponsable de los aspectos técnicos del trabajo.Para lectores con más conocimientos de estadís-tica, el Capítulo IV explica las razones para lla-mar “preferidos” a tres métodos específicos y re-sume los enfoques y procedimientos de las esti-maciones estadísticas requeridas en estos méto-dos. Al ver el Capítulo IV, los administradores deprogramas y el personal de las agencias donan-tes pueden pensar que está dirigido solo a espe-cialistas en evaluación. Pero son precisamenteestas dos categorías de profesionales en saludquienes están frecuentemente bajo la presión de“demostrar impacto”. Los lectores que se sien-tan desmotivados por el lenguaje estadístico delCapítulo IV pueden tratar de centrar su atenciónen los conceptos y no en las estadísticas.

11


Gráfica I–1

Esquema modelo para un plan de evaluación

Alcance de la evaluación:

• Metas y objetivos del programa

• Marco conceptual que muestra los vínculos entre insumos, pro-cesos, productos y resultados

• Objetivos de la evaluación: √ seguimiento del programa √ valoración del impacto

Enfoque metodológico:

• Diseño del estudio

• Indicadores

• Fuentes de datos

Plan de implementación:

• Personas e instituciones responsables de las distintas partes de la evaluación

• Cronograma para las actividades específicas

• Presupuesto

Diseminación y uso de los resultados:

• Audiencias

• Formato y contenido

Qué

Quién, cuándo,cuáles fondos

Por qué

Cómo

Capítulo II

Definición delalcance de la

evaluación

• Determinación de las metas y los objetivos del programa

• Descripción de cómo “debería” funcionar el programa

• Establecimiento de los objetivos de la evaluación

• Esquema del alcance de la evaluación

DETERMINACIÓN DE LA META Y OBJETIVOS DEL PROGRAMA

Definición del programa

Las distintas personas tienen distintas ideassobre qué es un “programa”. En este manualestamos interesados principalmente en la eva-luación de los programas nacionales. Sin em-bargo, muchas de las técnicas descritas aquí sonigualmente aplicables a intervenciones más pe-queñas. Los recuadros II-1 y II-2 definen los tér-minos “programa” y “proyecto” utilizados en es-te manual.

En la mayoría de los países en desarrollo exis-ten ahora muchas organizaciones dedicadas a laprovisión de planificación familiar y otros servi-cios de salud reproductiva. Aunque cada orga-nización debe dar seguimiento a su propio de-sempeño y resultados, los encargados de tomardecisiones de alto nivel y el personal de las agen-cias donantes están igualmente interesados enevaluar los cambios a nivel nacional (por ejem-plo, en prevalencia anticonceptiva) que resultande los esfuerzos colectivos de todos los progra-mas y fuentes que ofrecen servicios relevantes.El conjunto de servicios relevantes suele ser lla-mado “el programa nacional”, aún sin una enti-dad coordinadora oficial. Por lo tanto, en unpaís el “programa nacional” puede incluir losservicios del Ministerio de Salud (MS), los afilia-dos a la Federación Internacional de PaternidadResponsable (IPPF), otras organizaciones no gu-bernamentales (ONGs), un programa subsidiadode mercadeo social y el sector comercial con fi-nes de lucro.

Definición de la meta yobjetivos del programa

Idealmente, el programa tendrá metas y obje-tivos bien articulados.

La meta es una declaración, usualmente gene-ral y abstracta, de un estado deseado hacia elcual está dirigido un programa (Rossi y Freeman,1993). Una meta puede establecerse en térmi-nos de las actividades de una agencia completao puede ser específica para un país particular.Por ejemplo, una de las metas de la USAID es:

• estabilizar la población mundial y proteger lasalud humana (USAID, 1995).

Algunos ejemplos de metas específicas parapaíses son:

• una mejora sostenible del nivel de vida, y

• el empoderamiento político, social y económi-co.

Los objetivos, en cambio, son declaracionesespecíficas y operacionalizadas con el detalle delos logros deseados en un programa (Rossi &Freeman, 1993). Algunos ejemplos de objetivosa nivel de población relevantes para la planifica-ción familiar son:

• reducir la tasa global de fecundidad a 4.0 hi-jos para el año X;

• aumentar la prevalencia anticonceptiva en un50% para el año X; y

• lograr un intervalo medio de 36 meses entrelos nacimientos al final de un proyecto quin-quenal.

Algunos países tienen objetivos cuantificablespara sus programas (como en el ejemplo ante-rior). En otros casos, el objetivo declarado indi-cará la dirección deseada del cambio sin cuanti-ficar su magnitud (por ejemplo, aumentar laprevalencia anticonceptiva durante la vida delprograma). Cualquier caso puede ser “puesto aprueba”, aunque los resultados son menos am-biguos cuando el nivel de aumento esperado ha

13

Capítulo II

DE F I N I C I Ó N D E L A L C A N C E D E L A E VA LUA C I Ó N

* Nata del traductor: los términos “metas” y “obje-tivos” son la traducción del inglés “goals” y “objec-tives”, respectivamente. En ciertos textos de evalu-ación en español estos dos términos se usan com-pletamente a la inversa: “goals”=objetivos y“objectives”=metas.

Los diferentes tipos de actividad organizada propia de las institucio-nes de planificación familiar pueden clasificarse como se indica acontinuación. Este manual se centra en el primer grupo, pero mu-chos de los principios y las herramientas de la evaluación se aplicana los dos.

Programa Nacional de Planificación Familiar

Definición: Todas las actividades organizadas para promover la pla-nificación familiar en el sector público, el sector volun-tario privado y el sector comercial en un país determina-do.

Este conjunto de actividades puede ser coordinado por un cuerpogubernamental o para-estatal como el Consejo Nacional de Planifi-cación Familiar de Zimbabwe o el BKKBN (Badan Koordinasi Keluar-ga Berencana Nasional), el Consejo Nacional de Coordinación de laPlanificación Familiar, de Indonesia. Más frecuentemente, las distin-tas organizaciones tales como el Ministerio de Salud (MS), los afilia-dos a la Federación Internacional de Paternidad Responsable, el sec-tor comercial privado y otras organizaciones no gubernamentales(ONG) trabajan con cierta autonomía pero compaten uno o másobjetivos comunes; generalmente: mejorar las condiciones socialesy el bienestar humano ayudando a las parejas a ejercer su derechoa escoger el número y espaciamiento de sus hijos, mejorar la saludde mujeres y niños y retardar el crecimiento de la población. Ideal-mente, hay un documento formal para definir las metas nacionalesy los mecanismos operativos para lograrlas, que sirve de base paraevaluar el programa.

El programa de una institución

(Programa institucional)

Definición: El conjunto de actividades que una organización públi-ca o privada ejecuta para lograr sus objetivos de PF.

Algunos ejemplos son el programa del MS, el programa del afiliadoa la IPPF y el programa de mercadeo social (cuando no es parte delos anteriores). Estos programas suelen tener objetivos más especí-ficos que el programa nacional. Por ejemplo, en contraste con elprograma nacional que busca aumentar la prevalencia anticoncep-tiva general, el sector público puede estar específicamente preocu-pado por proveer métodos de planificación familiar a poblacionesde bajos ingresos.

la IPPF) y los proyectos de los programas suelencompartir las mismas metas, pero reconocenque no podrán medir su contribución al cambioesperado en los resultados de la población; porlo tanto, sus objetivos generalmente son esta-blecidos en términos de los resultados esperadosde las actividades a nivel del programa.

Los evaluadores a veces enfrentan situacionesen las que los objetivos del programa no estánestablecidos en términos medibles. En este ca-so, parte del proceso de establecer los objetivoses ayudar a indicar los objetivos del programa entérminos que se presten para la evaluación; osea, “operacionalizar” los objetivos.

DESCRIPCIÓN DE CÓMO “DEBE” FUNCIONAR EL PROGRAMA

Componentes del programa

En el concepto más amplio, un programa deplanificación familiar puede ser visto en térmi-nos de cuatro elementos distintos: insumos,procesos (o actividades), productos y resultados(Veney y Gorbach, 1993).

• Los insumos del programa son el conjuntode recursos (i.e., personal, establecimientos,espacio, equipo y suministros) que constitu-yen los materiales en crudo del programa.

• Los procesos del programa se refieren alconjunto de actividades en las cuales se utili-zan los insumos en busca de los resultadosesperados de éste. Los procesos del progra-ma incluyen todas las operaciones de entregadel servicio2 (gestión, capacitación, suminis-tros y aspectos logísticos, información-educa-ción-comunicación (IEC), investigación y eva-luación) que el programa realiza para proveerlos servicios de planificación familiar.

• Los productos del programa son los resulta-dos obtenidos a nivel de programa a travésde la ejecución de las actividades que usan losrecursos de éste. Hay tres tipos de productosdel programa:

√ los productos del área funcional, como elnúmero de personas capacitadas o el nú-mero de charlas de IEC;

√ los productos del servicio, como el accesoa los servicios y la calidad de la atención; y

√ la utilización del servicio, como los años

14

Definición del alcance de la evaluación

2 También conocidas como “áreas funcionales”.

DEFINICIÓN:Programa

sido cuantificado.

Los programas nacionales generalmente tie-nen metas que especifican los resultados para lapoblación, tales como los cambios en la preva-lencia anticonceptiva, la mortalidad infantil, lafecundidad total y otros. Los programas institu-cionales (por ejemplo, el programa del afiliado a

de protección pareja (APP) y el número deaceptantes nuevos.

• Los resultados del programa son el conjun-to de efectos esperados en la población debi-do a las actividades del programa y a la gene-ración de productos del programa. Estos pue-den dividirse en dos componentes: resultadosintermedios3, y resultados a largo plazo.

√ Los resultados intermedios son los efectosen la población que están clara y estre-chamente vinculados a las actividades y alos productos del programa. El resultadointermedio más conocido de un progra-ma de planificación familiar es el uso deanticonceptivos. Los cambios en los re-sultados intermedios generalmente ocu-rren dentro de un período de 2 a 5 añosdesde el inicio del programa.

√ Los resultados a largo plazo son los efec-tos en la población que se dan a largoplazo y que se originan en los resultadosintermedios. Algunos ejemplos de resul-tados a largo plazo de programas de pla-nificación familiar son los cambios en lafecundidad y en la condición de la saludmaterno-infantil. Aunque las tasas de sa-lud y fecundidad pueden cambiar abrup-tamente respondiendo a fuerzas externas,por lo general existe un lapso de tiempoconsiderable (5 a 10 años) entre el iniciodel programa y la observación de los cam-bios en estas tasas.

Gráfica II-1

Relación entre los componentes delprograma

Los insumos (recursos del programa) son incor-porados a los procesos (actividades del progra-ma), los cuales generan productos (frutos delprograma) y finalmente, resultados (cambios enla conducta de la población).

15


Proyecto (dentro de una institución)

Definición: El conjunto de actividades con objetivos específicosque contribuyen a los objetivos generales de la institu-ción. Los distintos proyectos de una institución, quepueden ser financiados con distintas fuentes, consti-tuyen colectivamente su programa. Un proyecto sueletener atributos específicos en términos de:

• población objetivo (por ejemplo, adolescentes,hombres);

• método promovido (por ejemplo, métodos deacción prolongada);

• tipo de mecanismo de entrega de servicio utilizado(por ejemplo, distribución basada en la comunidad[CBD], obstetras tradicionales); y

• constelación de otros servicios sociales y de saludofrecidos concurrentemente (por ejemplo, atenciónprenatal).

Uno también puede haber escuchado referencias al “programa depoblación” de una agencia donante. Por ejemplo, las agencias mul-tilaterales como el Fondo de Población de las Naciones Unidas(FNUAP) y la IPPF, y agencias de desarrollo bilaterales de ciertos paí-ses (EEUU, Japón, Alemania, Inglaterra, Suecia, Canadá, entreotros) apoyan una cantidad de actividades en el sector poblacionalen distintos países. Una agencia donante suele ofrecer fondos parauno o más proyectos dentro de una institución y en casos aislados,para el programa completo de población. Aunque las actividadesfinanciadas por un donante pueden diferir mucho en cuanto a sunaturaleza (por ejemplo, realización de un censo, apoyo de viajes deobservación para encargados clave de la toma de decisiones, com-pra de suministros), el conjunto de actividades relacionadas con lapoblación de una agencia donante suele llamarse su “programa depoblación”. Este manual considera la evaluación de la financiaciónde donantes en la medida que estos fondos estén canalizados en unprograma o proyecto de planificación familiar en un país en vías dedesarrollo.

Los programas y los proyectos tienen una estrecha relación. El con-junto de proyectos múltiples de una institución constituye integral-mente el programa institucional. Los diferentes programas institu-cionales integran lo que llamamos “el programa nacional”. A suvez, estos programas generalmente están financiados parcialmentepor el gobierno y posiblemente por una o más agencias donantes.

DEFINICIÓN:Proyecto

3 Alternativamente, se les llama “resultados de cortoa mediano plazo”.

Los primeros tres – insumos, procesos y pro-ductos – se relacionan con las actividades y losresultados a nivel de programa. Los insumos,los procesos y los productos son medidos condatos del programa y de los establecimientos(ver Gráfica II-1). Los datos por programa pro-vienen de la recolección rutinaria de información(i.e., estadísticas de servicio, registros clínicos declientes y otros registros clínicos, registros admi-nistrativos, embarques de suministros y ventas)así como otra información recogida en el lugardonde se prestan los servicios (por ejemplo, en-cuestas a proveedores, observación de la inte-racción proveedor-cliente, inspecciones de ven-tas, observadores incógnitos) o de un estudio deseguimiento de clientes.

Los resultados (cambios intermedios y a largoplazo en la población) son medidos con datos

de la población recogidos de un área de capta-ción o grupo social que el programa buscababeneficiar. Puede ser un país, una región o unsub-grupo particular de la población (por ejem-plo, los adolescentes).

Descripción de los vínculos causales

Una vez que los objetivos son establecidos, esimportante definir cómo se espera que las acti-vidades del programa logren estos objetivos. Lasecuencia causal esperada se muestra en su for-ma más simple en la Gráfica II-1 en la página an-terior. El diagrama de flujo (modelo conceptual)en la Gráfica II-2 señala el contenido (factores,actividades, resultados, etc.) que están incluidosbajo cada una de las amplias categorías de insu-mo, proceso, producto y resultado.

16


Gráfica II-2

Componentes del impacto del programa

Fuente: Tsui y Gorbach, 1996

La Gráfica II-2 es útil para mostrar la relaciónentre los componentes del programa y los térmi-nos insumo-proceso-producto-resultado.El diagrama en la Gráfica II-2 es atractivo por susimplicidad, pero enmascara la complejidad delos programas reales. Por ejemplo, la “planifica-ción” y la “implementación” comprenden unconjunto de actividades interrelacionadas de di-ferentes áreas funcionales (gestión, capacita-ción, suministros, aspectos logísticos, IEC). Alplanear los vínculos entre el programa y los re-sultados esperados, es importante identificar los(a menudo múltiples) componentes de los “pro-cesos”.

La Gráfica II-2 muestra solo una parte de la si-tuación: la contribución de las actividades de losprogramas (el “lado de la oferta”) a los resulta-dos deseados. En la realidad, el éxito de los pro-gramas también está determinado por los facto-res de la demanda (sociales, económicos y otrasvariables ajenas al programa que afectan la de-manda del servicio). La Gráfica II-3 ilustra unmarco conceptual completo utilizado por el Pro-yecto EVALUATION para describir rutas por lascuales los factores de la demanda y los factoresde la oferta contribuyen a los productos del pro-grama y a los efectos en la población. En la Grá-fica II-3, los factores de la demanda se muestranen el lado superior izquierdo; los factores de laoferta se encuentran en el lado inferior izquier-do y están más elaborados en la Gráfica II-4. Eltexto del recuadro II-3 sobre el “Marco concep-tual” explica con más detalle estas relaciones.

Las Gráficas II-2 (que muestra los componen-tes del programa en términos de insumo-proce-so-producto-resultado) y la Gráfica II-4 (que de-talla el entorno de oferta de planificación fami-liar) están muy relacionadas y en ambos casosexcluyen los factores de la demanda en los ho-gares (o sea, si la gente desea servicios de plani-ficación familiar).

Estos diagramas sirven como mapas para vi-sualizar cómo uno espera llegar del punto A alpunto B. Además, permiten a los funcionariosdel programa y a los evaluadores aclarar la for-ma como los múltiples y variados ingredientes(como liderazgo del programa, regulaciones depolíticas, estilo de gestión, calidad de capacita-ción del personal, rango de productos o anti-conceptivos disponibles, frecuencia reposiciónde inventarios, cantidad y calidad de IEC y cali-dad de la atención) se juntan en un determina-do programa, así como conceptualizar estos ele-mentos en una forma sistemática que facilite laevaluación.

17


El marco conceptual es la base para identificar indicadores de pro-grama apropiados y especificar las trayectorias a través de las cualeslos insumos del programa producen productos programáticos y,finalmente, cambios en la conducta de la población objetivo. Unmarco conceptual describe los vínculos entre los insumos de los pro-gramas de PF y el cambio en la fecundidad, mostrado en las gráfi-cas II-3 y II-4. El Manual de Indicadores para Evaluación de Progra-mas de PF señala indicadores clave para cada cuadro del diagrama.El marco puede (y debe) ser modificado para evaluar los programasde PF con distintos objetivos o programas que tratan de alcanzarestos objetivos mediante una constelación diferente de servicios.

El marco reconoce que la fecundidad y otros impactos son conse-cuencia, tanto de la demanda, como de la oferta de servicios de PF.La demanda de hijos y la demanda de servicios de PF está afectadapor varios factores políticos, socioeconómicos, culturales e indivi-duales. Por eso, un aumento en la disponibilidad de servicios de PFes más probable que se transforme en mayores niveles de uso en unpaís donde estos otros factores ejercen una influencia positiva (envez de negativa) sobre la demanda.

El entorno de la oferta de PF (Gráfica II-4) también está definido porlos sistemas políticos y administrativos dentro de los cuales opera elprograma. El apoyo político para el programa de PF, su finan-ciamiento y el ambiente legal y regulatorio afectan la organizacióny el éxito del mismo. Los insumos al programa de PF en forma depersonal, establecimientos y espacio, equipo y suministros, etc., setransforman mediante las actividades programáticas. Estas activi-dades programáticas consisten en el planeamiento y la imple-mentación de las principales funciones del programa de PF: gestión,capacitación, distribución de anticonceptivos y suministros afines,esfuerzos de IEC e investigación y evaluación. En forma conjunta,los resultados de estas áreas funcionales crean los principales pro-ductos del programa: accesibilidad, calidad y servicios reputados dePF. Estos productos atraen clientes al programa y junto con lademanda de PF, determinan el impacto del programa sobre lapoblación objetivo.

Los costos totales de los insumos usados para producir productos yresultados programáticos particulares pueden calcularse. Por ejem-plo, los costos unitarios de personal, suministros y otros insumospueden ser multiplicados por las cantidades utilizadas, sumados yluego relacionados a los productos o servicios producidos por elprograma.

MARCO CONCEPTUAL:El impacto de los programas de PF sobre lafecundidad

El modelo en las Gráficas II-3 y II-4 describe losvínculos esperados para un programa vertical deplanificación familiar dirigido a la reducción dela fecundidad a largo plazo. Sin embargo, co-mo se dijo en el Capítulo I, el “modelo” para losprogramas de planificación familiar ha evolucio-

18


Gráfica II-3

Marco conceptual de la demanda de planificación familiar e impacto del programa sobre la fecundidad

Gráfica II-4

Marco conceptual de los factores de la oferta de planificación familiar

nado considerablemente durante los últimosaños para incluir otros servicios de salud repro-ductiva (relacionados con la maternidad segura,la lactancia, las enfermedades de transmisión se-xual [ETS], los servicios post-aborto). Los resulta-dos esperados no se relacionan solo con la fe-cundidad, sino también con la condición de lasalud materno-infantil y el logro de las preferen-cias reproductivas individuales (según medicio-nes del índice ALIR4).

ESTABLECIMIENTO DE LOS OBJETIVOS DE LA EVALUACIÓN

Tipos alternativos de evaluación

Como lo indica el esquema de la Gráfica II-5, haydistintos tipos de evaluación, cada uno con unpropósito diferente. Al diseñar una estrategia deevaluación, el evaluador necesita identificar laspreguntas claves que desea contestar y, por lotanto, el tipo de evaluación que se debe realizar.

Uno de los principales objetivos de este ma-nual es diferenciar claramente entre el segui-miento del programa y la valoración del impac-to. Como se refleja en las preguntas ilustrativasde la Gráfica II-5, el seguimiento del programa

19


4 ALIR es una sigla de “Ayuda a las Personas a Lograrsus Intenciones Reproductivas” (Jain y Bruce,1994). Mide el grado en el que los miembros deuna población objetivo logran sus intenciones re-productivas (por ejemplo, tener otro hijo, evitarotro embarazo).

Gráfica II-5

Tipos de evaluación

Tipos Pregunta(s) considerada(s)

Valoración de necesidades ¿Qué debería incluir el programa y cuál es la mejor forma de entrega para satisfacer lasnecesidades del grupo objetivo?

Seguimiento de programas Insumos

• ¿Estuvieron disponibles los insumos (por ejemplo, equipo, suministros, materiales,personal) para el programa en las cantidades y en los tiempos especificados en elplan del programa?

Procesos

• ¿Se efectuaron las actividades programadas conforme al plan?

• ¿En qué medida fueron efectuadas apropiadamente?

Productos

• ¿Ocurrieron los cambios esperados al nivel de programa, en términos de:

√ acceso a los servicios

√ calidad de la atención

√ utilización del servicio

Resultados

• ¿Ocurrió el cambio esperado en la población (no necesariamente atribuible al pro-grama)?

Costos

• ¿Cuál fue el costo extra de: expandir una actividad, producir una unidad mayor deproducto y lograr el cambio ocurrido?

Valoración del impacto ¿Cuál y cuánto cambio ocurrió (al nivel del programa o de la población) que seaatribuible al programa?

considera ciertas preguntas diferentes, una delas cuales es: ¿se dio un cambio? Sin embargo,sin la valoración del impacto, uno no puedecontestar la pregunta: ¿se dio el cambio debidoal programa? El resto de este capítulo comparay contrasta el seguimiento del programa frentea la valoración del impacto.

Propósitos del seguimiento del programa

El seguimiento5 se refiere a un conjunto detécnicas de evaluación, cada una de las cualesmide algún aspecto del desempeño del progra-ma. El seguimiento del programa tiene dos pro-pósitos distintos:

• mejorar los programas identificando aquellosaspectos que funcionan de acuerdo con elplan y aquellos que requieren correcciones amitad de camino; y

• rastrear los cambios en los servicios ofrecidos

(frutos del servicio) y los resultados deseados.

El seguimiento incluye medir la situación ac-tual y el cambio a través del tiempo en cualquie-ra de los componentes del programa.

A nivel del programa:

• Insumos

• Productos: Productos funcionales, productosdel servicio (o idoneidad del servicio), utiliza-ción del servicio

A nivel de la población:

• Resultados: Resultados intermedios (porejemplo, prevalencia anticonceptiva), resulta-

20


5 El seguimiento, o monitoreo, de las actividades re-lacionadas con las variables a nivel del programatambién se llama “evaluación del proceso”.

Gráfica II-6

Uso del marco conceptual para identificar los aspectos que debe considerar el seguimiento de programas

dos a largo plazo (por ejemplo, tasa global defecundidad).

Algunos lectores pueden sorprenderse al ver elcambio en la población categorizado como se-guimiento más que como valoración del impac-to, puesto que en muchos programas el “impac-to buscado” es una caída en la fecundidad, lamortalidad o la morbilidad. Sin embargo, no esimposible atribuir causa y efecto o determinar elporcentaje de cambio atribuible al programa ba-sado en un simple seguimiento de las tendenciaen los datos. Aún cuando estas variables se re-fieren a los cambios finales que el programa de-sea producir, el rastreo de estas tendencias caebajo la amplia categoría de seguimiento del pro-grama (en ausencia de un diseño de estudio oun análisis estadístico que determine la causali-dad).

Idealmente, el seguimiento del programa in-cluirá tanto las técnicas de investigación cuanti-tativas como las cualitativas. La recolección dedatos puede incluir cualquiera de las técnicas es-tándar usadas en la investigación de las cienciassociales (encuestas, grupos focales, entrevistasen profundidad, observación, informantes clavey otras) además del análisis de los datos del pro-grama (por ejemplo, estadísticas de servicio).

La Gráfica II-6 ilustra cómo el marco concep-tual puede ser usado para identificar y organizarlas preguntas clave que deben ser consideradasrespecto a la cantidad, calidad y costo de losprogramas. Por simplicidad, se muestra solo unaspecto en cada cuadro de la Gráfica II-6. Enuna verdadera evaluación, uno seleccionaría lascajas que le interesan e identificaría los indicado-res (variables) para medir cuán bien funciona elprograma en cada aspecto. Una evaluación ex-haustiva del programa trataría de cubrir buenaparte de estas cajas. En cambio, un estudio es-pecial podría centrarse en una sola, como la ca-lidad de la atención en un grupo de PPS.

El seguimiento de programas es mucho máscomún que la valoración del impacto en la eva-luación de programas nacionales de planifica-ción familiar6. A nivel del programa, los admi-nistradores usan las tendencias de los datos delprograma (número de clientes nuevos, cantidadde APP, número de consultas según propósitode la consulta, número de contactos con adoles-centes y otros) para valorar el progreso e identi-ficar las áreas que requieren mejoras. Además,rastrean tendencias en la población durante unperíodo de tiempo (en prevalencia anticoncepti-va, combinación de métodos, tasa global de fe-cundidad, duración media de intervalos entre

nacimientos, y otras) para valorar el progresohacia los objetivos intermedios y de largo plazo.En general, aunque el seguimiento de productosy resultados no demuestra causa y efecto, sueleexistir un supuesto de asociación razonable.

Propósito de la valoración del impacto

El propósito de la valoración del impacto esmedir el grado de cambio atribuible a un pro-grama o intervención determinado. A diferenciadel seguimiento, que simplemente rastrea elcambio, la valoración del impacto se ocupa de lacuestión de causalidad.

La palabra “impacto” se escucha frecuente-mente en las organizaciones cuya misión es pro-ducir un cambio de conducta. A menudo el per-sonal del programa usará este término para des-cribir el cambio deseado que espera lograr me-diante una intervención, y de esta forma descri-be su propio marco conceptual que vincula losinsumos de los procesos con los productos y losresultados. Por ejemplo, el personal del proyec-to de mercadeo social puede especular respectoal impacto de sus actividades de promoción so-bre las ventas. El personal de IEC espera que sucampaña nacional tenga el impacto deseado deponer a los clientes en contacto con los servi-cios.

Es fácil describir este tipo de relación causa-efecto, pero en general es más difícil demostrarel impacto en forma empírica. La razón, comose mencionó antes, es que aún cuando el cam-bio deseado ocurre, no necesariamente o exclu-sivamente puede ser atribuido a la intervencióndel programa. Por ejemplo, el director del pro-grama de planificación familiar puede citar elaumento en la prevalencia anticonceptiva a tra-vés del tiempo como “prueba del impacto delprograma nacional”. En lenguje común, muchosaceptarán esta declaración al pie de la letra. Entérminos técnicos, sin embargo, la palabra “im-pacto” indica que la evaluación se basa en un di-seño de estudio, demostrando no solo el cam-bio, sino causa-efecto.

21


6 Existen varios estudios del tipo investigación deoperaciones que usan diseños cuasi-experimentalespara vincular algún aspecto de la entrega del servi-cio con un cambio en el programa o en la pobla-ción. Muchos de estos estudios están diseñadospara demostrar causa y efecto. Sin embargo, gene-ralmente son realizados en un área geográfica es-pecífica, y por lo tanto, no constituyen una evalua-ción del programa nacional.

nes del desempeño del programa. De hecho, lasvariables usadas para valorar el impacto (y por lotanto, la información recolectada) son las mis-mas que los indicadores usados para el segui-miento del programa. Lo que las diferencia es eldiseño de la evaluación y las técnicas analíticasutilizadas.

Este manual estimula a los evaluadores a dis-tinguir entre el seguimiento de programas y lavaloración del impacto en el diseño de los planesde evaluación y en los informes de resultados.Además, invita a los miembros de la comunidadde evaluadores a renovar esfuerzos para llevar acabo valoraciones de impacto en el sentido rigu-roso del término y provee una guía metodológi-ca para hacerlo.

A modo de examen previo de los argumentosmás detallados que se ofrecen en el Capítulo IV,la Gráfica II-9 resume los “métodos preferidos”para valoración del impacto y los datos requeri-dos para cada uno.

Factores para decidir cuándo valorar el im-pacto

En la práctica, la pregunta NO es si se debe ha-cer seguimiento de programas O valoración deimpacto. Más bien se trata de realizar la valora-ción de impacto además del seguimiento deprogramas. La decisión depende básicamentede lo siguiente:

• la etapa en que se encuentra la implementa-ción del programa;

• la disponibilidad de recursos para la recolec-ción y el análisis de datos adicionales, y

• la necesidad de demostrar el impacto (porejemplo, para justificar la continuación del fi-nanciamiento).

Etapa en que se encuentra la implementa-ción del programa

El plan de evaluación para un programa deter-minado debería definirse de entrada. (En el ca-so de la USAID, generalmente es al inicio de unciclo de cinco años de financiación.) Una vezque el programa está en marcha, normalmentees demasiado tarde para aplicar en forma re-troactiva un diseño de evaluación que permitauna medición confiable del impacto. Además,el desarrollo de un plan de evaluación desde elprincipio del programa asegura que los datosnecesarios están siendo o serán recolectados.

22


La USAID actualmente da seguimiento al desempeño de programasusando un esquema de resultados como el mostrado en el ejemplode la Gráfica II-7 de la misión USAID en Marruecos.

En este sistema, una misión desarrolla uno o más objetivos estraté-gicos. El objetivo estratégico es el resultado más ambicioso que launidad operativa, junto con sus asociados, está dispuesto a asumir.Constituye la norma sobre la cual se va a juzgar su desempeño. Enlos sectores de población y salud, los objetivos estratégicos puedenir, desde una caída en la fecundidad y la mortalidad, hasta un au-mento en el uso de algunos servicios de planificación familiar, so-brevivencia infantil y salud reproductiva o materna.

Seguidamente desarrolla un esquema de resultados para cada ob-jetivo estratégico. Este esquema ilustra las rutas causales que llevanal logro de los objetivos, así como a los resultados requeridos enetapas anteriores para su logro. Este esquema también es útil paracomunicar las premisas subyacentes de la estrategia. El esquema deresultados forma parte esencial del plan estratégico que debe serdesarrollado por cada misión o unidad operativa en el extranjeroque usa fondos del programa. Además de los objetivos estratégi-cos y el esquema de resultados, el plan señala los enfoques que vana usarse para lograr los objetivos, los indicadores para medir resul-tados y la frecuencia de los reportes de cada uno.

Cada objetivo estratégico y cada resultado debe contemplar al me-nos un indicador de desempeño. Estos indicadores deben ser cla-ros, precisos y objetivamente medibles. Estos indicadores son me-didos en un punto de partida, o línea de base, y posteriormente enuno o más puntos durante el ciclo del proyecto. Además, el esque-ma de resultados debería incluir cualquier resultado clave produci-do por otros asociados, como por ejemplo, las ONG, el gobierno delpaís anfitrión, otros donantes y clientes.

Las unidades operativas documentan su progreso hacia el logro delos resultados establecidos en un informe anual que contiene unaparte descriptiva y cuadros de los indicadores de desempeño.

ESQUEMA DE RESULTADOS:Enfoque de la USAID para el seguimiento de programas

Esta diferencia se ilustra en la Gráfica II-8. Eldiagrama está incluido para hacer énfasis en elpunto de que una evaluación puede demostrarel cambio esperado, pero no es necesariamenteatribuible al programa.

En resumen, la evaluación de la planificaciónfamiliar a menudo se limita solo al seguimientode programas. Pero si uno hace la valoracióndel impacto, el análisis debería incluir medicio-

23


Gráfica II-7

Ejemplo de un sistema de seguimiento para un programa nacional

ESQUEMA DEL ALCANCE DE LA EVALUA-CIÓN

Finalmente, es importante presentar las decisio-nes de qué evaluar en forma escrita. Como sedijo en el Capítulo I, la descripción del alcancede la evaluación debería incluir:

• La metas y los objetivos del programa

• El marco conceptual que señale los vínculosentre los insumos, los procesos, los productosy los resultados

• Los objetivos de la evaluación

• Seguimiento del programa

• Valoración del impacto

No hay necesidad de presentar con gran deta-lle estos tres temas de un plan de evaluación(aunque es importante hacer la diferencia entreel seguimiento de programas y la valoración delimpacto). Más bien, lo relevante es la claridadconceptual.

Con una descripción clara de los tipos de eva-luación a realizar, uno sigue con los detalles delenfoque metodológico. El capítulo siguiente (III)ofrece lineamientos para el seguimiento de pro-gramas.

Ciertos conceptos del Capítulo III (por ejem-plo, la selección de indicadores, las fuentes dedatos) son igualmente aplicables a la valoracióndel impacto. Sin embargo, los problemas de di-señar una medición de impacto son tan diferen-tes que se discuten por separado en el CapítuloIV.

24


Gráfica II-8

La secuencia de los tipos de evaluación

Para los evaluadores que diseñaron un plan deevaluación antes del inicio del programa, la“etapa de implementación” no es problema.Pero para aquellos que reciben la tarea cuandoel programa (o el ciclo de financiación vigente)ya está en marcha, las opciones son más limita-das. Bajo condiciones menos que óptimas, elevaluador tiene las siguientes opciones:

• limitar la evaluación solo al seguimiento delprograma;

• tratar de demostrar vínculos entre los compo-nentes del programa y las medidas de pro-ducto o resultado, aún cuando no sea posiblemostrar causa-efecto en forma inequívoca(ver Capítulo IV); o

• identificar diseños más solventes que puedanser usados en etapas posteriores de actividad.

Disponibilidad de fuentes de datos exis-tentes y potenciales

La disponibilidad de datos también debe con-siderarse al tomar la decisión de realizar análisisde impacto. Los requerimientos de datos paralos tres “métodos preferidos” son algo diferen-tes, como se resume brevemente en la Gráfica II-9 y se describe en detalle en el Capítulo IV. Estoes a menudo un factor determinante para la de-cisión.

25


Gráfica II-9

Métodos preferidos para valorar el impacto de programas de PF

Los textos y manuales anteriores sobre la evaluación del impacto de los programas de PF han descrito varios métodoso enfoques (United Nations, 1979, 1982, 1985; Hermalin, 1982; Sherris et al., 1985; Buckner et al., 1995). Sin embar-go, el consenso desarrollado por el Proyecto EVALUATION es que solo tres enfoques demuestran adecuadamente lacausalidad (i.e., que el cambio observado es atribuible al programa). Estos tres enfoques preferidos se exponen condetalle en el Capítulo IV y son los siguientes:

Experimentos aleatorizados: el diseño con pretest, postest y grupo controlEste diseño es considerado como la "norma de oro" para valorar el impacto, porque, si se implementa apropiadamente,responde a la pregunta: ¿Qué habría sucedido sin el programa? Comparando el cambio que ocurre en las poblacionesexperimentales con las poblaciones control, uno puede medir qué proporción del cambio es atribuible al programa. Laprincipal limitación de este método se relaciona con su factibilidad y la aceptación política de realizar experimentos.

Datos requeridos: Se deben obtener datos de dos grupos: aquellos que reciben y aquellos que no reciben la inter-vención; además, los sujetos (o grupos de sujetos, como pueblos) deben ser asignados aleatoria-mente al grupo experimental o al grupo control. Los datos (sean estadísticas de servicio o datosde encuestas) son recolectados tanto antes ("pre") como después ("pos") de la intervención para losdos grupos.

Aunque este diseño suele ser criticado por la dificultad de ejecutarlo, un enfoque prometedor es la "localización" de lasintervenciones. Específicamente, si uno se encuentra al principio del ciclo de un proyecto que comprenderá nuevasintervenciones o un estudio piloto antes de la expansión a gran escala, es posible asignar aleatoriamente los estable-cimientos o áreas que reciben y no reciben la intervención y luego comparar los resultados de los dos grupos. Esteenfoque puede ser particularmente útil si los recursos son muy limitados como para iniciar las intervenciones en todaslas áreas simultáneamente.

Cuasiexperimentos: "diseño de grupo control no equivalente"Este enfoque es similar al diseño de grupo control pretest-postest expuesto anteriormente, excepto que los sujetos (olas unidades administrativas como los pueblos) NO son asignados aleatoriamente al grupo experimental o al de con-trol. Más bien, el investigador selecciona o asigna los pueblos con base en la similitud de sus características socio-demográficas u otras características clave. Por lo demás, los datos requeridos son los mismos del diseño aleatorio.

Modelos de regresión longitudinal de nivel múltipleEsta metodología usa técnicas estadísticas de las ciencias sociales, aplicadas a los tipos de datos disponibles para laevaluación de los programas de PF. Brevemente, está diseñada para demostrar empíricamente que los insumos del pro-grama resultaron en cambios al nivel de programa (por ejemplo, más y mejores servicios) Y que estos productos pro-piciaron un cambio en la conducta deseada, como la práctica anticonceptiva (o sea, el resultado intermedio). Enalgunos casos, el resultado a largo plazo es preferido al intermedio, o bien, se usan ambos (por ejemplo, la tasa defecundidad).

Datos requeridos: Los datos requeridos para este tipo de análisis son las encuestas de la población objetivo (quepuede ser el país completo) en dos fechas distintas realizadas en los mismos conglomerados, asícomo datos sobre la red de entrega de servicios en esas dos fechas. En algunos casos, es posiblehacer análisis similares de un estudio realizado en una fecha determinada si la información sobrelas variables clave puede ser reconstruida retrospectivamente para una fecha anterior. Las encues-tas de tipo DHS ofrecen información sobre la población objetivo. Los datos sobre la red de entre-ga del servicio pueden ser obtenidos del módulo de disponibilidad de servicios (SAM) de la DHS ode un estudio de Análisis de Situación. Pocos países tienen actualmente datos por hogares y porestablecimientos para el mismo conjunto de conglomerados muestrales. Sin embargo, muchospaíses ya tienen una encuesta DHS con un módulo de disponibilidad de servicio y están planean-do una segunda DHS; en este caso, agregando el segundo SAM se obtendría los datos necesariospara este método.

_____________________________Nota: Los métodos anteriores se exponen en un orden que facilita su presentación, no necesariamente en orden depreferencia. Las condiciones bajo las cuales los distintos métodos serían preferidos se discuten en el Capítulo IV.

Capítulo III

Enfoque metodológico:

Seguimiento de programas

• Aclaración del propósito principal del seguimiento

• Identificación de los componentes que van a recibir seguimiento

• Definición de indicadores relevantes

• Identificación de fuentes de datos

• Diseño de un formato para la presentación de resultados

• Resumen del enfoque metodológico

27

Capítulo III

EN F O Q U E M E T O D O L Ó G I C O: SE G U I M I E N T O D E P R O G R A M A S

Este capítulo supone que el evaluador ha com-pletado el primer paso del desarrollo de un plande evaluación: la definición del alcance de unaevaluación (i.e., solo dar seguimiento al desem-peño del programa, solo medir el impacto o am-bas).

Si la decisión incluye el seguimiento de progra-mas, los próximos pasos del desarrollo de unplan de evaluación consisten en definir:

• el propósito principal del seguimiento,

• los componentes del programa que deben re-cibir seguimiento,

• el o los diseños de estudio,

• los indicadores,

• las fuentes de datos, y

• el formato para la presentación de los resulta-dos.

ACLARACIÓN DEL PROPÓSITO PRINCIPALDEL SEGUIMIENTO

Como se dijo en el Capítulo II, el seguimiento deprogramas tiene dos propósitos principales:

• mejorar los programas identificando aquellosaspectos que funcionan de acuerdo con elplan y aquellos que requieren correcciones amitad de camino, y

• rastrear (y demostrar) los resultados a niveldel programa o de la población.

Por ejemplo, ciertas técnicas de evaluación es-tán diseñadas específicamente para mejorar eldesempeño. En un esfuerzo por mejorar la cali-dad de la atención en los programas de planifi-cación familiar, algunos países han experimenta-do con la “Técnica Eficiente para el ProveedorOrientada hacia el Cliente” (COPE), que es uninstrumento de autoevaluación diseñado parauso local (AVSC International, 1995). Los datosNO son agregados a un nivel superior, sino que

más bien son analizados por los proveedores delservicio para identificar los cambios que se pue-den introducir localmente para corregir proble-mas identificados por el ejercicio. Esta técnicacualitativa representa un enfoque prometedorpara mejorar los programas de abajo hacia arri-ba, pero no satisface las necesidades de un ofi-cial de un programa regional para el rastreo deresultados de los PPS en la red del programa.

En cambio, hay técnicas que dan seguimientoa los logros de un programa pero ofrecen relati-vamente poca información sobre sus ventajas ydesventajas. Un ejemplo son los informes de ru-tina de las estadísticas de servicios (número deaceptantes nuevos, número de visitas clínicas,número de años de protección de pareja y otros)recolectados para los PPS y agregados a nivelcentral. Este tipo de información es valiosa pararastrear las tendencias a través del tiempo, aun-que por sí solos no indican por qué el programaestá o no está logrando los resultados deseados.

Los administradores de programas y las agen-cias donantes están generalmente interesadosen ambos tipos de seguimiento. Las agenciasdonantes casi siempre quieren datos cuantitati-vos sobre los “resultados”, pero cada vez más seinteresan por saber que el programa tiene for-mas de obtener datos, generalmente cualitativos(por ejemplo, grupos focales, entrevistas profun-das, listas de observación y otros), los cuales se-rán utilizados directamente para mejorar el pro-grama. De este modo, el seguimiento de pro-gramas suele consistir en una combinación deactividades de evaluación que en su conjuntoproveen información sobre el programa comoun todo.

IDENTIFICACIÓN DE LOS COMPONENTES QUE DEBEN RECIBIR SEGUIMIENTO

La decisión de a cuáles componentes de un pro-grama se debe dar seguimiento depende, enparte, del propósito principal de la evaluación:mejorar el programa, rastrear resultados o am-

28

Enfoque metodológico: Seguimiento de programas

Gráfica III–1

Propósito del seguimiento y componentes de interés

bas (Ver Gráfica III.1). Para el administrador delprograma, no es un asunto de “uno u otro”, élnecesitará ambos. En cambio, las agencias do-nantes a menudo están más interesadas en ras-trear los resultados del programa (aunque engeneral promueven bastante entre las agenciasejecutoras la realización de evaluación dirigidaa la identificación de áreas que requieren mejo-rar).

La evaluación de las distintas operaciones delservicio (“áreas funcionales”) es particularmen-te útil cuando se hace con suficiente antelaciónen el proceso de ejecución para permitir las co-rrecciones a mitad de camino. La utilización delservicio generalmente se rastrea continuamentedurante la ejecución del proyecto. Los resulta-dos, en cambio, son generalmente medidos en(dos o más) intervalos para determinar el cam-bio a través del tiempo.

Los siguientes puntos del seguimiento debenser tomados en cuenta:

• El seguimiento de programas emplea ideal-mente tanto las técnicas cuantitativas comolas cualitativas.

• No es práctico tratar de hacer una evaluacióndetallada de TODOS los aspectos del progra-ma. Más bien, es importante priorizar lospuntos para los cuales la información serámás útil a la institución y crucial para el éxitodel programa.

• El uso de un marco conceptual para definirlas rutas para lograr los resultados deseadoses igualmente aplicable a los proyectos y alos programas nacionales (ver recuadro III-1).

• Las actividades de evaluación suelen ser dediversa naturaleza y periodicidad. Algunaspueden hacerse de rutina (por ejemplo, la re-colección y el registro de estadísticas de ser-vicio), otras periódicamente (por ejemplo, vi-sitas simuladas o con observadores incógni-tos para valorar la calidad de la atención) yotras una sola vez (por ejemplo, el análisis de

costo por APP para los distintos métodos an-ticonceptivos).

• El personal administrativo clave debería to-mar el liderazgo en la decisión de a cuáles as-pectos del programa dar seguimiento, no losespecialistas en evaluación7. De esta forma,la evaluación servirá realmente a las necesida-des de la institución.

Para llegar a la decisión de cuáles aspectos es-pecíficos del programa se deben evaluar, es útilidentificar el ámbito de temas posibles y luegopriorizarlos. La Gráfica II-6 del capítulo anteriorofrece un marco útil para considerar opciones.Esta gráfica la hemos repetido en la Gráfica III-2dejando espacios en blanco, los cuales puedenser utilizados por una organización para identi-ficar y priorizar los aspectos a evaluar.

La tarea es, entonces, identificar los aspectos aevaluar más apremiantes para el programa enestudio. Por ejemplo, casi todos los administra-dores querrán una retroalimentación regular so-bre los “resultados” que reflejen el desempeñodel establecimiento (por ejemplo, el número deaceptantes nuevos, el número de APP). Ade-más, a menudo hay asuntos específicos que de-ben ser atendidos (por ejemplo, la necesidad dedar seguimiento a la calidad). Los administrado-res también querrán saber cuán productivo es supersonal para generar productos, como visitas aclientes o APP; por ejemplo, ¿Cuántos clientesreciben servicios cada día? ¿Cuál fue el costodel recurso humano para producir un APP el añoanterior? ¿Cómo varió el costo por APP por ti-po y ubicación de la clínica?

DEFINICIÓN DE LOS INDICADORES RELEVANTES

El propósito de los indicadores

Los indicadores son variables que miden los dis-tintos aspectos de un determinado programa:los insumos, los procesos, los productos y los re-sultados.

Se puede asignar un valor numérico a un indi-cador (un porcentaje, un promedio, un rango,un número absoluto) o una calificación de si/no(por ejemplo, “presencia” frente a “ausencia”).En algunos casos, el valor conlleva una interpre-

tación ampliamente compartida (por ejemplo,una tasa de prevalencia anticonceptiva de 75%es “alta”). En otros casos, el valor (número) esmuy útil en un sentido relativo, en comparacióncon programas similares o el mismo programaen una etapa anterior (por ejemplo, tendenciasobservadas en los APP).

A riesgo de sobre simplificar, se puede decirque el seguimiento de programas consiste en lamedición de cuán bien funciona el programa enuna o dos de las cajas del marco conceptual(Gráficas II–3 y II–4). El marco conceptual ilustracómo debería funcionar el programa teórica-mente para lograr los resultados deseados en elprograma y en la población. El seguimiento delprograma cuantifica lo que realmente ocurre encada nivel (de insumos, procesos, productos yresultados). Aunque algunos pueden considerarque el marco conceptual es un mero ejercicioacadémico, de hecho este marco es muy prácti-co, dado que identifica las áreas para las cualesel evaluador podría seleccionar indicadores.

Un menú de posibles indicadores para evaluarprogramas de planificación familiar se ofrece enel Manual de Indicadores para la Evaluación deProgramas de Planificación Familiar (Bertrand etal., 1994). En la medida que los programas deplanificación familiar se extienden para incluirotros aspectos de la salud reproductiva, el posi-ble número de indicadores adicionales relevan-tes aumenta (en Bertrand y Tsui, 1995, se descri-ben indicadores para: embarazo seguro, ETS/SI-DA, nutrición de mujeres, lactancia y servicios desalud reproductiva para adolescentes).

En una evaluación concreta, uno debería prio-rizar los indicadores basados en los objetivos es-pecíficos del programa y seleccionar un conjun-to manejable para satisfacer las necesidades par-ticulares de la situación. Es, en suma, esencialidentificar los aspectos claves que deben serconsiderados en la evaluación y seleccionar losindicadores correspondientes.

29


7 Es importante, sin embargo, para el especialista enevaluación, involucrarse de cerca en estas discusio-nes, para ofrecer información que pueda influir ladecisión (por ejemplo, los costos y el tiempo apro-ximado requerido para las distintas actividades derecolección de datos, las fuentes alternativas de in-formación, los sesgos inherentes a los distintos mé-todos de recolección de datos y otros).

30


El Capítulo II describió en detalle el valor de un esquema con-ceptual en el diseño de la evaluación de un programa nacio-nal. Sin embargo, es igualmente útil contar con un "mapavial" que describa las rutas para el logro de los resultados de-seados en proyectos más pequeños. Aunque el cambio espe-rado generalmente está expresado en términos de una prác-tica o una conducta, eso puede no ser el caso en algunosprogramas, como se muestra en el ejemplo siguiente sobrejuventud y prevención del SIDA.

En este ejemplo el supuesto implícito es que el conocimiento

Los esquemas conceptuales son útiles para la evaluación de proyectos y programas

obtenido en una edad temprana influirá de hecho la conduc-ta de los jóvenes cuando llegan a estar a riesgo de contraeruna infección VIH. El alcance de la evaluación y el períododel proyecto podrían, empero, impedir la verificación de estesupuesto. Más bien, como se refleja en el esquema siguien-te, el proyecto está diseñado para aumentar el conocimientosobre la transmisión del VIH y la evaluación se centraría en es-te resultado. Cada resultado intermedio puede recibir, a suvez, seguimiento para asegurar que el proyecto está siendoimplementado de acuerdo con el diseño.

�

31


Características de un buen indicador

Los buenos indicadores comparten algunas ca-racterísticas importantes. Posiblemente la másimportante es la validez: ¿Mide el indicador loque se supone que debe medir? Por ejemplo,las preguntas de encuestas sobre el tamañoideal de familia no están pensadas usualmentecomo medidas válidas de la demanda de fecun-didad debido a los sesgos de las respuestas. Porotra parte, la intención declarada de tener máshijos se considera un indicador válido de de-manda puesto que tiende a estar menos in-fluenciado por los errores de las respuestas. Lasventas de anticonceptivos en un programa de

mercadeo social puede ser un indicador válidodel éxito del mercadeo, pero sería un indicadorinválido del nivel de uso de anticonceptivos, silos usuarios están usando los productos sub-vencionados para sustituir otros métodos.

Otra dimensión de la validez es que el indica-dor debe tener una conexión cercana con la in-tervención, o al menos esta conexión debe serdefendible. Por ejemplo, la tasa de mortalidadmaterna, en general no es una medida válidadel impacto de un programa de planificaciónfamiliar sobre la salud femenina. Aunque losprogramas de planificación familiar ciertamentecontribuyen a reducir la mortalidad materna,

Gráfica III–2

Esquema para identificar y priorizar los aspectos del desempeño del programa que deben recibirseguimiento

32


existen otros factores (atención prenatal, siste-ma de referencia, acceso a la atención hospita-laria, transporte) que también influyen en la ta-sa. Un indicador con mayor validez del impactode la planificación familiar en la salud de las mu-jeres puede ser el número de nacimientos de.mujeres que pertenecen a categorías de altoriesgo.

La confiabilidad es otra característica desea-ble en un buen indicador. La confiabilidad se re-fiere al error aleatorio de medición en un indica-dor. El error de medición puede surgir de erroresaleatorios propios del muestreo, un error no demuestreo o una medición subjetiva del indica-dor. Por ejemplo, debido al error de muestreo,una encuesta nacional como la DHS no proveeestimaciones confiables de la práctica anticon-ceptiva en áreas pequeñas. Las estadísticas deservicio pueden dar medidas más confiables dela práctica anticonceptiva en estas áreas (aun-que pueden no ser válidas si la población en elárea obtiene anticonceptivos fuera de los servi-cios oficiales). Las encuestas por muestreo ge-neralmente proveen estimaciones de aborto noconfiables debido al sesgo de las respuestas, eneste caso, la renuencia de las entrevistadas a re-portar abortos. Además, los indicadores que sebasan en juicios subjetivos, como por ejemplo,la calidad de liderazgo del programa, pueden noser confiables, debido a que los diferentes eva-luadores pueden usar distintas normas para me-dir esa característica.

Un indicador debe ser definido en términosclaros y precisos. El indicador debe ser defini-do operacionalmente para que otras personaspuedan saber precisamente lo que se está mi-diendo. Por ejemplo, ¿qué es un aceptante deplanificación familiar? ¿Cómo se define provee-dor competente? ¿Se basa el conocimiento deun método de planificación familiar en el cono-cimiento espontáneo o en conocimiento conayuda? La definición del indicador debería tam-bién especificar la población en la que se va amedir el indicador: ¿todas las mujeres o mujerescasadas? ¿Mujeres de 15-44 o de 15 a 49 años?¿Todos los usuarios de la planificación familiar osolo los usuarios de métodos modernos? ¿To-das las mujeres del país o solo las del área delproyecto? Finalmente, el significado de las me-didas demográficas como tasas y razones debe-ría estar claramente especificado.

De igual manera, es preferible escoger indica-dores que sean comparables entre los distintosgrupos poblacionales de la población y entre

distintos enfoques de programa. En igualdadde condiciones, una tasa de prevalencia anti-conceptiva basada en mujeres de 15-49 años espreferible a una basada en mujeres de 15-44años, porque será más comparable a tasas deotros programas. Un programa con diferentesenfoques de entrega de servicio (por ejemplo,clínico, CBD y mercadeo social) debería tratarde identificar al menos uno o dos indicadoresde utilización del servicio que sean apropiadospara las tres modalidades, como los APP, demanera que los resultados puedan ser compa-rados entre los distintos enfoques de entregade servicios. En la medida de lo posible, los in-dicadores deberían reflejar el desempeño relati-vo a alguna norma o “denominador común”.Por ejemplo, podría ser interesante conocer elnúmero de APP para un método específico delsector comercial, pero tal vez es más útil cono-cer el “porcentaje de usuarios de un método es-pecífico obtenido del sector comercial” (paramétodos de reabastecimiento).

Los indicadores deben ser insesgados. Descri-ben la situación en un momento dado. Si, porejemplo, un programa está tratando de valorarsu progreso en reducir el desabastecimiento, elindicador apropiado es el “porcentaje de PPSque se encontraron desabastecidos en los últi-mos 12 meses” (que podría ser rastreado a tra-vés del tiempo), no “la disminución en el por-centaje de PPS que estuvieron desabastecidos.”

Los indicadores deber ser recolectados a tiem-po. El indicador debe proveer una medida paraun período reciente o al menos, para el períododurante el cual ocurre la intervención; también,debería estar disponible en intervalos adecua-dos.

Los indicadores poblacionales casi nunca es-tán disponibles anualmente y suelen referirse aun período de varios años antes de la encuesta(por ejemplo, las estimaciones de fecundidadde la DHS generalmente se refieren a períodosde tres años anteriores a la encuesta). Aunquelos datos de rutina del programa, como las es-tadísticas de servicio, podrían ser una buenafuente de datos actualizados, tiende a haber unatraso considerable en su disponibilidad. Final-mente, algunos datos poblacionales se recolec-tan ahora periódicamente mediante métodoscomo el Análisis de Situación o el Módulo deDisponibilidad del Servicio de la DHS. Estos ins-trumentos proveen medidas oportunas, perono continuas, del funcionamiento del progra-ma.

33


Factores que afectan la selección de los in-dicadores

En un mundo ideal, el evaluador identificaría sis-temáticamente los indicadores considerados co-mo los más útiles para una determinada evalua-ción y procedería a recolectar o adquirir los da-tos requeridos. Sin embargo, si en el mundoreal el tiempo y los recursos humanos y financie-ros son limitados, otros factores intervienen enla selección de los indicadores. Los siguientesson factores comunes que intervienen en la de-cisión.

• Disponibilidad de datos requeridos para me-dir el indicador

Ejemplo: Para valorar los efectos de los progra-mas de planificación familiar sobre los resulta-dos en la fecundidad y en la salud a nivel mun-dial, sería extremadamente útil contar con da-tos de todos los países sobre las fuentes de fi-nanciamiento (agencias donantes, impuestoslocales, tarifas para los clientes) de la planifica-ción familiar y sobre los costos de proveer ser-vicios de planificación familiar. Sin embargo,tales datos no existen actualmente de manerafácilmente accesible. Además, no está claroque todos los gobiernos estén dispuestos aabrir sus registros financieros a los evaluadoresexternos para efectos de recolectar esta infor-mación.

• Tiempo asignado a la evaluación

Ejemplo: Los administradores de programapodrían querer saber si su nuevo enfoque enla consejería sobre el uso del NORPLANT® alos clientes trae como resultado mayores ta-sas de continuación. Sin embargo, si la eva-luación del programa de consejería se limita ala vida del proyecto (parte del cual posible-mente ha pasado), es imposible comprobarlos efectos a largo plazo de la consejería.

• Apoyo financiero disponible para la evalua-ción

Ejemplo: Muchos directores de IEC quisieranconocer el porcentaje de la población objetivoque fue alcanzada por una determinada cam-paña y la reacción del público a los mensajes.Pero pueden no contar con los recursos pararealizar una encuesta entre la población. Po-dría haber un conflicto entre el costo, por unlado y la validez, confiabilidad y oportunidad,por otro.

• Requisitos de las agencias donantes

Ejemplo: El indicador “años de protección dela pareja” se ha convertido en la medida másusada de la utilización del servicio en los pro-gramas financiados por la USAID, porque laUSAID (y la IPPF) exige a las agencias recipien-tes de su asistencia reportar este resultado.

Uso de indicadores múltiples

Para los indicadores bien establecidos como laTasa Global de Fecundidad (TGF) y la Tasa de Pre-valencia Anticonceptiva (CPR), un solo indicadorsuele ser suficiente. Sin embargo, a veces esaconsejable usar dos o más indicadores paramedir un determinado resultado. Una situaciónde este tipo es cuando la calidad de los datos esdudosa; un resultado goza de mayor credibili-dad si la misma tendencia puede ser demostra-da en dos o más indicadores.

Además, cuando se introducen nuevos indica-dores de programa, es útil tener indicadores al-ternativos para una determinada categoría deresultados (por ejemplo, medir la calidad de lainteracción cliente-proveedor). Esto ofrece alevaluador un plan alternativo en caso de que losdatos de una fuente no se concreten o sean con-siderados inválidos (por ejemplo, los entrevista-dos no entendieron bien la pregunta). Final-mente, los indicadores de una cierta área funcio-nal suelen medir una cadena de eventos y el usode múltiples indicadores puede ser importantepara desarrollar una comprensión de la dinámi-ca a lo largo de la cadena. Por ejemplo, un pro-grama IEC (1) genera cierto número de mensa-jes a través de cierto número de canales y (2)ofrece orientación a clientes potenciales y realesque buscan servicios esperando que los miem-bros de la población objetivo (3) escuchen losmensajes sobre planificación familiar, (4) entien-dan los mensajes principales, (5) reaccionen po-sitivamente a los mensajes, (6) discutan los men-sajes con otros, (7) desarrollen una disposiciónfavorable hacia la comportamiento promovido,como es el uso de anticonceptivos, (8) se con-viertan en aceptantes, y (9) continúen la prácti-ca. En cada paso de este proceso el porcentajeque sigue esta cadena puede potencialmentedisminuir; para el evaluador es indispensableidentificar el patrón de esta respuesta por partede la población objetivo.

En suma, la selección de los indicadores se ba-sa en el propósito de la evaluación: saber mássobre un área funcional, producto o resultadodel programa y en algunos casos para satisfacerlos requisitos de la agencia donante. La selec-

34


ción de los indicadores está determinada por lasnecesidades e intereses específicos de quienesrealizan la evaluación. Pueden conducirse distin-tos tipos de evaluación en forma escalonada du-rante los cinco o más años que dure el proyec-to.

Operacionalización de los indicadores

“Operacionalización de los indicadores” significaidentificar la forma como una cierta conducta oconcepto puede ser medido. En el mejor esce-nario posible, un indicador está conceptualmen-te claro y se presta fácil e inequívocamente parala medición. Un ejemplo sería el número de per-sonas entrenadas en un año determinado, porcategoría de personal (médico, enfermera, espe-cialista en suministros y logística y otros).

Desafortunadamente, muy pocos indicadoresson tan simples y directos. Más bien, aún des-pués de que el evaluador ha identificado los in-dicadores que deben usarse, tiende a enfrentaruno o más de los problemas siguientes al opera-cionalizarlos.

• La medición de un indicador requiere juiciossubjetivos

Muchos están de acuerdo en que uno de losfactores más importantes para los programasde planificación familiar exitosos actualmentees la “calidad del liderazgo del programa”.Para usar este indicador, es obligatorio definirlas características que constituyen el “lideraz-go”, pero la valoración final sigue siendo sub-jetiva.

De igual manera, los indicadores que requie-ren un juicio de “presencia” o “ausencia” pue-den ser complicados si se debe establecer“cuánto” constituye la “presencia”. Por ejem-plo, con relación al indicador “ausencia de res-tricciones arbitrarias para los usuarios”, unopodría tener un programa modelo con unapequeña excepción. ¿Debería bastar esta ex-cepción para alterar la valoración que uno ha-ce?

Si el evaluador se enfrenta con el problema delos juicios subjetivos, debe decidir primero siretiene el indicador. Si lo retiene, debe aclararlos criterios usados para llegar a la calificacióno valoración final.

• Las reglas de medición están claras pero lasaplicaciones finales difieren del enfoque reco-mendado

Por ejemplo, el Manual de Indicadores para laEvaluación del Programa de Planificación Fa-miliar (Bertrand et al., 1994) recomienda defi-nir el “número de aceptantes nuevos para lainstitución” como “nuevos solamente unavez”. Vale decir que si una persona abandonael programa de la institución por varios años yluego vuelve, NO sería “nueva” para la institu-ción. Pero, puesto que algunas organizacio-nes no guardan registros por más de cincoaños, puede no ser factible adherirse a la defi-nición recomendada. En tales casos, el eva-luador debe tener muy claro en qué se distin-gue la medición utilizada de la práctica están-dar o recomendada.

• El indicador está conceptualmente claro perola balanza en que se lo mide no lo está.

En apariencia, el “costo del suministro men-sual de anticonceptivos como porcentaje delsalario mensual” luce claro y medible. Pero,cuando uno aplica el indicador, pueden surgirciertas preguntas. Por ejemplo, los distintosmétodos anticonceptivos tienen distintos cos-tos. ¿Cuáles costos deberían estar incluidos: elcosto promedio de todos los métodos dispo-nibles? ¿El costo promedio ponderado segúnla proporción que usa los distintos métodos?Además, ¿cuáles números deberían usarse siel costo de los métodos varía durante el trans-curso del año? ¿Qué número debería usarseen el denominador si las cifras de salariosmensuales promedio están desactualizadas?

Es útil revisar cómo otros investigadores y eva-luadores han manejado situaciones similares,en la medida que los evaluadores tengan ac-ceso a informes de otros. Si no se tiene esta in-formación, lo correcto es: documentar cual-quier decisión que se haga para operacionali-zar los indicadores para una evaluación espe-cífica.

Para cada indicador que pueda ser utilizado enel seguimiento de programas, es necesario iden-tificar una o más fuentes de datos de las cualesobtener información, como se describe en lasección siguiente.

IDENTIFICACIÓN DE FUENTES DE DATOS

La evaluación de un programa nacional de pla-nificación familiar normalmente comprende da-tos de la población y del programa. Aunqueexistan muchas fuentes de datos (ver GráficaIII–3), la mayor parte de la evaluación de la pla-

35


nificación familiar se limita a unas pocas fuentesde datos. En el diseño de una evaluación, esesencial hacer un inventario de los datos que yaexisten e identificar la recolección adicional dedatos que es necesaria para proveer respuestasa las preguntas en estudio.

¿Qué está primero: identificar los indicadoresque se van a usar o seleccionar las fuentes dedatos para medirlos? Los dos procesos estánestrechamente relacionados; la selección de losindicadores suele estar determinada por la dis-ponibilidad de datos o la factibilidad de recolec-tar información adicional con un costo mínimopara el programa (por ejemplo, estadísticas ru-tinarias del servicio).

Sin embargo, algunos tipos de evaluación NOpueden ser llevados a cabo usando los datosexistentes, tales como las valoraciones de la ca-lidad de la atención que requieren los estudiosespeciales. En tales casos, uno hace un esque-ma de los indicadores de interés y luego identi-fica la recolección de datos requerida para obte-ner la información.

Aunque potencialmente existe un gran núme-ro de fuentes de datos para evaluar los progra-mas de planificación familiar, la mayor parte dela evaluación de programas se basa en las si-guientes fuentes de datos:

Datos a nivel del programa

Existen muchos tipos diferentes de informaciónque constituyen los datos del programa. Estospueden ser agrupados en cuatro categoríasprincipales.

Registros del programa y estadísticas delservicio para proveedores del sector públi-co y ONGs.

“Registros del programa” se refiere a todos lostipos de información generados por una o másdivisiones del programa y guardados en archivoen una oficina central o regional. Algunosejemplos útiles para el seguimiento de progra-mas (especialmente, productos funcionales)son: el número de visitas de supervisión hechasa trabajadores de CBD, el número de personasentrenadas por año por tipo de personal, el nú-mero de los distintos productos de comunica-ción elaborados en un año determinado, la can-tidad de productos de comunicación distribui-dos y otros.

Las estadísticas del servicio son subcategoríasde los datos del programa. Incluyen cualquiertipo de información recolectada de rutina y re-gistrada en relación al uso de un servicio. Algu-nos de los indicadores más comunes para losprogramas de planificación familiar son

• el número de aceptantes nuevos;

• el número de visitas a las PPS;

• los años de protección de pareja; y

• características del usuario.

Generalmente, estos datos son recolectadosen cada PPS, luego agregados en una oficinacentral para dar seguimiento a las tendencias através del tiempo y por sub-unidad dentro delsistema.

Encuestas de establecimientos

El objetivo primario de las encuestas de estable-cimientos es describir la disponibilidad, funcio-namiento y calidad de las actividades de planifi-cación familiar y de salud. Esta informaciónpuede obtenerse entrevistando personas infor-madas o visitando el establecimiento y obser-vando sus operaciones. Los datos de estableci-mientos también son requeridos para estudiosque vinculan la información del programa (porejemplo, calidad de la atención) con, por ejem-plo, los resultados en la población (por ejemplo,prevalencia anticonceptiva), ver Mensch et al.(1994).

Hay dos tipos principales de encuestas de es-tablecimientos en proyectos de la USAID. Laprimera, conocida como “Análisis de Situación”,

Componente Fuente(s)a medir de datos

Productos Registros de programa, (del programa) especialmente estadísticas

del servicioEncuestas deestablecimientosDatos sobre el sectorcomercialEstudios especiales

Resultados Encuestas de hogares tipo (en la población) DHS

36


fue desarrollada en el contexto del proyecto deAsistencia Técnica e Investigación de Operacio-nes en África (OR/TA) (Fisher et al., 1992) y hasido replicado en varios países alrededor delmundo. La segunda es el Módulo de Disponi-bilidad del Servicio (SAM), desarrollada e imple-mentada bajo el programa DHS.

Los dos tipos de encuesta se diferencian entresí por (1) los instrumentos de recolección de da-tos utilizados y (2) en el universo de PPS quedescriben. En el Análisis de Situación, los ins-

trumentos para la recolección de datos incluyenuna serie de módulos (un inventario de suminis-tros en el PPS, observación de la interacciónproveedor-cliente, entrevistas de salida conclientes, entrevistas con proveedores del servi-cio, entre otros). Los resultados descriptivosofrecen a los administradores centrales infor-mación importante sobre las ventajas y desven-tajas del programa a través del país (o área geo-gráfica bajo estudio). El Análisis de Situacióntambién se usa para obtener datos sobre la ca-

Gráfica III-3

Fuentes y tipos de datos para la evaluación de un programa nacional

37


lidad de la atención en los programas de plani-ficación familiar.

EL SAM es una encuesta a comunidades, cu-ya conducción está asociada a una encuesta dehogares en la DHS (pocas DHS incluyen unSAM). Para cada conglomerado muestral utili-zado en el estudio, los informantes clave pro-veen una lista de establecimientos existentesdedicados a la planificación familiar y la salud.Los equipos de campo obtienen luego la infor-mación en cada (1) hospital, (2) clínica, (3) cen-tro de salud, (4) farmacia y (5) doctor privadomás cercanos, dentro de un radio de 30 kilóme-tros del centro del conglomerado8. La informa-ción recolectada en cada sitio cubre la afiliacióninstitucional (privada o pública), el número y ti-po de personal, la infraestructura (equipo, tipode materiales de construcción), tipos de servi-cios proveídos, tipos de métodos anticoncepti-vos disponibles, etc. Esta información es poten-cialmente útil para valorar la disponibilidad ysuficiencia de los servicios de planificación fami-liar para una población determinada y puedeser particularmente importante para vincular loscambios (mejoras) en el entorno de la oferta dela planificación familiar con los cambios en laprevalencia a través del tiempo.

La diferencia en el muestreo utilizado en losdos tipos de encuestas es la siguiente: el Análi-sis de Situación se basa en una muestra aleato-ria de PPS en un país (los que pueden estar des-proporcionadamente localizados en áreas urba-nas), mientras los datos de los SAM son recolec-tados para una muestra aleatoria de mujeres enel país9. Entonces, el Análisis de Situación midelos PPS promedio, mientras la SAM mide losservicios disponibles para las mujeres promedioen un país determinado. En realidad, las en-cuestas de establecimientos han estado bastan-te subutilizadas para los propósitos de evaluarlos programas de planificación familiar. Su uti-lidad potencial en la valoración del impacto (enrelación a las entrevistas individuales) se discuteen el Capítulo IV.

Los estudios de costos también pueden con-ducirse en los establecimientos. Estos proveeninformación sobre el costo de ofrecer diferentesservicios incluyendo visitas a los aceptantes y vi-sitas de seguimiento por método. Usando la in-formación sobre las visitas y el número de APPpor método, estos datos pueden ser agregadospara determinar el costo por APP. Además, elcosto de expandir las visitas a aceptantes y deseguimiento, así como el número de APP pue-

den ser calculados considerando el volumen decapacidad subutilizada.

Información sobre la provisión de planifi-cación familiar en el sector comercial

Las fuentes de datos sobre el sector comercialgeneralmente no forman parte de las estadísti-cas del programa, las cuales provienen del sec-tor público y los grandes proveedores no guber-namentales (ONG). No hay una central de esta-dísticas del servicio de planificación familiar enel sector comercial. Esto se debe, en parte, a laausencia de un cuerpo central encargado de es-tos datos y en parte, porque los proveedorescomerciales están compitiendo entre ellos ypueden estar renuentes a compartir informa-ción sobre el volumen y calidad de sus servicios.

La información sobre las actividades de plani-ficación familiar en el sector comercial privadohan sido medidas en algunas SAM y Estudios deAnálisis de Situación, así como en encuestascentradas exclusivamente en los proveedoresprivados. Además, algunas fuentes de datosexclusivas de este sector están disponibles paramedir la disponibilidad de métodos y serviciosen el sector. Estas incluyen:

• datos sobre cargamentos de anticonceptivospara distribuidores y vendedores;

• ventas de los minoristas;

• inspecciones de locales de ventas minoristas; y

• reportes de detallistas sobre la disponibilidadde servicios y métodos de planificación fami-liar provenientes de doctores y clínicas.

Los proveedores en el sector comercial y lospatrocinadores de los programas de mercadeosocial y del sector privado también están intere-sados en la calidad de los servicios proveídos.Algunas técnicas utilizadas para valorar la cali-dad de los servicios son: (1) estudios de clientesincógnitos para determinar si los minoristas es-

8 Es preferible que el equipo de recolección de da-tos efectivamente visite cada sitio; sin embargo, enlas primeras DHS o cuando los fondos no estabandisponibles, informantes clave proveían esta infor-mación en algunos de los estudios.

9 Sin embargo, con una ponderación apropiada, losresultados del SAM pueden ser presentados parauna población equivalente a la descrita normal-mente en el Estudio de Análisis de Situación.

38


tán promoviendo los productos de mercadeosocial y para valorar la calidad de la informaciónofrecida; (2) entrevistas a la salida hechas a losconsumidores para valorar su satisfacción conlos servicios recibidos; y (3) encuestas a la po-blación.

Estudios especiales

Los estudios especiales generalmente son con-ducidos para responder a una necesidad especí-fica. Pueden utilizar métodos de investigacióncuantitativos o cualitativos. La lista de posiblesestudios especiales es larga, algunos ejemplosilustrativos son los siguientes:

• un seguimiento de clientes de esterilizaciónpara determinar su nivel de satisfacción conel procedimiento;

• grupos focales entre adolescentes que asis-ten a un determinado programa para valorarsi éste responde a sus intereses y necesida-des;

• una revisión administrativa de los documen-tos del programa; y

• mapeo de una comunidad para mostrar dón-de viven las parejas elegibles y cuál métodoanticonceptivo usan.

Datos de la población

El instrumento primario para recolectar datosde la población para programas de planificaciónfamiliar es la encuesta tipo DHS. Siguiendo latradición de la Encuesta Mundial de Fecundidad(WFS) y la Encuesta de Prevalencia Anticoncep-tiva (CPS), la Encuesta Demográfica y de Salud(DHS) generalmente se realiza en una muestrarepresentativa de mujeres en edad reproductivade un país. Recientemente, cierto número deencuestas DHS también han incluido una mues-tra de hombres (ya sea una muestra indepen-diente de hombres o una muestra de espososde las mujeres entrevistadas en la DHS). El prin-cipal cuestionario de la DHS que comprendeunas 250 preguntas ofrece información detalla-da sobre fecundidad y planificación familiar,además de información sobre salud materno-in-fantil, utilización de servicios de salud y temasafines (Robey et al., 1992).

Usamos el término “encuestas tipo DHS” pa-ra subrayar que hay otras encuestas similares ala DHS en contenido y tipo de población estu-diada. Los Centros de Control y Prevención deEnfermedades (CDC) han conducido ciertas en-cuestas de salud reproductiva en algunos paísesde América Latina y otras regiones del mundo.De igual manera, algunos países han realizadosus propias encuestas nacionales sobre fecundi-dad y temas afines.

39


40


41


DISEÑO DE UN FORMATO PARA LA PRESENTACIÓN DE RESULTADOS

Frecuentemente, los evaluadores y otros inves-tigadores recolectan mucha más informaciónque la necesaria. Una forma de evitar esto esespecificar cómo la información va a ser proce-sada y presentada con bastante anticipación ala recolección de datos. Este enfoque permiteal evaluador ver cómo será el informe y valorarsi el grado de detalle se justifica. Por otra par-te, este paso puede también mostrar las caren-cias de información clave que debe ser incluidaen la recolección de datos.

Los investigadores suelen referirse a este pa-so como “el diseño de cuadros simulados”.Consiste en producir una serie de cuadros ygráficas que indican las variables exactas que

deben presentarse en cada una y el tipo de da-to que debe incluirse (números absolutos, por-centajes, promedios, medianas, etc.), pero nolos datos reales (los cuales no están todavía dis-ponibles o procesados).

Los datos pueden presentarse en forma tabu-lar o gráfica. Una ventaja de presentar los re-sultados en cuadros es que uno puede incluirvalores precisos para un número relativamentegrande de indicadores. Sin embargo, el “marde números” puede desanimar a algunos lecto-res a la hora de examinar las tendencias. Encambio, las gráficas tienden a destacar las ten-dencias en los datos (contribuyendo a su com-prensión), pero pueden impedir la presentaciónde valores específicos. Las técnicas básicas pa-ra presentar resultados son similares, indepen-dientemente de la fuente de datos. Las gráfi-

Gráfica III-8

Ejemplo: Visión de conjunto de la metodología para el seguimiento de un programa concreto

42


cas III-4 a III-7 son ejemplos de fuentes comunesde datos para indicadores típicos que uno pue-de rastrear:

nestadísticas del servicio recolectadas de rutina:el número de usuarios nuevos por tipo demétodo (Gráfica III–4);

• datos de establecimientos (Análisis de Situa-ción): porcentaje de PPS con inventario de su-ministros a mano, disponibilidad de materia-les de IEC (Gráfica III–5);

• medidas de resultados en la población (DHS):cambios en la composición de métodos anti-conceptivos a través del tiempo (GráficaIII–6); y

• registros financieros del programa: gastos encomparación con cantidades presupuestadas,gastos por tipo y por actividad del servicio(Gráfica III–7).

En el diseño de cuadros y gráficas simulados,el evaluador debe incluir toda la informaciónque pretende presentar. Con este ejercicio, unopuede valorar rápidamente si los resultados dela evaluación serán suficientemente exhaustivossin llegar a abrumar al usuario potencial.

RESUMEN DEL ENFOQUE METODOLÓGICO

No hay una regla fija sobre la manera en quelos temas tratados en este capítulo deban ser re-sumidos en el plan de evaluación. Pero, es im-portante que el documento presente una visiónde conjunto de los elementos cubiertos aquí:

• propósito(s) principal(es) del seguimiento;

• componentes que deben recibir seguimiento(basado en el “mapa” del marco conceptual);

• indicadores para cada ejercicio de recolec-ción;

• fuente(s) de datos para cada ejercicio de re-colección (indicando cuáles existen ya y cuá-les deben ser recolectados); y

• formato para la presentación de los resulta-dos.

43

Capítulo IV

Enfoque metodológico: Valoración del

impacto

• Una advertencia amigable

• Visión de conjunto de los temas

• Criterios para la selección del enfoque metodológico

• Enfoques preferidos

• Enfoques alternativos

• Resumen

Los capítulos I, II y III de este documento tra-tan temas y conceptos que tienden a ser conoci-dos, al menos parcialmente, para la mayoría delos lectores. El material fue presentado paso apaso para aclarar aún más el proceso de evalua-ción de programas y lograr que las herramientasdel seguimiento de programas sea más fácil-mente comprensible para todos los lectores, in-dependientemente de su experiencia en estadís-tica e investigación.

En contraste, el capítulo IV considera temasque son metodológicamente más complejos. Elobjetivo del capítulo es promover una compren-sión general de (1) las ventajas y desventajas delos varios enfoques y métodos para medir elimpacto de programas, (2) las razones por lasque el Proyecto EVALUATION recurre a algunosmétodos y no a otros y (3) los requisitos gene-rales para usar estos métodos. Los autores hanintentado presentar el material en un lenguajeque comunique las ideas metodológicas básicasa lectores con escasa experiencia en estadística einvestigación, al tiempo que ofrece suficienteinformación técnica a los lectores más versados,de manera que las ventajas técnicas relativas delos enfoques alternativos puedan ser apreciadas.Sin embargo, en este capítulo no se hace unapresentación paso a paso como la de losprimeros tres capítulos y se excluyen los detallesde cálculo. Las referencias a otras publicacionescuentan con los detalles técnicos necesariospara la aplicación de los métodos discutidos eneste capítulo.

VISIÓN DE CONJUNTO DE LOS TEMAS

Cada vez más, la atención se centra en el efec-to final de los esfuerzos de los programas deplanificación familiar y de salud; o sea, en el im-pacto de los programas y las intervenciones. Co-mo se señaló en el capítulo II, la medición delimpacto comprende algo más que el simple se-guimiento de los cambios en los indicadores de

resultados; requiere una evidencia empírica deque un cambio observado en los indicadores deresultados es atribuible a un determinado pro-grama o intervención. En otras palabras, requie-re la evidencia de que el programa o la interven-ción evaluada ha causado el cambio.

Para medir el impacto de programas están dis-ponibles varios métodos o enfoques distintos.Estos difieren, por ejemplo, en términos de lostipos de medidas de resultados utilizadas, el nú-mero y tipos de supuestos requeridos, la fuerzade las conclusiones respecto al impacto de pro-grama alcanzado, los requerimientos operativosy los requerimientos de datos. Este capítuloofrece una visión de conjunto de lo que el Pro-yecto EVALUATION considera como los métodosmás robustos disponibles para medir el impactode programas de planificación familiar. Nuestroobjetivo es ofrecer una guía para facilitar la se-lección entre las opciones disponibles.

El material de este capítulo tiene en mente alfuncionario del programa (o el investigador) acargo de la evaluación, quien tuvo la responsa-bilidad de preparar el plan de evaluación paraun nuevo programa o ciclo de programas. Lasdecisiones sobre cómo debe medirse el impactodel programa es mejor tomarlas en la etapa dediseño o de planeamiento de los programas onuevos ciclos de programas, porque solo en es-ta etapa se tiene disponible una amplia gama deopciones. Una vez que un programa o ciclo deprogramas está en proceso, la oportunidad parausar algunos de los diseños y métodos de inves-tigación más fuertes se pierde y se hace necesa-rio recurrir a opciones más débiles.

El contraste con el seguimiento de tendenciasen las estadísticas de servicio o la realización deestudios descriptivos de la marcha del programa(por ejemplo, encuestas de satisfacción de clien-tes), la valoración del impacto, en el sentido es-tricto de la palabra, requiere métodos estadísti-cos y destrezas analíticas que carecen muchos

45

Capítulo IV

ENFOQUE METODOLÓGICO: VALORACIÓN DEL IMPACTO

administradores de programa, personal deagencias donantes y especialistas en evaluaciónde países anfitriones. En este capítulo, presen-tamos una descripción de los distintos métodosdestinada a lectores con escasos conocimientosestadísticos, pero que les permite juzgar las ven-tajas de usar una técnica en su propio escenario(aunque el análisis propiamente sea realizadopor otras personas). Después de estas descrip-ciones generales se ofrece una discusión de te-mas metodológicos clave y un resumen de lasventajas y desventajas, destinado a proveer a es-tadísticos y demógrafos con más informaciónsobre las implicaciones metodológicas de las dis-tintas selecciones de métodos.

CRITERIOS PARA GUIAR LA SELECCIÓN DELENFOQUE METODOLÓGICO

Puesto que el propósito principal de este capítu-lo es ayudar a los usuarios a seleccionar entre losdistintos métodos y enfoques alternativos paramedir el impacto de programas, es útil empezarpor especificar algunos criterios para hacer estaselección. Para valorar los distintos métodosdescritos en este capítulo, el evaluador debeconsiderar los criterios siguientes:

• Posibles amenazas a la validez10

El criterio más importante para valorar un mé-todo es la validez de sus estimaciones del im-pacto del programa. Aunque todos los méto-dos son vulnerables a fallas en la validez, éstasvarían considerablemente en términos del nú-mero y tipo de falla (por ejemplo, riesgos deconfusión) a las cuales están sujetos.

• Supuestos requeridos

Todos los métodos requieren supuestos. Al-gunos métodos requieren supuestos extremosque rara vez son válidos en la realidad, mien-tras otros requieren supuestos más débiles ycon más probabilidad de ser válidos. En igual-dad de condiciones, se prefieren los métodosque requieren menos supuestos o supuestosmenos rigurosos.

• Habilidad para aislar los efectos del progra-ma

Idealmente, las medidas del impacto del pro-grama incluyen solo resultados directamenteatribuibles a éste. En la mayoría de situacio-nes, factores como el desarrollo económico,múltiples programas sociales, una estructura

demográfica cambiante y la presencia de acti-vidades de planificación familiar fuera del pro-grama complican los intentos de medir el im-pacto de éste. Los métodos difieren en la me-dida en que el evaluador puede aislar los efec-tos del programa de las influencias de otrosfactores. Los métodos preferibles son aquellosmás eficientes para aislar estos efectos.

• Costos

Aquí se incluyen los costos de la recolección yanálisis de datos. En igualdad de condiciones,se prefieren los métodos de menor costo. Enmuchos casos, sin embargo, los métodos di-fieren en otros aspectos además del costo, porlo que deben tomarse decisiones sobre el cos-to-beneficio.

• Datos requeridos

Los métodos varían considerablemente encuanto a los datos requeridos. Aparte de lasdiferencias en el volumen de datos requeridos,algunos métodos necesitan datos que sonmuy difíciles de recolectar o son más vulnera-bles a errores de medición que otros métodos.Esto puede aumentar el riesgo de que el errorde medición oscurezca los efectos de los pro-gramas o exagere la magnitud del impacto lo-grado realmente.

• Indicios de las trayectorias causales

Los métodos varían mucho en relación a la in-formación que proporcionan sobre la formacomo los insumos son transformados a pro-ductos y resultados. Aunque tal informaciónno se requiere para la medición del impacto,provee útiles indicios de cómo mejorar los pro-gramas en ciclos de programa subsiguientes.

• Tipos de indicadores de resultados utilizados

Algunos métodos han sido diseñados específi-camente para la medición de ciertos tipos deresultados. Por ejemplo, algunos métodosque han sido desarrollados específicamentepara medir el impacto en la fecundidad de losprogramas de planificación familiar no son fá-cilmente adaptables a la medición del impac-to en otros aspectos (por ejemplo, resultados

46

Enfoque metodológico: Valoración del impacto

10 El término “validez” como se usa aquí significa elgrado en el que las medidas de impacto de progra-ma de un determinado diseño constituyen medi-das insesgadas y libres de distorsión del verdaderoimpacto de programa. En términos legos la vali-dez se refiere al hecho de que uno esté realmentemidiendo el fenómeno

de salud). Otros métodos son más versátiles ypueden usarse para medir diversos tipos de re-sultados de programas, así como resultadosen diferentes niveles. Por lo tanto, el tipo deresultado de interés en una evaluación parti-cular determina parcialmente la selección delmétodo.

• Grado de control del programa que se re-quiere

Ciertos diseños, como el experimental aleato-rizado y, en menor grado, el cuasi-experimen-tal, al mismo tiempo que proveen la evidenciamás sólida de impacto del programa, requie-ren condiciones altamente controladas en laforma en que se evalúa el programa y si otrasintervenciones se llevan a cabo simultánea-mente. Los estudios “no experimentales”, encambio, no requieren que los programas seejecuten de cierta manera para proveer medi-ciones válidas de su impacto, pero general-mente requieren mayor cantidad de datos yanálisis más complejos para producir resulta-dos válidos. El grado en que es posible ejercercontrol sobre la forma de ejecución del pro-grama para facilitar la medición del impactoes, por ende, un factor importante en la elec-ción del diseño de estudio.

• Recursos y destrezas técnico-estadísticas re-queridos

Aunque todos los métodos considerados re-quieren de conocimientos y destrezas básicasen las áreas de investigación y estadística, al-gunos métodos y enfoques requieren destre-zas relativamente avanzadas y en algunos ca-sos software especializado.

Son, por tanto, numerosos los factores a con-siderar en la elección de un enfoque determina-do para medir el impacto del programa. Para fa-cilitar la selección del método apropiado, hemosclasificado los enfoques de valoración del impac-to en dos categorías, que reflejan lo que los au-tores percibimos como su fortaleza global, sobrela base de los criterios siguientes:

• Enfoques preferidos

Los métodos que pertenecen a esta categoríason aquellos considerados como los diseñosmás robustos (por las razones que se indicana continuación) y son recomendados comoprimera elección siempre que sea posible.

• Enfoques alternativos

En los casos en que el uso de los métodos pre-

feridos no es posible, están disponibles variosenfoques alternativos. Estos métodos se ba-san en diseños menos rigurosos y generalmen-te producen resultados menos convincentesque los métodos preferidos, pero bajo ciertascircunstancias son capaces de producir esti-maciones apropiadas del impacto de progra-mas.

Los métodos específicos considerados en estecapítulo y su clasificación en los dos grupos de-finidos anteriormente se muestran en la GráficaIV-1.

Obsérvese que los métodos presentados en laGráfica IV-1 excluyen ciertos métodos que apa-

recen en la literatura (United Nations, 1979,1982, 1985; Chandrasekaran y Hermalin, 1985;Lloyd y Ross, 1989; Buckner et al., 1995). Estemanual no los considera por varias razones. Al-gunos de estos métodos (por ejemplo, los añosde protección de pareja estándar - APPS, el aná-lisis del proceso reproductivo y los métodos deproyección por componentes) se basan en datosa nivel de establecimientos y están, por lo tanto,limitados en su capacidad para medir el impac-to de programas en la población11. Los APPS ylos métodos de análisis del proceso reproductivorequieren datos que están disponibles solo oca-sionalmente para todo el país. Otros métodos

47


Gráfica IV-1

Clasificación de los métodos más impor-tantes para valoración del impacto segúnsu validez general

Métodos preferidos

• Experimentos aleatorizados

• Cuasi-experimentos

• Métodos de regresión multinivel

Métodos alternativos

• Descomposición (modelo de determinantespróximos)

• Método de prevalencia

11 No se debe confundir APPS con los años-pareja deprotección convencionales (APP), que es amplia-mente usado para rastrear los insumos de progra-mas.

(por ejemplo, la estandarización, la descomposi-ción genérica y el análisis de proyección y ten-dencia de la fecundidad) son métodos relativa-mente crudos que a menudo conducen a con-clusiones ambiguas respecto al impacto del pro-grama12. Finalmente, la simulación se visualizacomo un método genérico para el análisis quetiene sentido en el planeamiento de programasy en el planeamiento estratégico y como com-plemento de métodos más robustos, pero no esmuy útil como método a usar en solitario paraevaluar impacto.

De este modo, la atención de este manual secentra en los métodos y enfoques que el Proyec-to EVALUATION considera que tienen las mayo-res posibilidades de producir medidas relativa-mente “limpias” de impacto de programas.

ENFOQUES PREFERIDOS

Experimentos aleatorizados

Descripción

Los investigadores dedicados a la evaluaciónconsideran que el experimento aleatorizado o"verdadero" es el "estándar de oro" para medir loque ha ocurrido como resultado de un progra-

ma o intervención. La idea fundamental de unexperimento aleatorizado es muy simple. En unexperimento aleatorizado, los sujetos o gruposde estudio son asignados al azar a los grupos de"tratamiento" o de "control", o sea, una vez quelos sujetos o grupos de sujetos que van a ser es-tudiados son seleccionados, algunos son asigna-dos al grupo de tratamiento y otros al grupocontrol (o de comparación) en forma aleatoria.Con una muestra suficientemente grande, laaleatoriedad aumenta las posibilidades de aislarsin ambigüedad los efectos de un programa ointervención, distribuyendo los factores extrañospor igual a todos los grupos de comparación.Esto equivale a asegurar que los grupos de tra-tamiento y de control son equivalentes respectoa todos los factores, excepto la exposición alprograma evaluado. Este método tiene grandesventajas sobre otros métodos de medición deimpacto del programa. Por esta razón, Rossi yFreeman (1993) se refieren al experimento alea-torizado como “la nave insignia” de la evalua-ción.

Diseño y Análisis

Dos de los experimentos aleatorizados másusados aparecen en la Gráfica IV-2. En el prime-ro, el “diseño de grupo control de postest sola-mente”, se supone que la aleatoriedad ha pro-ducido grupos de tratamiento y de control equi-valentes, y que entonces solo se necesita compa-rar las medidas de los resultados para los gruposde tratamiento y de control después de que elprograma ha estado operando por un períodode tiempo suficientemente largo para valorar el

48


12 Debe observarse, sin embargo, que algunos de losmétodos excluidos pueden ser útiles cuando seusan junto con los métodos más robustos. La es-tandarización, por ejemplo, se usa frecuentementecomo primer paso en una evaluación de impactopara determinar la porción de cambio en la fecun-didad que es atribuible a los cambios en la estruc-tura demográfica, puesto que esta porción decambio en la fecundidad claramente no puede seratribuible a las intervenciones del programa de pla-nificación familiar. De igual manera, las técnicasde simulación pueden usarse para complementarla información obtenida de ciertos métodos (ver,por ejemplo, la discusión de los métodos de regre-sión multinivel en la sección IV) indicando la mag-nitud del cambio en las variables de resultado quepueden ser esperadas de los cambios especificadosen los insumos o productos de programas.

Gráfica IV-2

Diagrama de diseño de 2 experimentosaleatorios comunes

Postest-solamente con grupo controlAsignación aleatoria:

TiempoGrupo experimental X O1

Grupo control O2

Pretest-postest con grupo controlAsignación aleatoria:

TiempoGrupo experimental O1 X O2

Grupo control O3 O4

Donde:X = El programa o intervenciónO = observaciones o mediciones

Fuente: Campbell and Stanley, 1963

impacto del programa o intervención que estásiendo evaluada. En el segundo diseño, el “di-seño de grupo control de pretest y postest”, lasmediciones se toman para los grupos de trata-miento y control antes de la implementación delprograma y de nuevo después del tiempo consi-derado como suficiente para que el programahaya tenido el impacto buscado. La medición“antes y después” permite al investigador hacerajustes para corregir la posibilidad de que laaleatoriedad no haya producido grupos comple-tamente equivalentes13.

En ambos diseños, las medidas para el grupocontrol ofrecen una estimación de lo que se ha-bría observado en el grupo experimental si elprograma bajo estudio no se hubiera implemen-tado. En el diseño postest-solamente, una esti-mación del impacto de programa lo da la dife-rencia entre los resultados del grupo experimen-tal y el grupo control, más (o menos) un compo-nente de error que es considerado como partedel análisis estadístico, o sea:

En el diseño pretest-postest, el impacto deprograma se mide por la diferencia entre el cam-bio observado en las medidas de resultados pa-ra el grupo experimental menos las del grupocontrol, más/menos error:

49


Impacto = (O2- O1) - (O4- O3) ± error

donde: O1 y O2 = medidas de resultado pretest y postest,respectivamente, para el grupo experimental;

O3 y O4 = medidas de resultado pretest y postest para el grupo “control”; y

error = errores de diseño y de medición.

Impacto = (O1 - O2) ± error

donde: O1 = medidas de resultado del grupo control; y

O2 = medida de resultado delgrupo control; y

error = errores de diseño y demedición14.

13 Esta es una preocupación particular en los estu-dios pequeños. En la medida que el tamaño mues-tral para el estudio aumenta, la probabilidad deque la aleatoriedad produzca grupos experimenta-les equivalentes también aumenta.

14 El componente de error consiste tanto de efectosde diseño como de errores estocásticos o aleato-rios. Los efectos de diseño se refieren a los sesgosintroducidos por factores en los que los grupos ex-perimentales difieren a pesar de la aleatoriedad (sesupone que son menos importantes en un experi-mento aleatorio, con un tamaño muestral suficien-te). Los errores estocásticos se supone que sonequivalentes entre los grupos experimentales.

El experimento Taichung fue diseñado para valorar el impacto de unaintervención para aumentar el conocimiento y uso de anticonceptivos enla ciudad de Taichung, Taiwán, a principios de los sesenta. Areas localeso "lins" fueron asignadas aleatoriamente (después de una estratificacióngeográfica según densidad) a uno de cuatro grupos experimentales: (1)Paquete completo, esposo y esposa: los hogares de este grupo recibíanvisitas de trabajadores en salud, correo con información y reunionesvecinales; (2) Paquete completo, solo esposa: la misma intervención delprimer grupo, excluyendo la visita al esposo en el hogar; (3) solamentecorreo y (4) ninguna intervención fuera de afiches sobre planificaciónfamiliar distribuidos por la ciudad (o sea, grupo control). Las lins fueronasignadas a los grupos experimentales de la siguiente forma: (1) n=427,(2) n=427, (3) n=768, y (4) n=767. Los niveles de anticoncepción pre-intervención se supusieron iguales en los grupos aleatorios y, por eso, seusó el diseño de grupo control post-intervención solamente.Las tasas de aceptación de anticonceptivos (por 100 mujeres casadas de20-39 años de edad) post-intervención para los cuatro grupos experi-mentales y para períodos seleccionados fueron las siguientes:

Aceptan anticoncepciónGrupo experimental 13+ meses 29+ meses1. Paquete completo: esposo y esposa 17 252. Paquete completo: sólo esposa 17 263. Sólo correo 8 164. Grupo control 8 18Total 11 20

Interpretación: 29 meses luego de la intervención, un aumento en latasa de aceptación de anticonceptivos del 7% puede atribuirse a la inter-vención "paquete completo, esposo y esposa" (i.e., tasa de este grupoexperimental, 25%, menos tasa del grupo control, 18%). Incluir a losesposos en las visitas a los hogares no tuvo efecto sobre las tasas deaceptación de anticonceptivos, como se puede inferir de la similitud enlas tasas de aceptación de anticonceptivos de los grupos experimentales"esposo y esposa" y "sólo esposa". Aparentemente, tampoco lo tuvo lainformación por correo.

Fuente: Freedman y Takeshita, 1969.

Gráfica IV-3

Ejemplo de un experimento aleatorio para la valoracióndel impacto de un programa, Taiwan

El estudio experimental Taichung descrito en laGráfica IV-3 ilustra cómo el experimento aleato-rio puede usarse en una situación real.

Varios puntos adicionales sobre los experimen-tos aleatorizados deben ser mencionados. Pri-mero, debe notarse que mientras la asignaciónaleatoria de sujetos de estudio individuales esmuy común en experimentos clínicos y estudiosmás pequeños que involucran componentes deprograma individuales (por ejemplo, los efectosde una mejor orientación en la continuación an-ticonceptiva), la asignación individual es más di-fícil y generalmente no es factible en estudiosgrandes a nivel de población. En estos estudios,la aleatorización se lleva a cabo por grupos, pue-blos, municipalidades, distritos, etc. La asigna-ción aleatoria de grupos de sujetos de estudioen los grupos experimentales se ilustra en la Grá-fica IV-315.

Segundo, es posible evaluar simultáneamentevarias actividades o intervenciones en un experi-mento aleatorizado mediante la inclusión de va-rios grupos experimentales en el diseño, uno pa-ra cada tipo o variedad de “tratamiento”. Estediseño “factorial” también se ilustra en el ejem-plo de la Gráfica IV-3.

Tercero, no es necesario privar al grupo controlde todo tratamiento o beneficio para usar los ex-perimentos aleatorizados. Esto es importante,puesto que en los estudios poblacionales de im-pacto de programas de planificación familiar, esrealmente difícil encontrar una población sin ac-ceso a algún servicio de planificación familiar (osea, un grupo control “puro”). Lo que se va amedir en tales casos, sin embargo, es el impac-to diferencial o incremental del programa; o sea,la diferencia entre la actividad identificable queconstituye la intervención o el “programa” yotros programas que puedan estar operando si-multáneamente. Aunque esto puede parecercomo un escenario poco deseable para algunos,el hecho de que un gran porcentaje de la pobla-ción nacional de los países en desarrollo tenganacceso a algunos servicios de planificación fami-liar significa que el impacto de los nuevos pro-gramas será incremental respecto a aquellosprogramas o servicios que ya existen. En estesentido, el impacto incremental es una medidaapropiada de lo que un programa ha logrado.

Finalmente, debe observarse que los experi-mentos aleatorizados son diseños de investiga-ción genéricos. Caso contrario son los métodosdesarrollados específicamente para medir un ti-po de resultado particular de programas de pla-

nificación familiar (por ejemplo, los métodos di-señados específicamente para medir el impactoen la fecundidad). Por lo tanto, pueden ser apli-cados para valorar los resultados de programasen los distintos niveles; a saber:

• en los resultados a nivel de población (porejemplo, en términos de prevalencia anticon-ceptiva o fecundidad actual);

• en los productos a nivel de programa (porejemplo, mejoramientos en la accesibilidad ocalidad del servicio, aumento en el númerode aceptantes); y

• a nivel de las áreas funcionales de la entregade servicio (por ejemplo, los efectos en laprestación de servicio de los nuevos progra-mas de capacitación de personal, los sistemasde supervisión o los procedimientos operati-vos clínicos).

Los resultados de programa pueden tambiénmedirse en relación a los costos; por ejemplo, anivel de programa, el aumento en el número deaceptantes nuevos puede estar relacionado conel aumento en los costos de las diferentes inter-venciones o paquetes. Para las áreas funciona-les, los efectos de dos programas de capacita-ción pueden estar relacionados con sus costos.

Ventajas

Las principales ventajas de los experimentosaleatorizados pueden resumirse así:

• Versatilidad

Los experimentos aleatorizados pueden usarsepara valorar los resultados de actividades delprograma a diferentes niveles, además del im-pacto global.

• Alta validez interna

Este diseño es superior a todos los otros parala medición de resultados de programa, entérminos de minimizar la amenazas a la vali-dez interna.

• Pocos supuestos requeridos

Los principales supuestos requeridos son que:(a) la aleatoriedad haya producido grupos detratamiento y de control equivalentes, (b) lasinfluencias ajenas al estudio afecten ambos

50


15 Obsérvese que si la aleatoriedad se realiza a nivelde grupo, la configuración ideal es tener tantosgrupos pequeños como sea posible.

grupos por igual, (c) todos los grupos de tra-tamiento (o miembros de grupos) reciban eltratamiento con la misma "intensidad", y (d) laasignación al grupo experimental no altere elcomportamiento de los proveedores de servi-cio o de los sujetos de estudio respecto a losresultados estudiados.

• Análisis relativamente simple

Si los supuestos señalados en el punto anteriorson válidos, en el análisis solo se requierenpruebas estadísticas simples16.

Limitaciones y consideraciones prácticas

A pesar de sus atractivos teóricos, la aplicaciónde los experimentos aleatorizados ha sido limita-da en la evaluación de programas de planifica-ción familiar, especialmente en la medición deresultados en la población. Varias razones sehan citado para ello (éstas han sido revisadas sis-temáticamente en Bauman et al., 1994), algu-nas son bien fundadas, pero otras son discuti-bles.

• Sensibilidades políticas o éticas

Un factor frecuentemente citado para no usarlos experimentos aleatorizados es la sensibili-dad política o ética de negar a algunos seg-mentos de la población un programa desea-ble. Aunque esto puede plantear un dilema enel corto plazo, en muchos casos puede no ser,ni posible, ni prudente, implementar un nue-vo programa o intervención para cubrir de unavez a toda la población. Probar los programasen forma limitada y por etapas es una prácti-ca muy común en la conducción de experi-mentos17. Es por ello que, no necesariamente,un experimento aleatorizado niega beneficiosen un grado mayor que si el estudio experi-mental no se realizara.

• Tiempo y costo

Otro argumento en contra del uso de los ex-perimentos aleatorizados es el tiempo y el cos-to. En relación al tiempo, debe reconocerseque los esfuerzos de un programa pueden tar-dar en madurar y, por lo tanto, si el objetivoprimario de la evaluación es medir resultadosa nivel poblacional a mediano o largo plazo,no hay más alternativa que esperar el tiemponecesario para que los cambios se den a nivelde la población. En este sentido, los experi-mentos aleatorizados no consumen más tiem-po que otras formas de medir resultados deprogramas.

En términos de costo, a pesar de que los expe-rimentos aleatorizados se consideran caros, sucosto no es necesariamente mayor que el deuna encuesta poblacional a gran escala, comolas DHS (dependiendo, por supuesto, de lamagnitud del estudio experimental y, sobre to-do, del número de observaciones postest rea-lizadas).

• Posibilidades de generalización

A no ser que el experimento se lleve a cabo anivel nacional, la posibilidad de generalizaciónde los resultados de los estudios experimenta-les en subpoblaciones suele ser incierta.

• Amenazas a la validez

Aunque menos vulnerables que otros diseños,los experimentos aleatorizados están poten-cialmente sujetos a varias amenazas serias a suvalidez. Entre ellas, las principales son:

√ Contaminación

Cuando una parte o todo el grupo controlestá expuesto a la intervención que se estu-dia a través de la comunicación o migra-ción entre los grupos. Esta amenaza estáexpuesta en el experimento Taichung, don-de el aumento en las tasas de aceptaciónde anticonceptivos en áreas control tiendea ser resultado de la difusión de informa-ción sobre planificación familiar a los resi-dentes de esas áreas.

√ Influencias externas distorsionantes

Uno de los supuestos principales de un ex-perimento aleatorio es que los grupos detratamiento y control están expuestos a lasmismas influencias externas a través de lavida del estudio. En los escenarios de unpaís en desarrollo, sin embargo, la presen-cia de varios donantes puede introducirnuevos programas o iniciativas durante undeterminado período de tiempo; por ejem-

51


16 Sin embargo, debido a los limitado de los tamañosmuestrales y frecuentes violaciones de supuestos,los experimentos aleatorizados suelen ser tratadoscomo cuasi-experimentos para propósitos analíticosy de esta forma la ventaja de la simplicidad analíti-ca se pierde, al menos parcialmente.

17 En un sentido, la incapacidad de alcanzar toda lapoblación objetivo de un programa a la vez proveeuna razón adicional para realizar experimentosaleatorizados.

plo, un ciclo programático quinquenal. Entales situaciones, es posible que el grupocontrol de una intervención pueda ser con-siderado como que está siendo mal atendi-do y se convierta en objetivo para otra in-tervención. También es posible que los gru-pos de tratamiento para una intervenciónpuedan usarse como grupo de tratamientopara otra intervención, distorsionando losintentos de medición del impacto indepen-diente de las dos intervenciones. Las in-fluencias externas que afectan los gruposexperimentales de manera diferente debili-tan la validez de los experimentos aleatori-zados. Entonces, para que los experimen-tos aleatorizados sean una opción realistapara medir el impacto de programas en lapoblación, se requiere mantener el controlsobre la introducción de nuevas interven-ciones mientras dure el estudio experimen-tal.

√ Variaciones en el tratamiento

Especialmente en los programas a gran es-cala, los programas pueden ser implemen-tados de manera diferente a través de lasáreas geográficas y/o proveedores de servi-cios. Por ejemplo, uno o más elementos delprograma pueden estar modificados parasatisfacer las condiciones locales, o el pro-grama prescrito sencillamente puede estarimplementado con distintos niveles de in-tensidad en la diferentes áreas. Entonces,la medición de impacto del programa refle-jará el impacto promedio de todas las mo-dificaciones del programa y sus variacionesen intensidad, en vez de la del programatal como fue diseñado. Si las evaluacionesde procesos no se realizan al mismo tiem-po para medir y comprender tal variabili-dad en la implementación, esta variabilidadno medida podría conducir a inferenciasequivocadas sobre la magnitud del impac-to del programa.

Aparte de las amenazas a la validez, hay almenos otra consideración práctica que puede li-mitar la utilidad de los experimentos aleatoriza-dos para medir el impacto de programas: puedecarecer de sentido desde el punto de vista pro-gramático, ubicar programas o intervencionesen forma aleatoria. De hecho, los programassuelen ser destinados a áreas geográficas o sub-grupos poblacionales por dos razones diame-tralmente opuestas: (1) porque se considera queestán mal atendidas o (2) porque son especial-

mente receptivos al programa. Aunque es posi-ble realizar experimentos aleatorizados dentrode semejantes poblaciones especiales, el resulta-do probable sería diluir el impacto del programaa corto o mediano plazo. En esta situación, lanecesidad de demostrar impacto puede compe-tir con la capacidad de generarla.

Para concluir, recomendamos con vehemenciael uso de experimentos aleatorizados, pero reco-nocemos que las realidades prácticas suelen li-mitar su uso, particularmente en los estudios deimpacto a nivel nacional. Hay bases, sin embar-go, para la creencia de que los experimentosaleatorizados han sido subutilizados en investi-gación de operaciones y en estudios que involu-cran los resultados a nivel de programa y debe-rían ser el método seleccionado para trabajos deese tipo. Debido a las limitaciones de los expe-rimentos aleatorizados para medir resultados deprogramas a nivel nacional, es necesario consi-derar los enfoques alternativos.

Cuasi-experimentos

Descripción

El término "cuasi-experimento" se refiere a ungrupo de diseños de investigación experimenta-les en los cuales los sujetos o grupos de estudiono son asignados aleatoriamente. Los diseñoscuasi-experimentales más usados, “diseños decontrol construidos”, siguen la misma lógica einvolucran la comparación de los sujetos delgrupo de tratamiento con el grupo control de lamisma forma que en los experimentos aleatori-zados. En otros diseños, llamados “diseños decontrol reflejos”, los sujetos del grupo de trata-miento sirven como sus propios controles y seusan métodos de series de tiempo para medir elimpacto neto del programa (Rossi y Freeman,1993). Aunque más vulnerables a las amenazasa la validez que los experimentos aleatorizados,los cuasi-experimentos no requieren la asigna-ción aleatoria a los grupos experimentales y, porlo tanto, tienden a ser más factibles que los ex-perimentos aleatorizados.

Los diversos diseños de investigación cuasi-ex-perimentales se discuten con detalle en otrasfuentes (Campbell y Stanley, 1963; Cook yCampbell, 1979; Rossi y Freeman, 1993; Fisheret al., 1991). En este documento, centramosnuestra atención en un diseño que tiene la másamplia aplicabilidad en la valoración de impactode programas de planificación familiar: el diseño

52


de grupo control pretest-postest no equivalen-te18.

Diseño y Análisis

El esquema básico para el diseño de grupocontrol no equivalente y pretest-postest es idén-tico al del experimento aleatorio pretest-postestque aparece en la Gráfica IV-2, excepto que laaleatoriedad no se usa para asignar sujetos deestudio en los grupos de tratamiento. Más bien,uno o más grupos control (o de comparación)son identificados, de manera que se asemejen algrupo de tratamiento en tantos factores comosea posible. En muchas aplicaciones, los gruposde tratamiento y de comparación son pareadosrespecto a las características que se consideranasociadas con el resultado bajo estudio (caracte-rísticas diferentes, por supuesto, al programa ointervención que se evalúa). Por ejemplo, los su-jetos o subgrupos de población que son lo mássemejantes posible al grupo de tratamiento res-pecto a condición económica, ubicación geo-gráfica, etnicidad y otras características podríanser seleccionados a propósito, para servir comogrupo de comparación.

Como en los experimentos aleatorizados, elimpacto del programa se mide en este diseñopor la diferencia entre el cambio en las medidasde resultados para el grupo de tratamiento y lasdel grupo de testigo, más o menos el error alea-torio:

En un cuasi-experimento, es fundamentalcompensar las diferencias entre el grupo de tra-tamiento y el grupo control mediante la aplica-ción de métodos estadísticos multivariables.Aún en estudios pareados, generalmente es ne-cesario introducir controles estadísticos paracontrolar las diferencias en los factores que noes posible parear. Las diferencias en los gruposexperimentales que no están adecuadamentecontroladas se reflejarán en el componente de

error de diseño señalado anteriormente e influi-rá directamente en la magnitud del impacto es-timado. Esta es la principal desventaja de loscuasi-experimentos, en comparación con los ex-perimentos aleatorizados en los que los efectosde diseño se han minimizado mediante la asig-nación aleatoria a los grupos experimentales. Lavalidez de los estudios cuasi-experimentales de-pende, entonces, de la efectividad con la cual seminimizan los efectos de diseño mediante el pa-reo y el análisis multivariable.

En las Gráficas IV-4 y IV-5 se ofrecen algunosejemplos de aplicaciones del diseño de grupocontrol no equivalente. La Gráfica IV-4 muestralos resultados de una variante relativamente ro-busta del diseño considerado que incluye múlti-ples observaciones del indicador de resultadosantes y después del programa. La Gráfica IV-5muestra la situación más típica en la que se ha-cen mediciones de la intervención “pre” y “post”una sola vez.

Ventajas

Las principales ventajas del diseño de grupocontrol no equivalente son:

• Ofrece una aproximación al experimentoaleatorio cuando la aleatoriedad no es posi-ble.

• Es versátil. Como los experimentos aleatori-zados, los cuasi-experimentos pueden usarse

53


Impacto = (O2-O1) - (O4-O3) +/- error

donde: O1 y O2 = medidas pre- y postest,

respectivamente, para el grupo detratamiento;

O3 y O4 = medidas pre- y postest

para el grupo testigo; y

error = efectos aleatorios de medición.

18 Varios diseños cuasi-experimentales potencialmen-te poderosos han sido excluidos de la discusiónporque es poco probable que puedan ser aplicablesen la evaluación de programas de planificación fa-miliar. Por ejemplo, el diseño de series de tiempo esrelativamente fuerte donde existen largas seriestemporales. Pero esto ocurre en muy pocos luga-res, principalmente donde se han implementadosistemas de vigilancia epidemiológica basados en lapoblación (por ejemplo, en Matlab, Bangladesh, yen Cebu, Filipinas). Un segundo diseño, el de la dis-continuidad en la regresión, es tal vez el más pode-roso de los diseños cuasi-experimentales, pero de-bido a que el nivel de tamizaje del programa reque-rido para una aplicación significativa del diseño(por ejemplo, el uso de ingreso u otro criterio deelegibilidad para seleccionar los participantes delprograma) es poco probable en programas de pla-nificación familiar (que se basan en el concepto delibre elección del consumidor), es difícil prever cir-cunstancias bajo las cuales este diseño sería aplica-ble. Mayor detalle sobre estos diseños se ofrece enRossi y Freeman (1993) y Cook y Campbell (1979).

para medir resultados en la población o enlos programas.

• Con diseño, control y análisis adecuados, loscuasi-experimentos pueden proveer una evi-dencia del impacto del programa casi tan ro-busta como los experimentos aleatorizados ymás robusta que la mayoría de los estudiosno experimentales.


El diseño de grupo control no equivalente es-tá sujeto a los mismos supuestos y limitacionesgenerales que los experimentos aleatorizados in-dicados anteriormente (además de los relaciona-dos con la falta de aleatoriedad).

Además:

• El diseño es más vulnerable al sesgo de selec-ción que los experimentos aleatorizados; osea, que las diferencias en las característicasde los grupos experimentales estarán correla-cionadas con los resultados que se estudian,

distorsionando, por lo tanto, los hallazgos deimpacto.

• Depende mucho de los métodos estadísticosmultivariables y, por lo tanto, es sensible aluso de modelos estadísticos apropiados y altratamiento correcto de los problemas de es-timación estadística.

En la práctica, en los estudios cuasi-experi-mentales suele ser posible compensar las dife-rencias en los grupos experimentales respecto alas características clave mediante el pareo y elanálisis multivariable. Una preocupación persis-tente es, sin embargo, si los grupos experimen-tales difieren en factores no observados que in-fluyen en los resultados estudiados. En contras-te con los efectos distorsionantes de las diferen-cias en los factores que son observables/medi-bles y que pueden ser tomadas en cuenta me-diante el pareo y la introducción de variables decontrol en los modelos estadísticos multivaria-bles, los factores que no son observables (por

54


�

ejemplo, predisposición o motivación diferen-cial) no pueden ser compensados de esta formay pueden conducir a estimaciones equívocas y/osesgadas del impacto del programa. Este factorde “heterogeneidad no observada” es, de he-cho, una preocupación en todo diseño que nosea un experimento aleatorio.

Se ha invertido esfuerzos considerables en eldesarrollo de métodos estadísticos para medir ycontrolar los efectos de los factores no observa-dos. Estos desarrollos han sido incorporados enlos métodos basados en regresión para medir elimpacto de programas discutidos en el próximocapítulo. Aunque estos desarrollos no han sidousados muy frecuentemente junto con los dise-ños de investigación cuasi-experimentales hastala fecha, no habría razón para que no fueranusados en investigaciones futuras.

Métodos de regresión multinivel

Visión de conjunto

Las valoraciones de impacto que se basan enlos métodos de regresión multinivel pertenecena la categoría general de los estudios no experi-mentales o de observación; o sea, estudios enlos cuales no hay grupos experimentales o decontrol como tales. Debido a que se trata de unenfoque no experimental, los tratamientos va-rían de área a área como resultado de los proce-sos de toma de decisiones que están más allá delcontrol del investigador a cargo de la evalua-ción. Los criterios subyacentes en las decisionesde ubicación y de asignación de recursos delprograma pueden ser conocidos o desconocidospor el investigador19.

Los métodos de regresión multinivel son unaextensión de los métodos de regresión multiva-riables por áreas (o ecológicos) que fueron muyusados hacia finales de la década de los setentay hasta mediados de la década de los ochenta

55


19 Aunque la mayoría de los programas tienen linea-mientos o criterios para las decisiones de asigna-ción de recursos, las variaciones en el esfuerzo delprograma entre las áreas geográficas también estáninfluenciadas por políticas anteriores, la presenciade muchos actores en la prestación de servicios deplanificación familiar, programas de implementa-ción no equitativos y factores políticos. Entonces,la relación entre las políticas actuales y la asigna-ción de los recursos del programa entre las unida-des geográficas pueden reflejar o no las prioridadesactuales de asignación de recursos.

Para valorar el impacto de tres estrategias de comunicaciones di-señadas para incrementar el conocimiento y la aceptación de la vasec-tomía en Guatemala, se hicieron mediciones "antes y después" en cua-tro comunidades con características socioeconómicas similares. Lastres estrategias de comunicación fueron: (1) la radio, (2) un promo-tor masculino y (3) radio y promotor masculino. Una comunidad fueseleccionada para implementar cada estrategia que iba a ser probada,y una cuarta fue seleccionada como comunidad control. Se recolec-taron con encuestas datos de bases y de seguimiento para n=400hombres en edad reproductiva en cada una de las cuatro comu-nidades en junio de 1983 y de nuevo en julio de 1984, junto conestadísticas de servicio indicando el número (mensual) de operacionesrealizadas en cada comunidad. Se valoraron los efectos del programa de comunicaciones sobre elconocimiento y las actitudes comparando las mediciones pre- y post-intervención de ciertos indicadores. Se usó regresión logística paracontrolar las diferencias iniciales entre las cuatro comunidades y posi-bles efectos "históricos". El impacto fue valorado comparando lastasas de vasectomía pre- y post-intervención en las comunidadesrespectivas. Algunos hallazgos clave fueron los siguientes:

Grupo experimental

Radio y Solo Solo Controlpromotor radio promotor

Tasas de vasectomía Pre Post Pre Post Pre Post Pre Post

% de interesados 16.5 22.4 31.9 31.7 33.1 37.5 22.8 27.4en hacérsela

% interesados que 0.5 0.8 1.5 2.0 1.0 3.0 0.3 1.0 se la han hecho

Interpretación: El programa no aumentó el interés en hacerse unavasectomía en el grupo objetivo (hombres que habían oído de laoperación, no querían más hijos, todavía no estaban esterilizados, nilo estaban sus esposas); o sea, los aumentos en las tres comunidadesno diferían significativamente del aumento en la comunidad control.En términos de la verdadera prevalencia de la vasectomía, solamenteen la comunidad de "sólo promotor" el cambio en la prevalenciaexcedió el observado en la comunidad control por un margen estadís-ticamente significativo.

Fuente: Bertrand et al., 1987

Gráfica IV-5

Ejemplo de diseño cuasi-experimental de grupo controlno equivalente con una sola observación pre- y post-intervención, Guatemala, 1983-1984

(por ejemplo, Hermalin, 1975, 1979, y 1982;Poston y Chu, 1987; Chamratri-thirong et al.,1986). La idea principal de una regresión deáreas es tratar de demostrar una relación esta-dística entre las medidas de la actividad o es-fuerzo del programa e indicadores de resultados(por ejemplo, prevalencia anticonceptiva, tasaglobal de fecundidad) usando áreas geográficascomo unidad de análisis y manteniendo cons-tante los efectos de los factores ajenos al pro-grama, como la composición por edad y sexo,urbanización, educación femenina y participa-ción en la fuerza laboral, etnicidad, etc. Losefectos de los factores ajenos al programa sobrelos resultados de interés son controlados me-diante la aplicación de los métodos de regre-sión. El enfoque trata de responder la pregunta“excluyendo los factores ajenos al programa deplanificación familiar ¿Tienden las comunidadescon mayor presencia del programa a tener tasasmás altas de prevalencia anticonceptiva o tasasmás bajas de fecundidad que aquellas con me-nos presencia del programa?”

El enfoque multinivel extiende las ideas funda-mentales de la regresión de áreas al caso en quese usan variables que han sido medidas en dis-tintos niveles; por ejemplo, variables medidaspara cada entrevistado, conglomerado muestral,distrito y/o mayores niveles de agregación. Eluso de datos medidos en diferentes niveles per-mite una percepción más profunda de las tra-yectorias causales seguidas por los insumos delprograma de planificación familiar para influiren el comportamiento de los individuos y de lasformas como los programas interactúan conotras variables (por ejemplo, la provisión de ser-vicios en pueblos con mayores niveles de educa-ción pueden tener un mayor efecto sobre el usode anticonceptivos que en pueblos con nivelesde educación inferiores).

Debido a estas características deseables, asícomo la amplia disponibilidad de datos a nivelindividual mediante encuestas como la EncuestaMundial de Fecundidad y la Encuesta Demográ-fica y de Salud, el enfoque multinivel ha reem-plazado bastante el enfoque de regresión deáreas en evaluaciones recientes. Todavía se usanlos métodos de regresión de áreas, pero sola-mente en análisis de corte transversal (ver Bon-gaarts, 1993, para un ejemplo de aplicación re-ciente).

En esta sección describimos tres tipos de mo-delos de regresión multinivel que pueden usarsepara medir el impacto de programas. La pre-gunta fundamental que cada modelo intentaresponder aparece resumida en la Gráfica IV-6.

El modelo básico de corte transversal

El modelo transversal multinivel trata de valo-rar si existe una relación estadística entre las va-riables de planificación familiar (por ejemplo,presencia de una clínica de planificación familiaren la comunidad, el número de métodos anti-conceptivos ofrecidos dentro de un área de 30kilómetros de la comunidad) y los resultados dela planificación familiar, controlando los factoressocioeconómicos y otros factores ajenos al pro-grama. El modelo usa aleatoriamente comuni-dades seleccionadas u otros agregados geográ-ficos (por ejemplo, municipalidades, distritos,provincias, etc.) y muestras individuales de mu-jeres o parejas para cada comunidad como uni-dades de análisis.

A manera de ilustración, consideremos unmodelo de corte transversal relativamente sim-

56


Modelo Pregunta

Transversal básico ¿Existe una relación estadística entre lasvariables del programa y de resultados (porejemplo, la prevalencia anticonceptiva, lafecundidad) si se controlan estadística-mente los efectos de otros factores obser-vados que influyen en el resultado?

De efectos aleatorios ¿Existe una relación estadística entre lasvariables del programa y de resultados si secontrolan estadísticamente los efectos deotros factores observados que influyen enel resultado y los de factores no observadosque influyen conjuntamente en las varia-bles del programa y en las variables deresultados?

Panel ¿En qué medida están asociados los cam-bios observados en las variables de resulta-dos con los cambios en las variables delprograma si se toman en cuenta los efec-tos de los niveles iniciales y los cambios enlos otros factores (tanto observados comono observados)?

Gráfica IV-6

Preguntas básicas en los principales modelos de regre-sión para medir el impacto de programas

ple que relaciona los insumos del programa conel comportamiento de la fecundidad. Un mode-lo típico podría incluir tres tipos de variables me-didas en dos niveles (i.e., a nivel individual o delhogar y a nivel de comunidad):20

• factores específicos para las mujeres y hoga-res (por ejemplo, edad, paridez, educación,demanda de hijos, recursos en el hogar, es-tructura familiar, etc.);

• factores específicos para las comunidades uotras agregaciones poblacionales, pero co-munes a todos los hogares e individuos den-tro de la misma comunidad (por ejemplo,condiciones del ambiente, infraestructura dela comunidad, condiciones del mercado labo-ral, etc.)21; y

• medidas a nivel de comunidad del vigor delprograma de planificación familiar, que se su-ponen comunes a todos los hogares e indivi-duos en la comunidad (por ejemplo, la pre-sencia de métodos de planificación familiardisponibles en establecimientos ubicados auna distancia específica de la comunidad, ca-lidad de los servicios).

El modelo básico puede ser expresado de la si-guiente forma:

Variable de resultado = Factores del programa+ Factores individuales+ Factores de la comu-nidad + Interacciónentre factores22 +/-Error23.

57


20 Las variables a nivel individual y del hogar usual-mente son tratadas como si pertenecieran al mismonivel. Modelos con dos o más niveles son posibles,pero el software disponible actualmente es limitadoen varias formas (por ejemplo, el paquete de soft-ware MLn usa aproximaciones en modelos de 3 y 4niveles y puede manejar solo variables de resultadosdicotómicas y continuas). El lector interesado enmás detalles sobre el paquete MLn puede consultarWoodhouse (1995).

21 Un cuarto tipo de variable es frecuentemente uti-lizada en los modelos multinivel: variables a nivel decomunidades que son derivadas agregando o ha-ciendo un promedio de las observaciones indivi-duales dentro de las comunidades muestrales. Al-gunos ejemplos son el ingreso medio por hogar ola proporción de viviendas con electricidad. Este ti-po de variable sirve el mismo propósito que las va-riables a nivel de comunidad descritas en el texto yha sido omitido de la discusión con el objeto desimplificar la presentación.

Diseño Entwisle et al. (1984) usaron datos de la segunda ronda delEstudio de Prevalencia Anticonceptiva de Tailandia (CPS2) y métodosde regresión multinivel para valorar los efectos de la disponibilidad dePPS de planificación familiar sobre la probabilidad de uso de anticon-ceptivos en el área rural de Tailandia. En el análisis usaron datos reco-lectados entre 4,956 mujeres con edades de 15-44 años que estabancasadas o en unión al momento de la encuesta. Se clasificaron los ca-seríos muestrales en tres grupos sobre la base de su cercanía a distin-tos tipos de establecimientos que ofrecen servicios de planificación fa-miliar: (1) caseríos ubicados cerca (i.e., dentro de 4 km.) de un centrode salud distrital, (2) caseríos ubicados cerca de un centro de saludmunicipal (“tambol”) y (3) caseríos ubicados cerca de cualquier tipo deestablecimiento. Las variables explicativas a nivel individual fueron laedad, la escolaridad y el deseo de más hijos.

Resultados Los resultados de la regresión mostraron fuertes efectosde la disponibilidad de servicios de planificación familiar y de las varia-bles a nivel individual, así como fuertes interacciones entre la disponi-bilidad del servicio y el deseo de más hijos y la escolaridad. Los chan-ces ajustados (calculados con los resultados de la regresión) de usar unmétodo de anticoncepción moderno entre las mujeres que no desea-ban más hijos (en comparación con las que deseaban más hijos) semuestran a continuación para las categorías de las variables edad ydisponibilidad del servicio.

Edad

Disponibilidad del servicio 15-24 25-34 35-44

Cerca centro salud distrital 1.90 4.45 5.29

Cerca centro salud Tambol 2.07 4.06 7.40

> 4 km. de cualquiera 2.04 1.72 4.77

Interpretación Los efectos más fuertes de disponibilidad del serviciosobre el uso de anticonceptivos fueron observados entre las mujeresde 25-34 años. Las mujeres que vivían cerca de los centros de saluddistritales o “tambol” tenían un chance más de dos veces mayor queel de las mujeres que vivían a más de 4 km. de cualquiera de ellos deestar usando un método anticonceptivo moderno en el momento dela encuesta, con los otros factores controlados estadísticamente.

Fuente: Entwisle et al., 1984

Gráfica IV-7

Ejemplo de aplicación del modelo multinivel transversal,Tailandia

La magnitud y la significancia estadística delos parámetros de las variables del programa enel modelo y las interacciones entre variables delprograma y otras variables son de interés pri-mordial para la evaluación. Los parámetros deregresión para las variables del programa indi-can la intensidad de la asociación entre las me-didas del programa y los resultados a nivel indi-vidual (por ejemplo, uso de anticonceptivos o fe-cundidad) cuando los efectos de otros factoresincluidos en el modelo han sido controlados.Los términos de la interacción proveen informa-ción sobre si el programa tuvo un mayor impac-to sobre ciertos subgrupos poblacionales quesobre otros. Por ejemplo, la inclusión de térmi-nos de interacción en el modelo podrían permi-tir al evaluador probar si la apertura de CBDs tu-vo mayor influencia sobre la conducta anticon-ceptiva de las mujeres de menor ingreso (quepodrían tener menos acceso a los establecimien-tos fijos) que la de las mujeres de ingresos altos.

En la Gráfica IV-7 se ofrece un ejemplo de apli-cación del modelo de corte transversal a la me-dición de los efectos de algunas característicasselectas del entorno de oferta de planificaciónfamiliar sobre el uso de anticonceptivos.

Una limitación importante del modelo de cor-te transversal es la dificultad de escoger las rela-ciones causa-efecto entre las mediciones realiza-das en un determinado momento. En el mode-lo de corte transversal, una relación positiva ob-servada entre las variables de los programas deplanificación familiar y las variables de resulta-dos (por ejemplo, uso de anticonceptivos o fe-cundidad) puede ser interpretada como que elprograma ha influido o causado el resultado ob-servado, excluyendo las otras variables del mo-delo. Sin embargo, también es posible que latrayectoria causal realmente fue en direcciónopuesta; o sea, que la demanda de servicios deplanificación familiar predispuso una oferta ma-yor.

Los administradores de programas suelen ubi-car justificadamente las clínicas u otros tipos deestablecimiento de manera que se pueda satis-facer la demanda existente de servicios o selec-cionan lugares con poblaciones aventajadas ocon infraestructura superior (por ejemplo, carre-teras, electricidad, etc.). Tales factores, sin dudahan influido en las decisiones de ubicación demuchos programas de planificación familiar,particularmente en las primeras etapas del desa-rrollo del programa. Existe el peligro de que lasevaluaciones de impacto basadas en datos decorte transversal puedan sobrevalorar el verda-

dero nivel de impacto del programa, en la medi-da que las poblaciones servidas por estos esta-blecimientos estén predispuestas a un mayoruso de anticonceptivos y una menor fecundidad.Obsérvese que la forma como se ubican los pro-gramas puede conducir también a una subesti-mación del impacto del programa con base endatos de corte transversal; por ejemplo, si losprogramas dan preferencia a áreas de alta fe-cundidad y mortalidad.

El asunto fundamental es si las variables delprograma de planificación familiar deben serconsideradas como variables “endógenas” o“exógenas” en las ecuaciones de regresión24. Silos programas son implementados de manerauniforme y aleatoria a través de las unidades

58


22 El término “interacción” se refiere a la dependen-cia estadística del efecto de un determinado factoro variable del valor de otras variables. Por ejemplo,los efectos de agregar puntos CBD podría depen-der del grado de acceso a clínicas fijas en un esce-nario determinado. Las interacciones entre los fac-tores individuales y los factores programáticos, en-tre los factores de comunidades y los factores pro-gramáticos y entre los factores individuales y losfactores de las comunidades son posibles.

23 En modelos multinivel, tanto los errores a nivel decomunidades como a nivel individual están presen-tes. Para lectores más inclinados hacia la estadísti-ca, el modelo multinivel de corte transversal estáexpresado en forma de ecuación de regresión en elApéndice A. El lector notará la especificación delos términos de error a nivel de comunidades y anivel individual en las ecuaciones de regresión.

24 Los factores o variables endógenas son variablesindependientes o predictoras que están determina-das por el mismo conjunto de factores o los mis-mos procesos de toma de decisiones que determi-nan la variable de resultado que está en estudio.Los factores exógenos, en cambio, son variablesque no están determinadas por factores que tam-bién influyen en las variables programáticas. Porejemplo, la participación en la fuerza laboral es en-dógena en una ecuación de regresión que prediceel uso de anticonceptivos, puesto que tanto la par-ticipación en la fuerza laboral como el uso de an-ticonceptivos son variables de elección para cadamujer que están influenciadas por factores comu-nes (por ejemplo, educación, tamaño y estructuradel hogar). El nivel de salarios de la comunidadpara las mujeres sería un ejemplo de un factor exó-geno en una regresión de este tipo, puesto que es-ta variable está determinada por factores que noestán sujetos a elección individual.

sub-nacionales, entonces las variables del pro-grama pueden ser consideradas como factores ovariables exógenas sin riesgo de incurrir en ses-gos de estimación. Sin embargo, si los progra-mas son implementados de manera no unifor-me o no aleatoria de acuerdo con algún tipo deproceso de toma de decisiones, entonces el pro-blema de endogeneidad cuenta. Si es así, estosignificaría una violación del supuesto estándarde regresión de que no existe correlación entrelas variables de la ecuación y los términos deerror. Una preocupación importante es si losfactores "no observados" que están correlaciona-dos con los resultados de interés pueden haberinfluenciado las decisiones de ubicación del pro-grama. El punto crucial es este -- si las decisio-nes de "ubicación" del programa se hacen sobrela base de factores que no pueden ser medidoso controlados en un modelo estadístico, unopuede obtener estimaciones inconsistentes osesgadas del impacto del programa. El lectorque se interese por conocer mayores detalles deestos temas en el contexto de la evaluación delimpacto de programas de planificación familiarpuede consultar Bollen et al. (1992 & 1995).

Al valorar el impacto con modelos de regre-sión multinivel, es fundamental considerar el te-ma de la endogeneidad. Seguidamente se pre-sentan dos enfoques para hacerlo: los modelosde efectos aleatorios de ecuaciones múltiples ylos modelos de efectos fijos en un panel.25,26

Los modelos de efectos aleatorios deecuaciones múltiples

Se han desarrollado varios enfoques para lidiarcon los problemas estadísticos ocasionados porlas variables no observadas de los datos de cor-

te transversal. El lector que desee conocer mayo-res detalles y considerar enfoques alternativospuede consultar Bollen et al. (1992, 1995) yMroz y Guilkey (1992). Aquí, centramos nuestraatención en un enfoque que el Proyecto EVA-LUATION encuentra particularmente promete-dor: una adaptación del modelo de efectos alea-torios a los tipos de datos que generalmente es-tán disponibles en las encuestas tipo DHS, com-plementado con información selecta de progra-mas de planificación familiar.

Aunque los modelos de efectos aleatorios ge-neralmente están asociados con datos longitudi-nales (contrario a los de corte transversal), losdesarrollos metodológicos recientes han exten-dido las ideas fundamentales para usar datos decorte transversal cuando cierto tipo de informa-ción:

• ha sido recolectada retrospectivamente en loscuestionarios de las encuestas (por ejemplo,las historias de embarazos retrospectivas enlas DHS);

• pueden obtenerse de la información en loscuestionarios de la DHS y del SAM mediantela definición de fechas en el pasado (ejemplo:si la mujer asistía a la escuela cuando tenía 15años de edad o si esta clínica ya había sidoabierta en 1990); o

• está disponible en otras fuentes y puedenusarse para complementar la información delas encuestas tipo DHS (Mroz y Guilkey, 1992;Newman, 1988).

El modelo de efectos aleatorios considera elproblema de la endogeneidad mediante el con-trol estadístico de los efectos de los factores noobservados que influyen tanto en las decisionesde ubicación de los programas como en los re-sultados que están siendo estudiados. La ideafundamental es estimar la distribución de estosfactores y controlarlos estadísticamente en elmodelo de regresión. Sin embargo, los procedi-mientos estadísticos para lograr esto son muycomplejos y están más allá del alcance de estedocumento. Para mayores detalles se refiere allector interesado a Bollen et al. (1995), Mroz yGuilkey (1992), Guilkey y Cochrane (1994), yNewman (1988) .

El modelo también usa un enfoque de ecua-ciones estructurales, en el cual las influencias delos factores "observables" a nivel de comunida-des sobre la ubicación de los recursos del pro-

59


25 Se observará que el modelo básico de corte trans-versal descrito anteriormente también puede serestimado dentro de un esquema de efectos aleato-rios dependiendo de los supuestos sobre los térmi-nos de error. La característica que distingue el en-foque de efectos aleatorios descrita en la secciónsiguiente es el uso de ecuaciones múltiples que sonestimadas simultáneamente.

26 Nótese que otros enfoques también están dispo-nibles pero son considerados por el Proyecto EVA-LUATION como menos prometedores que los enfo-ques presentados en esta publicación. El lector in-teresado en valoraciones críticas de estos puedeconsultar Mroz y Guilkey (1992) y Bollen et al.(1995).

grama en los conglomerados muestrales se mi-den en un conjunto de ecuaciones de regresióny los efectos de las variables de programa sobrelos resultados de interés (por ejemplo, la fecun-didad, el uso de anticonceptivos, etc.) en otraecuación. Ambas ecuaciones son estimadas si-multáneamente usando un procedimiento deestimación de máximo-verosimilitud con infor-mación completa (MVIC). El objetivo es desha-cerse de las influencias de los factores no obser-vados que pueden haber influenciado las deci-siones de ubicación del programa en la ecuaciónque relaciona las variables del programa con losresultados27. La magnitud y la significancia esta-dística de los coeficientes de las variables delprograma en la ecuación de resultado son de in-terés primordial para la evaluación del progra-ma.

El modelo puede expresarse de la siguienteforma:

Ecuación(es) de ubicación del programa:

Variables del programa =Factores de comunidadobservados + Factores decomunidad no observados ± Error.

Ecuación de resultado:

Variables de resultado =Variables del programa + Factores individuales + Factores de comunidad noobservados28 +/- Error29.

En las Gráficas IV-8 y IV-9 se presentan dosejemplos de aplicaciones del modelo de efectosaleatorios modificado. En el primer ejemplo, elmodelo se usa para valorar el impacto de carac-terísticas selectas del entorno de la oferta de pla-nificación familiar en el uso actual de anticon-ceptivos modernos en Zimbabwe (Guilkey yCochrane, 1994). En el segundo ejemplo, se es-tima un modelo un poco más elaborado para lazona rural de Tanzania. Aprovecha datos retros-pectivos de la historia de embarazos (disponiblesen encuestas DHS estándar) y el período detiempo que los métodos anticonceptivos han es-tado disponibles en los conglomerados muestra-les visitados en SAM de la DHS para estimar elimpacto del programa sobre la fecundidad du-rante las dos décadas anteriores a la DHS de Tan-zania de 1991 (Angeles et al., 1995).

Conviene notar que en ambos ejemplos los re-sultados se presentan como "simulaciones depolítica". Las simulaciones ofrecen un medio pa-

ra expresar resultados multivariables en una for-ma que es fácilmente comprensible para los ad-ministradores de programa y los encargados dela toma de decisiones; o sea, en forma de res-puestas a preguntas como "¿qué pasa si...?". Porejemplo, ¿Cuál habría sido la tasa global de fe-cundidad durante un determinado período si to-dos los conglomerados muestrales hubieran te-nido todos los servicios de planificación familiary los métodos disponibles? Los resultados de lasimulación son derivados de los resultados de laregresión sustituyendo valores de variables se-lectas del programa en las ecuaciones de regre-sión para delinear diferentes escenarios progra-máticos (por ejemplo, cobertura total de pue-blos por CBDs, agregar un proveedor de serviciode planificación familiar capacitado en cadacentro de salud, etc.) y comparando los valores"esperados" que resultan de la variable de resul-tado bajo estudio con los resultados que se ba-san en los verdaderos valores de estas variablesmedidas en una encuesta30.

El modelo panel de efectos fijos

La segunda alternativa para lidiar con el pro-blema de los factores no observados que influ-yen en las decisiones de ubicación del programa,el modelo panel de efectos fijos, extiende las

60


27 La idea fundamental aquí es tratar de incluir elmáximo de factores que pueden haber influido enlas decisiones de ubicación del programa como seaposible en la primera ecuación para controlar susefectos.

28 Notar que un término para los inobservables delnivel individual también puede agregarse a laecuación y medirse usando los mismos métodosusados para estimar los efectos de inobservablesde nivel comunitario. Con el objeto de simplificarla presentación no son considerados aquí.

29 El modelo está expresado en formato de regre-sión en el Apéndice A.

30 Obsérvese que en el ejemplo de la Gráfica IV-8,que se basa en datos de Zimbabwe, no se incluyeuna ecuación para la instalación del programa ypor lo tanto es necesario suponer que el programade planificación familiar es exógeno. Este tipo demodelo es útil para examinar las contribuciones delos programas al uso de anticonceptivos que resul-tan indirectamente de los efectos del programa so-bre las intenciones de fecundidad.

61


Gráfica IV-8

Ejemplo de aplicación del modelo de efectos aleatorios, Zimbabwe

Diseño

Resultados

Interpretación

Fuente: Guilkey y Cochrane, 1994.

El modelo modificado de efectos aleatorios fue aplica-do recientemente a datos de la Encuesta Demográficay de Salud Reproductiva de 1988/89 de Zimbabwe y laEncuesta de Disponibilidad de Servicio de 1989/90 deZimbabwe para medir los efectos del acceso a los ser-vicios de planificación familiar sobre el uso de anti-conceptivos. Los datos de la encuesta de 2,050mujeres casadas en esa fecha fueron usados en elanálisis, junto con datos a nivel de comunidades y delservicio de planificación familiar para 167 comu-nidades (o sea, los conglomerados muestrales de laDHS). Los datos de servicio contenían medidas deacceso físico a los puntos de entrega de servicios, asícomo una serie de medidas de la idoneidad y fun-cionamiento del sistema de entrega de servicio (porejemplo, la presencia de electricidad y agua entubada,el número de personal capacitado en planificaciónfamiliar, la disponibilidad de métodos y oferta de anti-conceptivos y la cortesía del personal). El modeloestadístico empleado fue un sistema de cuatro ecua-ciones

Las variables de resultado para las cuatro ecuacionesfueron: (1) la probabilidad de que una entrevistadahaya tenido "r" hijos durante el transcurso de su vidareproductiva, (2) la probabilidad de que una entrevis-tada haya tenido "r" hijos fallecidos durante el trans-curso de su vida reproductiva, (3) las intenciones defecundidad y (4) el método anticonceptivo actual. Lasvariables independientes en las cuatro ecuaciones con-sideradas fueron variables exógenas a nivel individualy a nivel de hogares, características selectas de lascomunidades y un conjunto de variables que midenvarios aspectos del entorno de la oferta de los serviciosde planificación familiar (medidos a nivel de comu-nidades). Cada ecuación también incluyó unparámetro que representa los factores no observadosque hipotéticamente influyen en las cuatro variablesde resultados. Las ecuaciones fueron estimadassimultáneamente usando un estimador de máximo-verosimilitud con información completa.

Las siguientes variables a nivel individual mostraronefectos estadísticamente significativos sobre el uso deanticonceptivos modernos en la forma reducida de lasecuaciones: edad de la entrevistada, religión, años deescolaridad y si la entrevistada residía en una comuna.Dos variables a nivel de comunidad también surgieroncomo determinantes significativos del uso de anticon-ceptivos: las oportunidades educativas disponibles enla comunidad y la presencia de un punto CBD en lacomunidad. La mayoría de los parámetros de hetero-geneidad no observados resultaron estadísticamentesignificativos, indicando que su omisión del modelohabría resultado en estimaciones sesgadas de los efec-tos de las otras variables del modelo.

Las simulaciones basadas en los resultados de lasregresiones revelaron los siguientes efectos estimadosde los puntos CBD:

Proporción que usa

Variable y Ningún Método Métodocondición Método Moderno Tradicional

Observado .47 .44 .09

Punto CBD en .44 .47 .09la comunidad

Ningún CBD .50 .40 .10

Los predictores más fuertes del uso de anticonceptivosmodernos fueron las características a nivel individual.De las variables del programa de planificación familiarprobadas, solo la presencia de un punto CBD en lacomunidad tuvo un efecto significativo sobre el uso deanticonceptivos modernos. Las simulaciones indicanque si los puntos CBD fueran establecidos en cada

comunidad, se esperaría que la prevalencia de méto-dos anticonceptivos modernos creciera en alrededorde un 7% sobre los niveles observados (de .44 a .47) yen un 17% del nivel que prevalecería si no hubieranpuntos CBD (de .40 a .47), esto luego de controlar losefectos de los otros factores.

62


Gráfica IV-9

Ejemplo de aplicación del modelo de efectos aleatorios a la medición del impacto en la fecundidad del pro-grama de lPF, Zona rural de Tanzania, 1969-1991

Diseño

Resultados

Interpretación

Fuente: Angeles et al., 1995.

El modelo transversal de efectos aleatorios se aplicórecientemente a los datos de la DHS de 1991 de Tan-zania y su Módulo de Disponibilidad del Servicio. Elanálisis se centró en la estimación del impacto en lafecundidad de la PF en Tanzania durante el período1969-1991 y se basó en los datos de la encuesta dehogares de 5,215 mujeres residentes en 242 con-glomerados muestrales rurales que tenían menos de35 años en 1991. La información sobre la ubicaciónde los establecimientos de PF, la disponibilidad y fechade inicio de los servicios de PF y otras características dela entrega del servicio fue proveída por el SAM.Debido a la falta de disponibilidad de series de tiempoconfiables en Tanzania, fue necesario estimar los nive-les y tendencias de la fecundidad y mortalidad infantilde las historias de embarazo de la DHS y establecer lasfechas de inicio de los servicios de PF retrocediendo enel tiempo los datos de la DHS y el SAM. Las cifrashistóricas sobre gastos de salud del gobierno estaban,sin embargo, disponibles y fueron usadas en el análisis.

La variable de resultado usada en el estudio fue laprobabilidad de que una entrevistada haya tenido unhijo en cualquier año i durante el período de estudio.Las siguientes variables fueron incluidas como predic-tores: (1) edad de la entrevistada en el año i, (2) nivelde escolaridad, (3) si había un hospital, centro desalud y dispensario dentro de un radio de 30 km. delconglomerado muestral en el año i, (4) la tasa de mor-talidad infantil a nivel de distrito para el año i, (5) si losservicios de PF estaban disponibles en los hospitales,

centros de salud y dispensarios ubicados en un radiode 30 km en el año i, (6) la "edad" de los servicios dePF en cada hospital, centro de salud y dispensario enel año i, y (7) si los servicios de PF estaban disponiblesen los hospitales, centros de salud y dispensarios ubi-cados dentro de una distancia de 30 km cuando laentrevistada tenía 12 años.

Puesto que los dispensarios y, en menor medida, loscentros de salud han sido establecidos deliberada-mente en áreas con alta mortalidad infantil durantelos últimos 10-15 años, fue crucial considerar en elanálisis la ubicación no aleatoria de programas. Porello, tres ecuaciones distintas fueron estimadas en lascuales la variable de resultado fue si había o no unhospital, centro de salud y dispensario (respectiva-mente) ubicado en un radio de 30 km del conglome-rado en el año i. Las variables predictoras en estasecuaciones eran: (1) la tasa de mortalidad infantil anivel de distrito en el año i, (2) si fueron ofrecidos ser-vicios de PF en otros establecimientos ubicados dentrode una distancia de 30 km. en el año i, (3) los gastosdel gobierno en salud en el año i, y (4) la población deldistrito en el año i. Estas ecuaciones fueron luego esti-madas simultáneamente con la ecuación de resultado(o sea, anticoncepción) para estimar el impacto delprograma de PF de Tanzania mientras se controlabanotros factores observados y no observados. En el análi-sis se usó un procedimiento de estimación de máximo-verosimilitud con información completa.

El impacto estimado del esfuerzo de PF durante elperíodo 1969-1991 se resume a continuación enforma de simulaciones de políticas.

Valores reales (observados) Escenario I: Ningún servicio de PFEscenario II: PF solo en los hospitalesEscenario III: PF solo en los centros de saludEscenario IV: PF solo en los dispensariosEscenario V: PF en todo establecimiento

Tasa anual de Promedio de Porcentagefecundidad hijos tenidos escenario 1

0.181 4.16 .950.189 4.35 1.000.158 3.63 0.830.165 3.78 0.870.166 3.82 0.880.120 2.76 0.63

Si la PF ha estado disponible continuamente en los trestipos de establecimiento durante el período de estudio(con todos los otros factores constantes en los nivelesobservados), las probabilidades anuales de nacimiento

y el número medio de hijos por mujer hubiera sido un37% menos que el observado para este período(0.120 frente a 0.181).

ideas fundamentales del modelo de corte trans-versal al caso en que las observaciones son ob-tenidas para la misma muestra de individuos ocomunidades en dos o más fechas. Los conjun-tos de datos en que la misma muestra de indivi-duos reciben seguimiento a través del tiemposon relativamente escasos. Sin embargo, si lascomunidades o conglomerados se usan comounidades de análisis, muchos de los datos re-queridos pueden obtenerse de DHS sucesivasque incluyen Módulos de Disponibilidad del Ser-vicio realizadas en los mismos conglomeradosmuestrales31. Este diseño considera la pregunta:¿Son las comunidades con los mayores cambiosen el entorno de la oferta de planificación fami-liar entre dos fechas las que muestran tambiénel mayor cambio en uso de anticonceptivos,controlando los cambios en otros factores?

El modelo básico puede expresarse de la si-guiente forma:

Cambios en la variable de resultado =

Cambios en factores del programa + Cam-bios en factores individuales + Cambios enfactores comunales +/- Error.

Una ventaja clave del diseño tipo panel es quepermite el uso de un procedimiento de estima-ción particular referido en la literatura como es-timador de "efectos fijos". En este enfoque, lasvariables o factores se dividen en dos categorías:

• aquellos que varían durante el transcurso dela evaluación, o factores variantes en el tiem-po, y

• aquellos que no varían durante el transcursode la evaluación, o factores persistentes en eltiempo o fijos.

Los factores no observados que pueden haberinfluenciado la ubicación de los recursos del pro-grama antes del estudio son tratados como "fi-jos" en el modelo y son "diferenciados" de lasecuaciones de regresión, reduciendo, así, el ries-go de incurrir en sesgos de estimación32. Esteprocedimiento de "diferenciación" se presenta enel Apéndice A, donde aparece el modelo panelde efectos fijos expresado en formato de regre-sión.

La lógica del diseño de tipo panel de niveles

63


31 Por ejemplo, rondas sucesivas de la DHS han sidorealizadas en los mismos conglomerados muestra-les en Marruecos (1987,1992, y 1995) y Tanzania(1991 y 1994), aunque en Marruecos en 1995 yTanzania en 1994 esto se hizo solo en la mitad dela muestra. En Marruecos, se entrevistaron en 1995las mismas mujeres entrevistadas en 1992, lo queconstituye un verdadero panel de mujeres.

32 El modelo está centrado en la medición de la res-puesta de la población a los cambios en el progra-ma durante el mismo período considerado en laevaluación. Las decisiones de asignación de recur-sos y las inversiones del programa hechas anterior-mente se supone que no son causas de los cambiosen los resultados durante el período de la evalua-ción excepto a través de respuestas diferidas o re-tardadas.

El diseño panel multi-nivel se usará para medir el impacto de losesfuerzos del Programa Nacional de Planificación Familiar (PFPN)durante el período 1991-96 en Tanzania. El período cubierto por laevaluación del impacto coincide aproximadamente con el período delProyecto de Servicios de Apoyo a la Planificación Familiar (PF-SA) dela USAID en Tanzania (1990-97). Una Encuesta Demográfica y deSalud fue realizada en 1991/2 y otra está planeada para 1996. UnaDHS más pequeña o de "medio período" (conocida como la Encues-ta de Conocimiento, Actitudes y Prácticas de Tanzania o TKAP) fue lle-vada a cabo en 1994, en parte para compensar las escasas estadísti-cas de servicio disponibles. Las tres rondas de la encuesta (1991/2,1994, y 1996) han sido o serán realizadas en los mismos conglome-rados muestrales e incluirán Módulos de Disponibilidad del Serviciopara proveer medidas del esfuerzo y la actividad del programa (y loscambios correspondientes) a nivel de conglomerado.

El análisis se centrará en la valoración de la naturaleza y la magni-tud de los cambios en la entrega del servicio a nivel de la comunidad(o conglomerado) durante 1991-96 y la influencia de estos cambiossobre la conducta anticonceptiva, los niveles de fecundidad y otrosresultados de interés, controlando los efectos de los cambios en otrosfactores.

La DHS 1991/92 estimó una necesidad no satisfecha de planifi-cación familiar del 30% de las mujeres en unión. En los últimos años,la PF-SA ha invertido mucho en capacitación, así como en suministrosy logística. Por eso, se pronostica que en las encuestas siguientes seobservarán grandes efectos en las variables de "entorno de la oferta",tales como el "personal capacitado", el "número de agotamiento deexistencias en los últimos seis meses," y el "número de métodos anti-conceptivos ofrecidos en el establecimiento." Como hipótesis seplantea que los aumentos en el uso de anticonceptivos y las dismi-nuciones en la necesidad no satisfecha de planificación familiar serámayor en áreas donde se han dado los principales avances en elentorno de la oferta de planificación familiar.

Gráfica IV-10

Ejemplo de diseño de evaluación de impacto con elmodelo panel de efectos fijos, Tanzania

múltiples y los tipos de datos requeridos para suaplicación se presentan para el caso de Tanzaniaen la Gráfica IV-10.

Datos requeridos

Los datos requeridos para los modelos multi-nivel son bastante exigentes. Para construir sóli-dos modelos de corte transversal de resultadosde programas de planificación familiar se requie-ren los datos siguientes:

• Datos a nivel de hogares e individuales (porejemplo, de las encuestas tipo DHS) sobre:

√ características demográficas y económi-cas;

√ preferencias e intenciones de fecundidad;y

√ uso actual de anticonceptivos, fecundidady otras medidas de "resultados".

• Información sobre determinantes de fecundi-dad y demanda de fecundidad en las comu-nidades (usualmente se obtienen de las en-cuestas a comunidades):

√ condiciones del mercado laboral y nivelde salarios;

√ infraestructura de las comunidades, e

√ indicadores demográficos agregados deaños anteriores (ver abajo para mayoresdetalles).

• Información sobre el entorno de la oferta deservicios de planificación familiar, usualmenteobtenida de encuestas o censos de estableci-mientos como el Módulo de Disponibilidaddel Servicio de la DHS, estadísticas del progra-ma y/o encuestas a comunidades33:

√ número y tipos de establecimientos de sa-lud y planificación familiar dentro de unadistancia fija para cada conglomeradomuestral (por ejemplo, 30 km);

√ servicios y métodos anticonceptivos dis-ponibles;

√ período de tiempo durante el cual los ser-vicios y los métodos han estado disponi-bles; y

√ medidas de calidad del servicio.

En los modelos de efectos aleatorios es espe-cialmente importante la disponibilidad de infor-mación sobre características a nivel de comuni-dad que puedan haber sido determinantes im-

portantes de decisiones anteriores de ubicación-asignación de recursos del programa (por ejem-plo, niveles de fecundidad y mortalidad, indica-dores de estándar de vida, etc.).

Pocas (si alguna) encuestas recogen todos losdatos requeridos para aplicaciones importantesde este enfoque. Sin embargo, las EncuestasDemográficas y de Salud que incluyen un Módu-lo de Disponibilidad del Servicio (SAM) general-mente contienen mucha de la información nece-saria. Esta puede ser complementada a un cos-to marginal relativamente bajo con los datoseconómicos adicionales requeridos del progra-ma y de las comunidades, para proveer una ba-se de datos adecuada para la estimación de mo-delos multinivel. Otras encuestas con informa-ción comparable también pueden ser utilizadas.

Los datos requeridos para aplicar el modelopanel de efectos fijos son, en buena medida, losmismos que para el modelo de corte transversal,exceptuando que se necesitan datos en dos omás fechas sobre los mismos individuos o losmismos conglomerados. Idealmente, la recolec-ción de datos de la DHS en un país estaría pro-gramada para coincidir con los ciclos de activi-dades de los programas de planificación familiar(por ejemplo, encuestas al principio y al final deun ciclo de 5 a 7 años). De esta forma, las en-cuestas de propósito múltiple como las DHS ser-virían como mecanismo básico para recoger lainformación requerida para medir el impactodurante un determinado ciclo del programa. Sinembargo, no es estrictamente necesario que laprogramación de las rondas de la DHS corres-ponda exactamente a los ciclos del programa.En la medida que se acumulan las rondas, el pe-riodo cubierto por el panel de multinivel podríaextenderse para comparar los efectos del pro-grama en las diferentes etapas de su implemen-tación. Además, los análisis multinivel de cortetransversal realizados en distintas fechas puedenusarse para mostrar que los diferentes insumosson importantes para lograr impacto en las dis-tintas etapas de desarrollo del programa (efec-tos que podrían permanecer ocultos al agregarlas distintas fases del programa).

64


33 La encuesta de análisis de situación del “Popula-tion Council” es otro ejemplo del tipo de encuestade establecimientos que puede usarse para reco-ger una buena parte de la información requerida anivel del programa.

Ventajas

El enfoque de regresión multinivel tiene variasventajas:

• Puesto que el enfoque relaciona los insumosdel programa con los resultados a nivel de co-munidad, permite la medición del impactodel programa como se implementa en la rea-lidad.

• No requiere diseño experimental.

• Ofrece información más detallada que cual-quier otro enfoque sobre las trayectorias se-guidas por los programas para influir en laconducta anticonceptiva.


Existen varias limitaciones y ataduras impor-tantes en el uso de modelos de regresión multi-nivel:

• El enfoque es exigente en términos de datos.Se requieren encuestas poblacionales a granescala como las DHS. Esto es especialmentecierto cuando se deben estimar modelos depanel, pues la unidad de análisis para estosanálisis son las comunidades o los conglome-rados. A no ser que una muestra suficiente-mente grande de conglomerados esté dispo-nible, el diseño puede carecer de suficientepoder estadístico para detectar efectos delprograma de la magnitud que probablemen-te se darían en períodos relativamente cortos(por ejemplo, cinco años). Para el modelo decorte transversal, la disponibilidad de datos anivel de comunidad sobre factores que pue-den haber influenciado las decisiones anterio-res de ubicación del programa es fundamen-tal si se desean obtener estimaciones insesga-das de impacto del programa. También se re-quieren medidas de la actividad del progra-ma, las cuales suelen ser derivadas de las en-cuestas a establecimientos.

• El método es sensible al uso de modelos esta-dísticos apropiados y al tratamiento correctode los problemas de estimación estadística.Para realizar análisis multinivel también se ne-cesita personal debidamente capacitado ysoftware apropiado.

• El desarrollo y la estimación de modelos esta-dísticos requiere conocimiento del entorno.Debido a que las variables específicas inclui-das en los modelos variarán en cada caso, nohay un conjunto estándar de variables que sepuedan aplicar. Se requiere conocer el esce-

nario social y la evolución de los servicios desalud y de planificación familiar para orientarla selección de variables apropiadas a nivel decomunidad y de programa.

• Los modelos son sensibles a las fechas de lasinversiones en el programa en comparacióncon las fechas de observación del estudio deimpacto. Puesto que algunas especificacio-nes del modelo de efectos aleatorios relacio-nan los indicadores del programa de planifi-cación familiar con medidas de resultado re-cientes (ver Gráfica IV-9 para una ilustraciónde este punto), es fundamental contar con in-formación precisa sobre las fechas de loscambios ocurridos en el programa para esti-mar con precisión su impacto. De igual ma-nera, puesto que el modelo de efectos fijosrelaciona los cambios en las variables del pro-grama a los cambios en los indicadores de re-sultado durante intervalos de tiempo especí-ficos, la ausencia de cambio en las medicio-nes del programa durante un determinadoperíodo de estudio lógicamente resultará enestimaciones minimalistas del impacto delprograma34. El modelo de efectos fijos tam-poco considera las inversiones del programahechas antes del período en estudio. Porejemplo, si un país ha hecho grandes inver-siones en planificación familiar en los setentay principios de los ochenta y ha mantenidoun fuerte apoyo a estas actividades de ahí enadelante, el país podría mostrar niveles bas-tante altos de prevalencia anticonceptiva. Pe-ro si uno fuera a aplicar el modelo de efectosfijos con datos de fines de los ochenta y prin-cipios de los noventa, el análisis podría mos-trar relativamente poco impacto, debido aque la fuerte inversión de años anteriores noestaría reflejada en las medidas de cambio delprograma. Este fenómeno podría explicar, enparte, el moderado impacto de programa en-contrado en el análisis Gertler y Molyneaux(1994) del programa de planificación familiarde Indonesia de mediados de los ochenta.Por eso, el modelo de efectos fijos debe seraplicado con cuidado en países con progra-

65


34 Este es un tema genérico sobre diseños de evalua-ción; un problema semejante surge al tratar de me-dir el resultado de un experimento aleatorio dema-siado pronto después de la implementación delprograma. Se destaca aquí, en relación al modelode efectos fijos, para enfatizar su importancia al in-terpretar los resultados de los estudios de impactobasados en este enfoque.

mas relativamente avanzados, donde las in-versiones recientes del programa pueden serrelativamente modestas35.

A pesar de estas limitaciones, el enfoque deregresión de multinivel es una metodología fac-tible y potencialmente poderosa para valorar elimpacto de programas, dada la disponibilidadde datos tipo DHS en forma recurrente en mu-chos países, la creciente proliferación de micro-computadoras poderosas y software apropiado

y el número creciente de investigadores con lasdestrezas metodológicas requeridas para aplicarmodelos multinivel.

66


35 Una solución a este problema es incluir efectos re-tardados “lags” en el modelo de efectos fijos. Sinembargo, esto es factible solo si hay tres o másrondas de datos de la encuesta de hogares conmediciones de las variables del programa.

Gráfica IV-11

Resumen de los enfoques preferidos para medir el impacto de los programas de planifi-cación familiar

Enfoque Observaciones

Experimentos aleatorios La "norma de oro", pero generalmente impráctico debido a las difi-cultades para establecer y mantener controladas las condicionesexperimentales en los estudios a nivel nacional.

Cuasi-experimentos Más prácticos puesto que no requieren la asignación aleatoria. Sinembargo, son más vulnerables a sesgos de selección y otras ame-nazas a la validez que los experimentos aleatorios. El uso de di-seños cuasi-experimentales junto con métodos de control para laheterogeneidad no observada es muy prometedor.

Métodos de regresión multinivel:

Modelo transversal básico El menos exigente entre los enfoques no experimentales preferi-dos. Comprende la valoración de la relación entre las variablesque miden la presencia/actividades y los resultados de los progra-mas familiares basados en datos de corte transversal de hogaresy establecimientos, recogidos en las mismas áreas geográficas (porejemplo, los conglomerados muestrales DHS). La limitación clave -el peligro de estimaciones sesgadas, si los programas no sonimplementados en forma uniforme o aleatoria en las áreasgeográficas.

Efectos aleatorios multi-ecuacionales Refinamiento del modelo de corte transversal básico que proveeuna forma de tomar en cuenta la posible endogeneidad de la ubi-cación del programa. Requiere datos adicionales sobre factores ovariables que podrían estar correlacionadas con las decisiones deubicación del programa. Los procedimientos estadísticos de esti-mación son complejos.

Modelo panel de efectos fijos Si se cuenta con datos de hogares y de establecimientos de lasmismas áreas geográficas en dos o más fechas, ofrece un métodoalternativo (y más fácil de calcular) para considerar el problema dela endogeneidad de la ubicación del programa. Debido a que losconglomerados muestrales son las unidades de análisis, general-mente tiene menos poder estadístico que otros modelos.

ENFOQUES ALTERNATIVOS

¿Cuáles opciones están disponibles cuando esimposible implementar alguno de los tres enfo-ques preferidos de la sección anterior? En estasección, se presentan dos alternativas, que a pe-sar de ser menos preferidas, tienen cierta utili-dad:

• una variante del método de descomposicióny

• el método de prevalencia.

El enfoque de descomposición requiere la re-colección de datos en dos o más fechas y el mé-todo de prevalencia es del tipo de corte transver-sal.

Descomposición (Modelo de determinan-tes próximos)

Descripción

Estrictamente hablando, la descomposición esuna técnica genérica de análisis demográfico oepidemiológico, en contraste con un método di-señado específicamente para propósitos de eva-luación del impacto de programas. Aquí, noscentramos en un método específico de descom-posición, el enfoque propuesto por Bongaarts yKirmeyer (1980), el cual cuenta con varias carac-terísticas que lo convierten en una herramientamás valiosa para valorar el impacto de progra-mas que los métodos genéricos de descomposi-ción.

Al aplicarse en la medición de impacto de pro-gramas de planificación familiar, el objetivo de ladescomposición es determinar qué porción delcambio observado en las tasas de fecundidad(por ejemplo, la tasa global de fecundidad) en-tre dos fechas es atribuible a cambios en distin-tos factores. El método considerado, denomi-nado de aquí en adelante método de descom-posición de los determinantes próximos (pues sebasa en el muy conocido modelo de determi-nantes próximos de la fecundidad - ver Bon-gaarts, 1978), descompone los cambios en laTGF en cambios en: (1) proporciones de casadaso en unión, (2) duración promedio de infertili-dad post-parto, (3) prevalencia anticonceptiva, y(4) tasas de aborto36. El impacto del programaestá indicado por una reducción en los nivelesde fecundidad durante un período particular es-tudiado, una gran porción del cual es atribuiblea los aumentos en la prevalencia anticonceptiva

del "programa"37. Aunque no se contempla enel modelo original, las estimaciones de anticon-cepción del programa pueden obtenerse usandodatos de encuestas sobre fuentes de oferta o es-tadísticas de servicio para estimar qué porcióndel uso total de anticonceptivos es abastecidapor el programa en contraste con fuentes ajenasal programa.

Diseño y análisis

La fuente de datos usual para la aplicación delmétodo es dos encuestas de población consecu-tivas en una determinada población38. Apartede la disponibilidad de datos de dos o más fe-chas y la información sobre la fuente de la anti-concepción, no hay requisitos de diseño especia-les para usar el método.

La medición del impacto del programa provie-ne de la descomposición de la fecundidad encomponentes, como proponen Bongaarts y Kir-meyer (1980) y Bongaarts y Potter (1983). Elmodelo elemental es un modelo multiplicativo,en el cual los factores considerados están expre-sados como índices de sus efectos inhibidoresen la fecundidad; o sea, como medidas del gra-do en que cada factor contribuye a la diferenciaentre la fertilidad total y la fecundidad total. Elmodelo se presenta gráficamente en la GráficaIV-12.

En un corte transversal, el modelo puede ex-presarse como:

67


36 Los efectos de variación en factores como efectivi-dad de uso de anticonceptivos y esterilidad se pue-den también incluir en el modelo, pero los datos es-pecíficos del país de estas variables rara vez estándisponibles. Jolly y Gribble (1993) han propuestoque un factor adicional, la fecundidad que ocurrefuera de matrimonios o uniones, se incluya en elmodelo para poblaciones de Africa sub-Sahariana.

37 La prevalencia anticonceptiva del programa se re-fiere al uso de anticonceptivos obtenidos de servi-cios y fuentes de oferta del programa (contrario alas fuentes no programáticas). Las fuentes no pro-gramáticas son los sectores comerciales y privadosy varía en importancia relativa de país a país.

38 Los censos de población también proporcionan losdatos requeridos sobre niveles de fecundidad, com-posición por edad y proporción en matrimonios,pero no sobre otros determinantes próximos de lafecundidad como la lactancia.

TGF = TF * Cm * Cc * Ci * Ca

Donde:

TGF = tasa global de fecundidad observada;

TF = tasa total de fertilidad (no observable);

Cm = índice de matrimonios o uniones;

Cc = índice de anticoncepción;

Ci = índice de infertilidad post-parto; y

Ca = índice de aborto.

Si se aplica a rondas sucesivas de encuestas,los cambios en cada índice se ligan al cambioobservado en la TGF para valorar la contribuciónde cada determinante al cambio observado en lafecundidad. Por ejemplo, la contribución pro-porcional de cambios en la anticoncepción alcambio observado en la TGF se calcula de la si-guiente forma:

C = (ln Cc,2 - ln Cc,1) / (ln TGF2 - ln TGF1)

Donde:

ln = logaritmo natural;

Cc,2 y Cc,1 = índices de anticoncepción en las rondas de encuestas 2 y 1,respectivamente ; y

TGF2 y TGF1 = tasas globales de fecundidadobservadas en las rondas deencuestas 2 y 1, respectivamente.

Como se observó anteriormente, la determina-ción del impacto de programas usando este mé-todo requiere tener una estimación de la por-ción del uso de anticonceptivos que se originaen fuentes programáticas, la cual puede obte-nerse de datos de encuestas sobre la fuente delanticonceptivo usado o de estadísticas de servi-cio. En la Gráfica IV-13 se presentan ejemplosde resultados de la aplicación del método a en-cuestas sucesivas de las Filipinas.

Ventajas

• El método requiere datos fácilmente disponi-bles en las encuestas tipo DHS.

• Los cálculos son simples.

• Es efectivo para controlar los efectos de loscambios en los determinantes próximos de lafecundidad.


• Debido a las fluctuaciones anuales en los ni-veles de fecundidad, el método es sensible alos años que cubre el estudio en particular;i.e., se pueden obtener estimaciones muy di-ferentes variando los años de cobertura.

• Está limitado a la medición del impacto sobrela fecundidad exclusivamente.

• No ofrece medidas directas de los efectos delos insumos del programa; los insumos delprograma se infieren de los cambios en laprevalencia anticonceptiva (y de estimacionesde las contribuciones del programa a loscambios en la prevalencia).

• Si se carece de datos específicos del país so-bre factores como efectividad del uso de an-ticonceptivos, el método se apoya en mode-los que pueden no describir apropiadamenteel país en cuestión.

• Un estudio (Reinis, 1992) sugiere que el mé-

68


TF

TGFN

TGF

TGFM

Esterilidad

InfecundidadPostparto

Anticoncepcióny aborto

Matrimonio

Fuente: Bongaarts & Kirmeyer, 1980

Gráfica IV-12

Efecto de los Determinantes Próximossobre medidas seleccionadas fecundidad

todo puede no ser válido en países donde lasmujeres usan anticonceptivos principalmentepara finalizar la procreación una vez alcanza-do el tamaño familiar deseado (en vez de pa-ra espaciar los embarazos), donde es comúnretardar el matrimonio y donde el uso de an-ticonceptivos es más prevalente a edadesavanzadas. Este tema requiere más investiga-ción.

• El método es sensible a: (1) la precisión de losdatos de las encuestas sobre las fuentes deanticonceptivos y (2) las definiciones y res-puestas (en las entrevistas de las encuestas)de la anticoncepción originada dentro y fue-ra del programa39.

• El método ofrece solo una medida “bruta” deimpacto; o sea, no considera los efectos desustitución (los aumentos en la anticoncep-ción programática que se dan a costa de unmenor uso del sector privado) y los efectoscatalíticos del programa (los aumentos en laanticoncepción no programática que resultande esfuerzos de promoción del programa).

Método de prevalencia

Descripción

El último método considerado, el método deprevalencia, provee una estimación burda delimpacto de programas cuando la recolección dedatos de dos o más fechas y la realización de ex-perimentos aleatorizados "postest solamente"no son factibles. El método de prevalencia es unmétodo de corte transversal diseñado para apro-vechar la amplia disponibilidad de datos de en-cuestas sobre prevalencia anticonceptiva en paí-

ses en desarrollo. Usando datos de encuestassobre prevalencia anticonceptiva según fuentede abastecimiento (o sea, programática frente ano programática), tasas por edad de fecundidadactual y determinantes próximos de la fecundi-dad40, el método estima la porción de la dife-rencia entre la fecundidad potencial41 y la fe-cundidad observada, que puede ser atribuida ala anticoncepción programática. A su vez, estopuede ser convertido a dos estimaciones de im-pacto de programas: (a) la reducción en las ta-

69


39 Estos temas han sido unos de los menos confia-bles de las DHS. En las encuestas DHS-III, las pre-guntas sobre este tema se formulan de tal maneraque se espera que obtengan información más con-fiable.

40 Concretamente, datos sobre proporciones de mu-jeres casadas o en unión y la duración promediodel período de insusceptibilidad post-parto (a me-nudo estimada de la duración media de la lactan-cia materna). La información sobre tasas de abortotambién puede usarse cuando está disponible.

41 La fecundidad potencial se define como el nivel defecundidad que prevalecería en una población de-terminada en ausencia de anticoncepción.

Encuesta y fechade referencia de las estimaciones TGF Cm Cc Ci TF

Encuesta de 5.60 0.599 0.778 0.761 15.77fecundidad1978(1973-1977)

Encuesta 5.28 0.599 0.713 0.778 15.90demográfica1982(1978-1982)

Cambio en la TGF Cambio en puntos porcentuales de la TGF aportado por cambios en:

Absoluto Pct. Nupcialidad Anticoncepció• Infertilidad Residual

-0.32 -5.6 0.0 -8.5 +2.1 +0.8

Interpretación Durante el período cubierto por las encuestas, la fecun-didad total bajó en un 5.6 porciento. La caída en la TGF se explica com-pletamente por un aumento en el uso de anticonceptivos. De hecho, sisólo el uso de anticonceptivos hubiera cambiado en este período, la TGFhabría bajado 8.5 puntos porcentuales. Sin embargo, los niveles cam-biantes de la infertilidad post-parto como resultado de una caída en laduración de la lactancia ejercieron una influencia contraria sobre la TGFde aumento en 2.1 puntos porcentuales. Los factores no especificados oresiduales también contribuyeron a un aumento en la fecundidad total de0.8 puntos. La contribución de los cambios en las tasas de aborto nopudo ser valorada en este estudio, debido a la falta de datos apropiados.Como los datos de la encuesta indican que el sector público proveyóaproximadamente el 50% de los servicios y suministros de anticonceptivosdurante este período, puede atribuirse una reducción en la TGF de apro-ximadamente 4% al programa de PF del sector público.

Fuente: Casterline et al., 1988.

Gráfica IV-13

Ejemplo de una aplicación del método de descomposi-ción de determinantes próximos a encuestas sucesivasen las Filipinas

sas de fecundidad y (b) el número de hijos evita-dos durante un intervalo de tiempo especificado(generalmente un año) como resultado de la an-ticoncepción programática. El método se basaen el mismo modelo de la relación cuantitativaentre la fecundidad y sus determinantes próxi-mos descrito anteriormente en el método dedescomposición (ver Bongaarts, 1986, para unapresentación completa del método).

Diseño y análisis

El método de prevalencia no requiere más da-tos que los normalmente recogidos como partede las encuestas tipo DHS. Los datos básicosque se necesitan son:

• estimaciones de la prevalencia anticonceptivapara una determinada fecha, por gruposquinquenales y fuente de abastecimiento;

• tasas de fecundidad por edad para un deter-minado período de referencia;

• número de mujeres en edad reproductiva, engrupos de edad quinquenales; y

• tamaño total de la población.

Las estimaciones de efectividad de uso especí-ficas del país, idealmente por método y fuente,y las tasas de fertilidad específicas por edad tam-bién son útiles, pero rara vez están disponibles.Si estos datos no están disponibles para un de-terminado país, se pueden usar tablas estándar(Bongaarts, 1986).

Con este método, el impacto de programas semide por la porción de la diferencia entre la fe-cundidad potencial y la fecundidad real duranteun período de referencia específico (por ejem-plo, 1a 3 años antes de la encuesta) que es ex-plicada por la anticoncepción programática. Es-te método produce dos medidas de impacto: (1)la reducción en la fecundidad (o sea, fecundidadpotencial menos fecundidad observada) atribui-ble a la anticoncepción programática y no pro-gramática, respectivamente, y (2) los embarazosevitados por la anticoncepción programática yno programática.

Como ilustración, la Gráfica IV-14 muestra es-timaciones para varios años a mediados de ladécada de los setenta en que se usó este méto-do en varios países42 (otros ejemplos se ofrecenen United Nations, 1986). La Gráfica muestralos efectos sobre las tasas brutas de natalidad ylos embarazos evitados debido a la anticoncep-

ción programática y no programática.

Obsérvese que aunque el método tiene un di-seño de corte transversal, las estimaciones paraencuestas sucesivas proveen una serie de tiempode estimaciones que podrían ser usadas para es-timar las tendencias en el desempeño del pro-grama a través del tiempo. Sin embargo, condatos de encuestas sucesivas, el método de des-composición de determinantes próximos es másinformativo.

Ventajas

• No requiere que se lleven a cabo estudios es-peciales. Si se puede suponer que las tablasmodelo de efectividad de uso y de fertilidadson aplicables a la población en estudio, elmétodo requiere solo datos que están dispo-nibles en las encuestas tipo DHS.

• Los cálculos son relativamente simples.


• Si los datos sobre efectividad de uso específi-cos del país (para la anticoncepción progra-mática y no programática) y las proporcionespor edad de mujeres fértiles (normalmenteno recolectadas en las encuestas tipo DHS) noestán disponibles, el método requiere el su-puesto de que las tablas modelo respectivasson aplicables a este país.

• No mide directamente los efectos de los insu-mos de programas; los insumos de progra-mas son inferidos de los cambios en la preva-lencia anticonceptiva (y estimaciones de lascontribuciones del programa a los cambiosen la prevalencia).

• El método es sensible a: (1) la precisión de losdatos de las encuestas sobre la fuente de an-ticoncepción y (2) las definiciones y respues-tas (en las entrevistas de las encuestas) de laanticoncepción programática y no programá-tica.

• El método ofrece solo una medida “bruta” deimpacto; sin considerar los efectos de sustitu-

70


42 Los cálculos requeridos para aplicar el métodoson laboriosos aunque relativamente simples. LaFigura IV-II ilustra el producto que resulta de usarel método para valorar la magnitud del impactodel programa. Para mayores detalles de cálculo serefiere al lector interesado a Bongaarts (1986).

71


Gráfica IV-14

Ejemplos de resultados de la aplicación del método de prevalencia, países selectos

ción (los aumentos en la anticoncepción pro-gramática que se dan a costa de un menoruso del sector privado) y los efectos catalíticosdel programa (los aumentos en la anticon-cepción no programática que resultan de es-fuerzos de promoción del programa).

• El método se limita a medir el impacto en tér-minos de la fecundidad.

RESUMEN

En este capítulo, los tres métodos preferidos ylas dos “segundas alternativas” mejores paramedir el impacto de los programas de planifica-ción familiar fueron revisados y valorados crítica-mente. La Gráfica IV-15 resume las ventajas y li-mitaciones relativas de los enfoques considera-dos.

En una visión de conjunto, los métodos reco-mendados pertenecen a dos categorías amplias:los métodos experimentales y los métodos basa-dos en encuestas43. La confianza cada vez ma-yor en los métodos basados en encuestas para laevaluación de programas se debe a dos factores:(1) el hecho de que el impacto a nivel poblacio-nal se mide mejor con datos a nivel poblacional,y (2) la disponibilidad relativamente grande dedatos de encuestas grandes a nivel poblacionalcomo la DHS. El valor de los datos de las encues-tas para la evaluación de programas es mayorcuando los esfuerzos de recolección de datos

por encuestas están estratégicamente calendari-zados respecto a los ciclos de los programas yestán complementados con datos del programaa nivel comunitario para las mismas unidadesgeográficas que los datos a nivel individual.

Al mismo tiempo, los experimentos (aleatori-zados y cuasi-experimentos) tienen su rol en me-jorar la validez de las conclusiones de la evalua-ción, particularmente en evaluaciones de áreasfuncionales de los programas de planificaciónfamiliar (i.e., investigación de operaciones).

Idealmente, diferentes métodos deben usarsepara contestar las distintas preguntas, comoparte de las evaluaciones integrales de progra-mas. Sin embargo, la incorporación de los dife-rentes componentes del diseño de evaluaciónrequiere un planeamiento cuidadoso en la etapade diseño de programas y nuevos ciclos de pro-gramas. Si hay un fuerte compromiso para me-dir el impacto, los administradores de programapueden preferir modificar la forma de imple-mentación de las actividades para ajustarse auna medición significativa del impacto del pro-grama.

72


43 Debe observarse que las encuestas también sue-len ser utilizadas como medio de recolección dedatos en los estudios experimentales.

73


Gráfica IV-15

Resumen de los métodos para medir impacto del programa

Capítulo V

Desarrollo de unplan de acción

• Definición de las instituciones y las personas responsables de la evaluación

• Establecimiento de un cronograma para actividades específicas

• Presupuesto de la evaluación

75

DE S A R R O L LO D E U N P L A N D E A C C I Ó N

Los capítulos anteriores de este manual hacenénfasis en los aspectos técnicos del diseño deuna evaluación. Sin embargo, un plan de eva-luación será de poco valor si no hay un plan cla-ramente definido para su implementación. Estecapítulo indica los aspectos que debe contem-plar el desarrollo de un plan de acción para el se-guimiento de programas o para la valoración delimpacto.

DEFINICIÓN DE LAS INSTITUCIONESY LAS PERSONAS RESPONSABLESDE LA EVALUACIÓN

Generalmente, una institución toma el lideraz-go en el diseño e implementación de la evalua-ción de un programa nacional de planificaciónfamiliar, aunque suele ser necesario considerar laayuda de otras organizaciones de entrega deservicios o de investigación. En algunos casos elímpetu para una evaluación a gran escala surgedel mismo país; en otros, es un requisito del do-nante. Tal vez el escenario más común es quelos administradores y donantes tengan un inte-rés común de saber si el programa está en elcurso correcto y cómo puede ser fortalecido.

La organización líder tiende a ser el principalproveedor de servicio en el país, especialmente sies una institución gubernamental (por ejemplo,el Ministerio de Salud). Alternativamente, laasociación privada de planificación familiar pue-de liderar, sobre todo si juega un papel impor-tante en la entrega de servicios o cuenta conuna buena capacidad para investigar o evaluar.Es importante identificar quién tiene la respon-sabilidad principal de la evaluación e involucrara otros grupos de interés.

Involucrar a los principales grupos de inte-rés en el proceso de planificación

Para maximizar el beneficio y la utilidad de laevaluación de un programa nacional de planifi-cación familiar, es importante incluir a los princi-pales grupos de interés en el proceso desde el

principio. Los grupos de interés son todas lasorganizaciones o individuos que podrían estarinteresados en cómo se realiza la evaluación,cuáles resultados muestra y cómo se puede usarla información posteriormente. También, la listadebería incluir cualquier institución que puedacontribuir con datos. Tales grupos de interés po-tenciales son los siguientes:

• Oficinas gubernamentales responsables dedar seguimiento a las cuestiones poblaciona-les, especialmente en países que han definidometas demográficas:

√ el Ministerio de Planificación

√ el Consejo Nacional de Población

√ Otras

• Organizaciones que ofrecen servicios de pla-nificación familiar, incluyendo:

√ El Ministerio de Salud Pública

√ El afiliado a la IPPF

√ Otras ONG de envergadura

√ Programas subsidiados de mercadeo so-cial de anticonceptivos

√ Firmas del sector privado que venden an-ticonceptivos

√ Asociaciones de proveedores privados(asociación de gineco-obstetras, asocia-ción de parteras)

• Agencias donantes que apoyan el programa

• Grupos de salud de las mujeres y otros gru-pos de abogacía

En última instancia, si los grupos de interés noperciben que los datos y el análisis son útiles pa-ra las decisiones que deben tomar sobre el dise-ño e ejecución del programa, los resultados pue-den no ser utilizados nunca según el propósitocon que fueron creados y serían ignorados o de-sacreditados por aquéllos para quienes se hacela evaluación.

Capítulo V

76

Desarrollo de un plan de acción

Definición de las necesidades técnicas eidentificación de las fuentes disponiblesdentro del país

Una evaluación a gran escala de un programade planificación familiar, especialmente si inclu-ye valoración del impacto, requiere pericia técni-ca en el diseño de estudio, preparación de ins-trumentos de información, supervisión de la re-colección de datos, edición y procesamiento dela información, análisis de datos y preparacióndel informe.

Un número cada vez mayor de países tienenahora personal calificado en estas áreas. Bajocircunstancias ideales el personal técnico apro-piado está dentro de las organizaciones líderes oauxiliares y estos individuos pueden estar dispo-nibles para trabajar en la evaluación. Sin embar-go, puede ocurrir que los individuos adecuadosestén ya comprometidos con otras actividadesdurante el período de la evaluación o que el ni-vel adecuado de pericia técnica no esté disponi-ble dentro de las organizaciones auxiliares. Eneste último caso, es importante considerar fuen-tes alternativas de asistencia técnica en las áreasseñaladas anteriormente (diseño de estudios, re-colección de datos, análisis, etc.), tales como:

• firmas de investigación locales, especialmentelas que se especializan en la investigación so-cial;

• universidades locales (por ejemplo, departa-mentos de demografía, escuelas de salud pú-blica); y

• consultores privados con experiencia en in-vestigación y evaluación.

En países con poca pericia técnica local en elcampo de la investigación social, puede ser ne-cesario complementar las destrezas de los inves-tigadores locales con asistencia técnica externa.

Establecimiento y mantenimiento de cana-les de comunicación efectivos

Si se quiere que todos los participantes com-partan la propiedad del producto final, es im-portante para la organización líder mantener undiálogo honesto con los principales grupos deinterés, no simplemente esperar que los otros“le pongan el sello” de sus sugerencias.

Este proceso de consulta no termina al com-pletar el análisis de datos. Más bien, es útilmantener este mismo nivel de comunicaciones através de las etapas de diseminación y utilizaciónde resultados. Los esfuerzos de una institución

por aplicar los resultados específicos de la eva-luación (por ejemplo, intensificar la entrega demétodos de acción prolongada en áreas identi-ficadas por la evaluación como áreas insuficien-temente servidas) pueden ser un ejemplo paraotras instituciones sobre cómo se puede aplicarla investigación académica para mejorar los pro-gramas. Además, el sentido de propósito co-mún desarrollado a través del proceso de eva-luación puede servir para reforzar la colabora-ción en el área de la entrega de servicios, aúnentre grupos que no trabajan juntos normal-mente.

ESTABLECIMIENTO DE UN CRONOGRAMAPARA ACTIVIDADES ESPECÍFICAS

El plan de evaluación indicará una serie de ac-tividades de recolección de datos correspon-diente a los objetivos de la evaluación, que sehará en forma escalonada durante la duracióndel proyecto (ver Gráfica III-6). Para cada tipo dedato, es esencial especificar la frecuencia con laque debe ser recolectado y reportado. (Porejemplo, las estadísticas rutinarias de serviciopodrían ser recolectadas mensualmente, peroreportadas trimestralmente.

La información para cada tipo de recolecciónde datos puede luego ser resumida para ofreceruna visión de conjunto de esta actividad duran-te la duración del proyecto. Este ejercicio tienela ventaja dual de indicar (1) los posibles conflic-tos de agenda entre las actividades de evalua-ción, especialmente cuando el personal de reco-lección de datos es limitado y (2) posibles con-flictos con otras actividades de la organización(por ejemplo, la preparación del reporte anual) ode la comunidad principal (por ejemplo, perío-dos de días feriados cuando baja el ritmo de tra-bajo).

La Gráfica V-1 muestra un ejemplo de crono-grama sintético para una recolección múltiplede datos.

PRESUPUESTO DE LA EVALUACIÓN

Es fundamental estimar los costos de la eva-luación propuesta, a no ser que los planes deuno sean frustrados por la realidad financiera.Los pasos para el desarrollo del presupuestoson:

• Identificar los recursos para la evaluación enla organización líder (y si procede, en otras

77


Gráfica V-1

Ejemplo de un cronograma para actividades de evaluación

organizaciones participantes) que están yacubiertos por otras fuentes y que estarán dis-ponibles para la actividad sin costo adicio-nal.44

Ejemplos: Salarios del personal y cargas socia-les, espacio de oficina, equipo de oficina comocomputadoras y fotocopiadoras, vehículos pa-ra el trabajo de campo, etc.

• (Si no están cubiertos en el punto anterior)Estimación del costo del personal y otros cos-tos directos por la coordinación de los distin-tos elementos de la evaluación.

Ejemplo: El salario y las cargas sociales de unapersona empleada para recolectar y sintetizarlas estadísticas de servicio de diferentes ramasdel programa o de diferentes agencias partici-pantes.

• Estimación de los costos para cada actividadde recolección de datos que va a ser llevada acabo para la evaluación.

Ejemplo: Suponiendo que la evaluación con-siste de (1) un seguimiento de las estadísticasde servicio recolectadas de rutina, (2) un aná-lisis de situación al principio y final del cicloquinquenal del proyecto, (3) una DHS al prin-cipio y al final del ciclo quinquenal del proyec-to45, (4) aplicación de la metodología COPEen 30 PPS, y (5) análisis del costo por APP se-gún tipo de mecanismo de entrega de servi-cio. Es importante presupuestar cada uno deestos 5 aspectos por aparte, teniendo cuidadode no duplicar el conteo de aspectos que apa-recen en más de una categoría, tales como lacompra de microcomputadoras para usosmúltiples.

• Estimación de los costos del procesamiento ydel análisis de datos.

Ejemplo: El personal local puede encargarsedel procesamiento y reporte de las estadísticasde servicio recolectadas de rutina. En cambio,los costos del procesamiento del análisis de si-tuación, de los datos DHS y de los análisis demultinivel para valorar el impacto suelen serelevados.

• Estimación de los costos de la diseminaciónde los resultados.

Ejemplo: Como se describe en el Capítulo VI,existen múltiples canales para la diseminación.Dada la importancia de este paso final del pro-ceso, es fundamental que los fondos corres-pondientes estén presupuestados desde elprincipio.

Confeccionar presupuestos es una destrezaque puede ser desconocida por algunos evalua-dores. Así como se busca ayuda especializadapara el muestreo, el diseño del estudio, etc.,también puede ser recomendable buscar asis-tencia de personas expertas en presupuestos enuna determinada institución para que las esti-maciones presupuestarias sean realistas y se ase-gure la inclusión de todos los aspectos.

78


44 Algunas organizaciones pueden preferir presu-puestar estos costos, aunque estén cubiertos porlos fondos existentes, para poder rastrear y reportarlos costos completos de la evaluación para su orga-nización.

45 En el caso del Análisis de situación y la DHS, loscostos variarán mucho entre países, los presupues-tos deben elaborarse junto con el personal de estosproyectos que cuentan con experiencia en procesosde presupuesto específicos para estas actividades.

79

Capítulo VI

Diseminación yutilización de los

resultados

• Adaptación de la presentación de los resultados para la audiencia objetivo

• Identificación de resultados con implicaciones programáticas importantes

• Establecimiento de un foro para presentar los resultados que implican una acción

• Presencia permanente en el proceso

81

DI S E M I N A C I Ó N Y U T I L I Z A C I Ó N D E LO S R E S U LTA D O S

Capítulo VI

ADAPTACIÓN DE LA PRESENTACIÓN DE LOSRESULTADOS PARA LA AUDIENCIA OBJETI-VO

La preparación de la presentación de los resul-tados para una audiencia de formuladores depolíticas de alto nivel puede requerir los “resul-tados clave” de una evaluación, por ejemplo:

• ¿ha aumentado la prevalencia anticoncepti-va?

• ¿cuáles provincias tienen las tasas más altasde prevalencia anticonceptiva?

• ¿cuáles métodos anticonceptivos son máspopulares?

• ¿está el programa llegando al área rural?

Además, considerando el bombardeo de in-formación que reciben diariamente los encarga-dos de la toma de decisiones de alto nivel, el in-forme para esta audiencia debe ser rápidamen-te comprensible y estéticamente atractivo. Poreso, el medio preferido puede ser un llamativofolleto o panfleto pequeño, con un resumen eje-cutivo de los resultados clave, ilustrado con grá-ficas a color.

Los administradores del programa, los investi-gadores de la planificación familiar y otras per-sonas afines al programa querrán mucho másdetalle que el contenido del resumen ejecutivo.Esta audiencia se beneficiará del informe com-pleto, con una tabla de contenidos clara y deta-llada, que dirija al lector a los temas específicos.Las gráficas también deberían utilizarse en estetipo de reporte, aunque algunos lectores tam-bién querrán ver los “números que respaldan lasgráficas”. Los detalles de la metodología debe-rán presentarse con claridad, pero una parte deeste material puede presentarse en apéndices, sivan más allá del interés o la comprensión del lec-tor promedio. Si se usan métodos multivariablescomplejos, los resultados deben presentarse enun formato que pueda ser comprendido por

personas con poco o ningún conocimiento esta-dístico.

Este reporte exhaustivo generalmente consti-tuye la versión más completa de la evaluación ysuele aparecer en el idioma principal del país.

Los resultados de la evaluación deberían serretroalimentados en el sistema, para los admi-nistradores de programa y proveedores de servi-cio cuyo trabajo se refleja en la evaluación. Losmédicos y enfermeros muy ocupados puedendesanimarse si se incluyen demasiados resulta-dos clave, pero estarían muy receptivos a algu-nos resultados seleccionados que relacionen di-rectamente la entrega del servicio (las tenden-cias en la prevalencia, los cambios en la mezclade métodos, las características de los usuarioscomparadas con las de los no usuarios, la con-centración por condición socioeconómica y áreageográfica de la demanda no satisfecha, etc.).Este grupo también se beneficiaría de los desple-gables de fácil comprensión para los formulado-res de políticas. Otra vía de comunicación coneste grupo sería mediante la presentación direc-ta de resultados (conferencias, seminarios) se-guida de sesiones de preguntas y respuestas ydiscusiones de grupos pequeños.

Una cuarta audiencia posible son los investiga-dores, quienes pueden ser alcanzados medianterevistas y conferencias internacionales. En el ca-so de un artículo de revista, es importante con-centrarse en un tema específico. Mucho del tex-to descriptivo que aparece en un informe nacio-nal exhaustivo puede ser condensado en pocospárrafos que comuniquen la contribución de es-te estudio particular a la literatura científica.Aunque el reporte exhaustivo puede tratar decubrir la mayoría de las variables del análisis, unartículo de revista o ponencia debe destacar so-lo los puntos clave.

46 Los autores reconocen la contribución de Ms. AnnLaughrin de “Futures Group International” en lapreparación de este capítulo.

82

Diseminación y utilización de los resultados

IDENTIFICACIÓN DE LOS RESULTADOS QUETIENEN IMPLICACIONES PROGRAMÁTICASIMPORTANTES

Las primeras tres audiencias mencionadas an-tes — formuladores de políticas, administrado-res de programa y personal de servicio —ten-drán una pregunta común: ¿Qué significado tie-ne esto para mí? Por lo tanto, es fundamentalque el evaluador no solo presente los resultados,sino también interprete su relevancia para losprogramas vigentes. En muchos casos, las au-diencias mencionadas captarán las implicacio-nes programáticas sin que estas estén claramen-te formuladas (por ejemplo, la prevalencia anti-conceptiva es de 50% en zonas urbanas, com-parada con 20% en zonas rurales). Pero, la ma-yoría de sus miembros se beneficiarán si los eva-luadores plantean lo obvio, aunque sea solo pa-ra reforzar su propia interpretación de los resul-tados. Además, este enfoque de la presentaciónde datos la hace parecer más práctica y útil o“menos académica”.

La cuarta audiencia —los investigadores- tam-bién estarán interesados en las implicacionesprogramáticas, especialmente en revistas o con-ferencias de tipo más aplicado que puramenteacadémico

ESTABLECIMIENTO DE UN FORO PARA PRE-SENTAR RESULTADOS QUE IMPLICAN UNAACCIÓN

Cada vez hay más administradores de progra-ma bien capacitados que pueden leer un repor-te con estadísticas y derivar de inmediato el sig-nificado para su programa. Pero, generalmentelas personas encargadas de actuar con base enlos resultados se beneficiarán mucho si tienen laoportunidad de:

• discutir y comprender mejor los resultados;

• internalizar o digerir esta información;

• reconciliar esta “nueva información” con sucomprensión del programa de acuerdo consu manera de operar en este momento;

• verbalizar las implicaciones de los resultadosen sus propios términos;

• identificar acciones que consideren las situa-ciones no cubiertas por la evaluación; y

• llegar a un plan de acción para capitalizar enlas áreas fuertes y mejorar las áreas débiles.

Lo ideal es un foro que promueva la discusióne interacción entre las personas clave que pue-dan influir en la dirección futura del programa.La propia dinámica del grupo hará que los pre-sentes cuestionen los resultados, traten de com-prender los factores subyacentes que explicanlos resultados y, a través de este proceso, conce-dan mayor importancia a los resultados. Peropuede haber dos excepciones que le resten valora la interpretación colectiva de los resultados.Primero, si las personas se ponen a la defensivaen relación a los resultados, este tipo de sesiónpuede ser contraproducente. Segundo, si algu-no de los aspectos de los datos es cuestionableen cuanto a su validez, la discusión puede cen-trarse más en los defectos de los datos que enlos defectos del programa.

PRESENCIA PERMANENTE EN EL PROCESO

Con demasiada frecuencia los evaluadores queson convocados a diseñar y realizar una evalua-ción, presentan sus resultados, dan una lista derecomendaciones y se van. En el escenario ideal,el administrador del programa tratará de incor-porar las recomendaciones en la reestructura-ción del programa. En muchos otros casos, seaplica el proverbio: ojos que no ven, corazónque no siente.

Existen tres razones por las cuales vale la penaque los evaluadores permanezcan en contactocon los administradores del programa durante elperíodo de implementación de los cambios ori-ginados en los resultados de la evaluación.

• El evaluador está disponible para consultas so-bre las recomendaciones. Por ejemplo, cuan-do los resultados de la regresión de multinivelidentifican los cambios en los indicadores deimpacto que surgirían de la implementaciónde ciertas acciones, el administrador del pro-grama podría buscar más aclaración sobre lasmodificaciones en la prestación del servicionecesarias para que el cambio tenga lugar.

• El contacto regular entre el administrador y elevaluador del programa sirve como recorda-torio fundamental de que la evaluación fuehecha originalmente con un propósito: iden-tificar áreas en que se puede mejorar. Con-trario a: “ojos que no ven, corazón que nosiente”, la presencia del evaluador sirve parapromover acción en las áreas identificadaspor la evaluación.

• El evaluador puede ayudar a establecer dise-ños adicionales para determinar si los cam-

83

Diseminación y utilización de los resultados

bios establecidos en la entrega del serviciorealmente producen los cambios esperadosen la utilización del servicio, la prevalencia an-

ticonceptiva, etc. Como tal, esto refuerza laevaluación como proceso permanente en vezde como evento único.

Capítulo VII

Adaptacionesa otras

intervenciones desalud reproductiva

• Prevención ETS/VIH

• Embarazo seguro

• Lactancia materna

• Nutrición de la mujer

• Servicios de salud reproductiva para adolescentes

A partir de la Conferencia sobre Población yDesarrollo de 1994 en el Cairo, la “planificaciónfamiliar” se está expandiendo rápidamente deuna estrecha focalización en la anticoncepción,hacia una gama más amplia de servicios de sa-lud reproductiva. En la medida que los adminis-tradores de programa y los proveedores de ser-vicio se desplazan cada vez más hacia el domi-nio de la salud reproductiva, los evaluadores de-ben considerar la pregunta: ¿cómo se evalúanestas intervenciones?

Este capítulo se centra en las siguientes áreasde la salud reproductiva: la prevención de lasETS/VIH, el embarazo seguro, la lactancia, la nu-trición de mujeres y los servicios de salud repro-ductiva para adolescentes. Los "servicios paraadolescentes" no constituyen un área separadade la salud, sino más bien, una población obje-tivo específica. Sin embargo, con el creciente re-conocimiento de la necesidad de servicios paraeste grupo, es útil considerar las implicacionespara evaluar estos programas.

Los lineamientos de los capítulos I-IV de estemanual para la evaluación de programas de pla-nificación familiar, generalmente son aplicablesa otras intervenciones de salud reproductiva. Entérminos de las mediciones basadas en el pro-grama, los indicadores pueden cambiar, pero elenfoque básico es similar en las diversas áreas dela salud reproductiva. El evaluador se interesaen dar seguimiento a:

• el entorno político-programático;

• el número y tipos de actividades realizadas endistintas áreas funcionales;

• el acceso a los servicios;

• la calidad de la atención; y

• el nivel de utilización del servicio (por ejem-plo, el número de visitas, el número de clien-tes nuevos, el volumen de suministros distri-buidos).

En cambio, hay diferencias muy marcadas en-

tre la planificación familiar y otras áreas de la sa-lud reproductiva, en términos de población ob-jetivo, medidas de resultado a nivel de pobla-ción, y la factibilidad de la recolección de datos.Este capítulo está organizado para cubrir estostemas para cada área de la salud reproductiva.NO regresa a los temas de demostrar causalidad(excepto en el caso de la nutrición de las muje-res) discutido en capítulos anteriores de estemanual, los cuales son igualmente aplicables ala planificación familiar que a otras áreas de lasalud reproductiva.

Es importante reconocer que la planificaciónfamiliar es una de las intervenciones de la saludpública que ha sido evaluada con mayor rigor anivel internacional. La literatura refleja más de30 años de esfuerzo conjunto para encontrar laforma metodológicamente más sólida, peropráctica, de evaluar este tipo de programa. Encambio, los intentos por evaluar otras áreas dela salud reproductiva son más recientes; muchodel trabajo ha sido realizado a partir de media-dos de la década de los ochenta. Con una ma-yor ejecución de intervenciones de salud repro-ductiva, los evaluadores obtendrán más conoci-miento para adaptar las metodologías de eva-luación existentes a las circunstancias especialesde estos otros programas.

PREVENCIÓN DE ETS/VIH

Población objetivo

Las intervenciones de salud reproductiva gene-ralmente fijan como objetivo la población enriesgo. Para ciertas áreas de la salud reproducti-va (por ejemplo, la planificación familiar, el em-barazo seguro), incluye las mujeres del país deedades relevantes. En la práctica las intervencio-nes tienden a excluir grupos que, en virtud de sucondición económica, están en capacidad deobtener servicios de salud reproductiva median-te fuentes privadas; sin embargo, el éxito en undeterminado país se mide en términos de la po-

85

Capítulo VII

AD A P TA C I O N E S A O T R A S I N T E R V E N C I O N E SD E S A LU D R E P R O D U C T I VA

blación total de mujeres -- o de mujeres casadas-- en el rango de edades reproductivas (porejemplo, prevalencia anticonceptiva, porcentajede mujeres que dan a luz bajo condiciones su-pervisadas).

En cambio, respecto a la infección ETS/VIH, notoda la población está en riesgo. Las interven-ciones ETS fijan como objetivo (1) los "bolsonesde difusores” (aquellos más responsables demantener la epidemia ETS), (2) las personas sin-tomáticas que buscan alivio para sus síntomas,(3) las personas con alto riesgo de infección de-bido a su conducta o susceptibilidad biológica o(4) aquellos ya infectados (por ejemplo, hijos pornacer de mujeres embarazadas con sífilis). En lamayoría de los países, sería un desperdicio de re-cursos tratar de alcanzar la población en generaly una forma muy poco efectiva de alcanzar losque están en riesgo. De hecho, el riesgo de laETS/VIH varía notablemente dentro de un deter-minado país, región o, incluso, ciudad. El ries-go está relacionado con (1) el nivel de prevalen-cia ETS/VIH en una determinada área geográficao población y (2) las normas y prácticas sexualesde las subpoblaciones. Las intervenciones ETS-/VIH tienden a fijar como objetivo los grupos depersonas con conductas de alto riesgo: trabaja-doras comerciales del sexo, choferes de camio-nes, trabajadores migrantes y adolescentes. Porlo tanto, el programa debe evaluarse en relacióna los efectos sobre la conducta de estas pobla-ciones.

En contraste con otras áreas de la salud repro-ductiva que fijan como objetivo a las mujeres enedad reproductiva, las intervenciones ETS/VIHdeben fijar como objetivo, tanto a hombres co-mo a mujeres. Algunos argumentarían que loshombres son, incluso, más importantes que lasmujeres, dado su papel en la toma de decisionesen el ámbito sexual (y otros) en muchos países.Las encuestas tipo DHS están centradas princi-palmente en las mujeres en edad reproductiva,pero en años recientes se ha extendido a loshombres (como una muestra independiente dehombres seleccionados aleatoriamente o unamuestra de esposos o compañeros). Dado que laconducta de riesgo ETS/VIH parece estar asocia-da con el estado conyugal, es preferible conse-guir muestras independientes de hombres quemuestras de esposos o compañeros para gene-rar estimaciones más válidas de variables clavedependientes o independientes relacionadascon las ETS/VIH.

En resumen, no hay una población objetivoestándar o convencional para las intervenciones

ETS/VIH. Varía por programa y por país y debeser valorado en cada situación.

Indicadores de resultados y factibilidad demedirlos

El objetivo principal de las intervencionesETS/VIH es detener la propagación de la infec-ción, particularmente la infección VIH. Lógica-mente, parecería que la medida de éxito a largoplazo debería ser el nivel de VIH en un país de-terminado. De manera semejante sería útil ras-trear los cambios en la incidencia de la infección(o sea, la tasa de nuevas infecciones).

Sin embargo, hasta la fecha ha sido práctica-mente imposible obtener datos sobre prevalen-cia de VIH en una muestra seleccionada aleato-riamente de la población general de un país, porvarias razones47. Primero, la prueba VIH requie-re muestras biológicas (o sea, sangre, orina o sa-liva) que son más difíciles de recoger que las res-puestas verbales normales en el contexto de unaencuesta nacional. Segundo, el costo de este ti-po de encuesta es considerable. Tercero, y posi-blemente lo más importante, las pruebas VIHplantean varios dilemas éticos: puede uno medirla condición VIH y no informar los resultados alentrevistado? ¿Es ético informar a personas queson seropositivas sin ofrecer orientación o trata-miento? ¿Cómo manejaría el programa el estig-ma que las personas seropositivas sufren en mu-chas sociedades?

Esporádicamente hay datos disponibles de losestablecimientos que ofrecen servicios prenata-les y/o obstétricos; de hecho, muchos de los da-tos usualmente citados sobre prevalencia VIH sebasan en esta fuente de información. Aunqueesta puede parecer una forma fácil de obtenerdatos sobre prevalencia VIH, tiene, en realidad,muchas limitaciones. Primero, las mujeres queusan los servicios no necesariamente represen-tan la población general. Segundo, este tipo deprueba agregaría un procedimiento adicionalpara los establecimientos que no hacen rutina-riamente pruebas VIH y no necesariamente es-tán preparadas para hacerlas. Tercero, en laperspectiva de la parturienta, esta prueba signi-ficaría una molestia más adicional. Cuarto, dadoque los datos basados en registros de hospitales

86

Adaptaciones a otras intervenciones de salud reproductiva

47 Hay algunos ejemplos de muestras poblacionalespara pruebas de VIH en Africa: en la región deMwanza, Tanzania (Grosskurth et al., 1995) y en eldistrito de Rakai en Uganda (Wawer et al., 1995).Sin embargo, estas son excepciones a la regla.

suelen ser de baja calidad, no hay razón paracreer que los datos sobre condición VIH seríanmejores, excepto en el contexto de un proyectode investigación especial. En resumen, aunquelos datos de sero-condición de mujeres en esta-blecimientos terciarios son útiles para efectos depolíticas (para reflejar la magnitud del problemaen términos generales), estos datos no son muysatisfactorios para efectos de evaluación (Hassig,1995).

Finalmente, aunque el objetivo a largo plazopuede ser determinar la prevalencia VIH, no esuna medida útil para medir el impacto de pro-gramas, puesto que no cambia de inmediato co-mo respuesta a los cambios en las prácticas oconductas deseadas. O sea, que aunque fueraposible detener la transmisión de la infecciónVIH, esto no resultaría en una caída inmediatade la prevalencia VIH. Para citar un ejemplo ba-sado en el modelaje de una población hipotéti-ca de alta incidencia, Mertens et al. (1994) esti-man que si la incidencia VIH disminuye en un25% durante un período de cinco años debido aun programa de prevención exitoso, en el mejorde los casos se daría una disminución mínima enla prevalencia VIH observada en ese mismo pe-ríodo.

En resumen, las encuestas de sero-prevalenciano han sido ampliamente usadas como mediopara dar seguimiento a la epidemia de SIDA opara evaluar las intervenciones. Aunque esosdatos estuvieran disponibles, sería difícil asociarlos cambios en la incidencia de la infección VIHcon las intervenciones del programa (en ausen-cia de un experimento aleatorio).

Algunos han argumentado que la prevalenciaETS es un sustituto útil de la infección VIH. Dehecho, en Tailandia, los datos sobre disminucio-nes en las tasas de ETS son citados como señalde esperanza para la disminución de la propaga-ción del VIH (Hanenberg et al, 1994). Debido aque existen tratamientos, aunque no curas, pa-ra la mayoría de las ETS, los dilemas éticos aso-ciados con las pruebas de las ETS son menoresque aquellos asociados con el VIH. Sin embargo,las dificultades técnico-operativas son realmentemás desafiantes. Primero, los métodos disponi-bles para el tamizaje de la mayoría de las ETS(con la excepción de la sífilis) son onerosas o re-quieren un apoyo significativo de infraestructurapara preservar y transportar las muestras, así co-mo la preparación y realización de las pruebasde las muestras para determinar la presencia deinfección (por ejemplo, LCR/PCR48 o cultivos pa-

ra herpes o gonorrea). Segundo, debido a quevarias ETS generalmente se encuentran en dis-tintas proporciones en las poblaciones, la medi-ción de una sola ETS puede ser inapropiada; losevaluadores necesitarían establecer un perfil ETSal inicio, si fueran a rastrear una sola ETS paraefectos de evaluación. Tercero, algunas pruebasde tamizaje de ETS requieren pruebas confirma-torias para determinar la naturaleza (por ejem-plo, sífilis nueva, vieja, tratada) de la infección,mientras que algunas ETS (por ejemplo, el her-pes) son condiciones crónicas (como el VIH) y lasero-condición de una persona no va a cambiar,aunque ocurra un cambio de tratamiento o deconducta. Cuarto, aunque la existencia de op-ciones de terapia y curación para las ETS haceque las pruebas para ellas sean teóricamentemás factibles, pocos países están adecuadamen-te provistos de medicinas suficientes para lidiarcon el problema. Finalmente, solo unas pocasETS pueden ser identificadas mediante procedi-mientos simples y poco invasivos como un pin-chazo en un dedo o en una vena. La mayoría re-quiere frotis u otras muestras recolectadas geni-talmente, que no son fáciles de obtener; sin em-bargo, las pruebas de orina o los frotis auto-ad-ministrados ofrecen formas potenciales para lo-grar que las pruebas a nivel de la población seanmás factibles.

Soluciones recientes para estos problemasde medición

La importancia de incluir a los hombres en laevaluación de ETS/VIH está ampliamente reco-nocida. De hecho, las Encuestas de Salud Re-productiva DHS y CDC incluyen cada vez más en-trevistados masculinos.

Sin embargo, la naturaleza y el alcance de laintervención ETS/VIH debe ser considerada cui-dadosamente al tratar de interpretar cualquierdato de tales encuestas para propósitos de eva-luación. Por ejemplo, un programa de preven-ción centrado en la población masculina military universitaria, trabajadores migrantes comochoferes y poblaciones de mujeres de alto riesgodefinidas geográficamente, pueden tener un im-pacto mayor sobre la dinámica de las epidemiasgemelas de ETS y VIH, cambiando la conductasexual dentro de estos grupos, pero en el mejor

87


48 LCR se refiere a la reacción en cadena a la ligasa;PCR es una reacción en cadena la polymerasa. Am-bas son técnicas de amplificación DNA.

de los casos logran muy poca evidencia del cam-bio a nivel de la población49. La mayoría de losprogramas de prevención de ETS/VIH no son nifinanciados ni implementados con una intensi-dad y cobertura lo suficientemente grandes co-mo para tener impacto nacional.

Para programas con objetivos fijados en unasubpoblación específica, el enfoque del “sitiocentinela” está surgiendo como una estrategiaprometedora de evaluación. Estos esfuerzos pi-loto de recolección de datos han sido centradosen poblaciones no representativas, pero relevan-tes para el programa. En el ejemplo anterior, unprograma podría establecer una "encuesta de vi-gilancia conductual” en las poblaciones universi-tarias y militares que permitiría la medición deconductas críticas (y posiblemente otros indica-dores) en intervalos significativos. Para una des-cripción de cómo ha sido utilizado este enfoqueexitosamente en Tailandia, ver AIDSCAP Evalua-tion Tools, Módulo 4 (AIDSCAP, 1995).

EMBARAZO SEGURO

Población objetivo

Embarazo seguro se refiere al mejoramientodel resultado del embarazo en una mujer y surecién nacido. La población objetivo para las ini-ciativas de embarazo seguro consiste en dosgrupos: (1) las mujeres en edad reproductiva, ymás específicamente, las mujeres que han teni-do un embarazo durante un período de tiempodelimitado y (2) los recién nacidos durante el pe-ríodo de referencia. Una valoración integral delos resultados del programa requieren informa-ción de "casos" que incluya la terminación delembarazo y los eventos que ocurren durante elpuerperio para los embarazos que resultan ennacidos vivos.

Las iniciativas de embarazo seguro involucrantoda la población objetivo (como se definió an-teriormente) en la medida en que la atención "derutina" es promovida por las autoridades de sa-lud para todas las mujeres embarazadas y todoslos recién nacidos. Tales servicios pueden ofre-cerse mediante muchos tipos de proveedores deservicios.

Una gran preocupación es la pericia y el de-sempeño de los sistemas de salud y de los pro-veedores de servicio para manejar las complica-ciones del embarazo, la labor y el parto, así co-mo aquéllas que surgen durante el período neo-

natal. Particularmente importantes son las com-plicaciones maternas que amenazan las vidas delas mujeres embarazadas (o sea, hemorragias,sepsis, labor prolongada/obstruida, aborto sép-tico, y desórdenes hipertensos) y las condicionesque representan las principales amenazas paralos recién nacidos (o sea, asfixia, daños al nacer,sepsis, tétano y otras, debidas al bajo peso al na-cer). Estas requieren una atención especializadaque en muchos países no está disponible local-mente, debiendo referirse a establecimientos demayor nivel que implican logísticas más difícilesy costos más altos para las familias y para losproveedores de servicios. Por lo tanto, los casosde complicaciones constituyen un "objetivo" deespecial interés para evaluar las iniciativas deprogramas de embarazo seguro.


Los objetivos principales de las iniciativas deembarazo seguro son proteger la salud de lasembarazadas y los recién nacidos mediante laprevención de resultados adversos del embarazo(o sea, abortos y nacidos muertos, defuncionesperinatales, neonatales y maternas) medianteuna oportuna y efectiva detección y manejo delas complicaciones que surgen durante el emba-razo, el parto y el período neonatal. Varias cla-ses o tipos de indicadores de resultados han si-do identificados como útiles para evaluar las in-tervenciones de embarazo seguro.

Un grupo de indicadores consiste en lo quepuede ser visualizado como medidas de resulta-do “final”. A este grupo pertenecen varias tasasde mortalidad relacionadas con el embarazo.Por ejemplo:

• razón y tasa de mortalidad materna,

• tasa de mortalidad perinatal, y

• tasas de letalidad (para todas las complicacio-nes).

La razón de mortalidad materna, definida co-mo el número de defunciones maternas por ca-da 100,000 nacidos vivos durante un períodode referencia específico, ofrece una medida delriesgo obstétrico una vez que una mujer se em-baraza. La tasa de mortalidad materna, el nú-

88


49 Tailandia es una excepción a esta regla. Pareceque si la cobertura a los “bolsones difusores” es su-ficientemente alta, puede tener un impacto en lapoblación general.

mero de defunciones maternas durante un pe-ríodo de referencia por cada 100,000 mujeresen edad reproductiva, ofrece una medida másamplia de la posibilidad de quedar embarazaday morir durante el embarazo o el puerperio. Silos sistemas de registro civil son relativamentecompletos, tanto el numerador como el deno-minador de la razón de mortalidad materna,pueden ser derivados de esta fuente de datos. Eldenominador de la tasa normalmente se derivade las proyecciones o estimaciones de poblaciónoficiales. Sin embargo, puesto que los sistemasde estadísticas vitales en la mayoría de los paísesen desarrollo tienden a estar incompletos, el da-to del numerador de ambas medidas debe serampliado con datos de otras fuentes (por ejem-plo, registros de defunciones de hospitales, re-gistros de la morgue y de cementerios, etc.).Debe tenerse en cuenta que incluso en paísesdesarrollados, las defunciones maternas han si-do subestimadas hasta en un 50%.

El principal enfoque alternativo de medición,la estimación "directa" de la mortalidad maternaen encuestas por muestreo, ha resultado difícilde implementar porque se requieren tamañosmuestrales muy grandes para obtener estima-ciones suficientemente precisas y por los sesgosasociados con los hogares que se disuelven al fa-llecer la mujer. Las estimaciones "indirectas" deri-vadas del “método de las hermanas fallecidas”son más prometedoras50. Aunque este métodoindirecto es menos exigente en cuanto al tama-ño muestral que las estimaciones directas, siem-pre se requieren muestras relativamente gran-des, si se desean estimaciones desagregadasgeográficamente. Otra desventaja es que las es-timaciones del nivel de mortalidad materna queproduce el método se refiere a una fecha en elpasado relativamente lejano, normalmente 10 omás años antes de la fecha de la encuesta.

Para estimar la tasa de mortalidad perinatal (larazón de defunciones fetales tardías más defun-ciones neonatales tempranas por 1,000 nacidosvivos durante el período designado) correspon-den fuentes de datos y limitaciones semejantes.Sin embargo, debido al problema de recordarlas fechas de las defunciones fetales tardías e in-fantiles tempranas y a un subregistro serio dedefunciones que ocurren inmediatamente des-pués del nacimiento, en muchos países se poneen duda que las encuestas puedan proveer unaalternativa apropiada para las estadísticas vitalesy/o registros hospitalarios.

La tasa de letalidad (o caso-fatalidad), defini-da como la razón del número de defunciones

por complicaciones específicas del embarazo so-bre el número de casos obstétricos complicadosque se presentan en un establecimiento de saluddurante un período designado, mide la posibili-dad de que una mujer con complicaciones obs-tétricas sobreviva una vez que entra al estableci-miento de salud para recibir tratamiento. A nivelagregado para los establecimientos, ofrece unamedida directa de la capacidad del sistema desalud para lidiar con emergencias obstétricas.Sin embargo, para obtener estimaciones para lapoblación total, se requiere una cobertura rela-tivamente completa de todos los establecimien-tos que ofrecen servicios obstétricos de emer-gencia.

Un segundo grupo de indicadores pertenece alas características de las defunciones fetales tar-días e infantiles. Por ejemplo:

• distribución porcentual de las defuncionesperinatales por edad al morir;

• razón de fresco/macerado nacido muerto;

• tasa de mortalidad proporcional al peso alnacer; y

• tasa de mortalidad específica por peso al na-cer.

La principal utilidad de estos indicadores esproveer información sobre las contribuciones re-lativas de los fracasos de los distintos compo-nentes del proceso de entrega de servicio (o sea,atención prenatal, atención en el parto, aten-ción al recién nacido, atención al niño) a la mor-talidad perinatal y, en forma correspondiente, alcomponente que requiere ser reforzado.

Teóricamente tanto los datos de estableci-mientos como los datos de las encuestas po-drían ser usados para medir estos indicadores.Es cuestionable, empero, que las entrevistadasen encuestas de muchos países en desarrollopuedan ofrecer información suficientementeprecisa sobre la edad o duración de la gestaciónal morir y distinguir los óbito fetales frescos delos macerados Si las encuestas no son confia-bles, es necesario depender de los datos de es-

89


50 El método de las hermanas fallecidas se basa enreportes de casos de hermanas de entrevistadas enencuestas que murieron después de los 15 años deedad por causas relacionadas con el embarazo. Elmétodo convierte esta información en una estima-ción de la razón de mortalidad materna. Los deta-lles sobre el método se encuentran en Graham etal., (1990).

tablecimientos. Pero aún así, hay problemas conla determinación de las edades exactas al morir.Puesto que en ciertos países en desarrollo la ma-yoría de los nacimientos ocurren en el hogar y elpeso al nacer es difícil de medir en el hogar, losdatos de establecimientos no necesariamenteofrecen la información necesaria para determi-nar los fracasos en los servicios de salud.

El tercer grupo de indicadores consiste en loque pueden ser llamado indicadores de "conoci-miento/cobertura". Este grupo incluye una seriede CAP típicas (por ejemplo, la proporción deadultos con conocimiento sobre las complicacio-nes del embarazo y el parto, el porcentaje conconocimiento sobre la ubicación de los serviciosobstétricos esenciales, etc.) y los indicadores de"cobertura" (por ejemplo, la proporción de po-blación que reside a una hora de viaje del esta-blecimiento que ofrece atención obstétrica esen-cial [AOE], la proporción de mujeres atendidas almenos una vez durante el embarazo por perso-nal médico capacitado, etc.). Además, un indi-cador que vincula directamente la oferta y la de-manda de servicios obstétricos se sugiere comoespecialmente útil: la necesidad satisfecha deatención obstétrica de emergencia. Este indica-dor ha sido operacionalmente definido como laproporción de mujeres que se estima tienencomplicaciones obstétricas directas, vistas en unestablecimiento que ofrece atención obstétricade emergencia durante un período de tiempoespecificado51.

La mayoría de los indicadores de conocimien-to/cobertura pueden ser medidos con precisiónsobre la base de encuestas por muestreo con-vencionales. La medición del acceso a los esta-blecimientos que proveen atención obstétrica deemergencia mejora mucho si los Módulos deDisponibilidad del Servicio se realizan junto conla DHS y/o los Estudios de Análisis de Situación,así como donde hay Sistemas de InformaciónGeográfica (GIS). La medición relacionada conla demanda, aunque se interpreta sobre la basepoblacional, requiere datos de los estableci-mientos sobre el número de complicaciones pa-ra los numeradores. También se cuestiona, enalguna medida, la validez del supuesto de que el15% de todos los embarazos resulten en compli-caciones52.


Las mejoras a los registros vitales y un refina-miento continuo del método de las hermanas

son las promesas más importantes para la medi-ción de la mortalidad materna. Recientemente,se han propuesto los censos de áreas pequeñasy pequeñas encuestas “de cuasi cobertura” paraofrecer estimaciones más actuales y geográfica-mente desagregadas que las del método de lashermanas.

Uno de los temas clave bajo estudio es si algu-nos indicadores medidos actualmente sobre labase de los datos de establecimientos puedenser medidos con razonable precisión en las en-cuestas de hogares. Se necesitan medios másprecisos para obtener información válida sobrela edad o duración de la gestación al morir y pe-sos al nacer en las encuestas de hogares. La rea-lización de "autopsias verbales" a gran escala, talvez junto con encuestas de hogares grandes co-mo la DHS, representan una opción prometedo-ra para obtener datos a nivel verdaderamentepoblacional sobre ciertos indicadores, pero re-quiere mayor experimentación en el contexto dela medición de resultados de embarazo segu-ro53. El Grupo de Trabajo en Indicadores de Sa-lud Reproductiva del Subcomité del ProyectoEVALUATION también ha propuesto una iniciati-va para revisar el sistema de registro y de expe-dientes en los establecimientos de salud sobrecasos de complicaciones de embarazos para me-jorar la calidad de la información disponible pa-ra el seguimiento y manejo de programas

LACTANCIA MATERNA

Población objetivo

La población objetivo para los programas delactancia incluye todas las mujeres que están enriesgo de concebir en una población. Se da

90


51 Ver “Indicators for Safe Pregnancy,” the EVALUA-TION Project, (1995) para definiciones precisas delos términos involucrados en estos indicadores yuna discusión de sus usos.

52 Ver “Indicators for Safe Pregnancy,” The EVALUA-TION Project (1995), y World Health Organization(1993), “Indicators to Monitor Maternal HealthGoals”, para una mayor discusión de este tema.

53 Las “autopsias verbales” son instrumentos de en-cuestas usados para recoger información sobresignos y síntomas de enfermedades que precedenla muerte de un miembro del hogar reportado co-mo muerto. Los detalles del método se encuen-tran en Gray et al. (1990) y Kalter et al. (1990).

énfasis a las mujeres embarazadas, en períodoperinatal o en lactancia. También hay subgru-pos con necesidades especiales: madres por pri-mera vez, madres trabajadoras y mujeres con"fracaso" de lactancia previo. Además de losgrupos específicos, ciertas intervenciones educa-tivas o promocionales también fijan como obje-tivo la población total para promover una cultu-ra de apoyo a la lactancia materna en los hoga-res, lugares de trabajo y servicios de salud.

Los programas nacionales de lactancia mater-na generalmente son evaluados en relación a lasprácticas de lactancia de las mujeres que handado a luz recientemente. En cambio, las inter-venciones destinadas a subgrupos específicosdeberían ser evaluadas en relación a miembrosde esos subgrupos. Por ejemplo, las intervencio-nes educativas destinadas a adolescentes y niñosen edades escolares podrían ser valoradas entérminos de los cambios en el conocimiento y lasactitudes en el grupo.


La política más reciente sobre la duración de lalactancia (UNICEF/UNESCO/WHO/UNFPA, 1994)establece que todos los niños deberían ser ali-mentados exclusivamente con leche maternadesde que nacen hasta los 6 meses de edad. LaAsamblea Mundial de Confirmación del códigode mercadeo para sustitutos de la leche mater-na establece que los alimentos complementariosdeberían ser introducidos aproximadamente alos seis meses.

Los programas de lactancia materna general-mente están diseñados para aumentar (1) la in-cidencia de la lactancia, (2) la prevalencia de lalactancia exclusiva durante los primeros 6 mesesde vida, y (3) la duración de la lactancia. Las in-tervenciones específicas pueden estar destinadasa un obstáculo particular para la práctica óptimade la lactancia, como (1) la falta de conocimien-to entre las madres y los proveedores de aten-ción de la salud sobre los beneficios de la lactan-cia materna en la salud, la nutrición y el espacia-miento de los hijos, (2) procedimientos en elmanejo de los recién nacidos en los hospitalesque interfieren con la lactancia exitosa o (3) laausencia de peritaje en la lactancia materna enla comunidad o los servicios de salud que ayu-den a las madres a iniciar con éxito la lactanciadesde el nacimiento de su hijo. Los programasde comunicación y educación hacen énfasis enevitar los sustitutos de la leche materna, en pos-

tergar la introducción de líquidos y alimentoscomplementarios y en las formas de resolverproblemas de lactancia en caso que ocurran.

Las medidas de resultado para la evaluaciónde programas de lactancia incluyen con frecuen-cia la iniciación de la lactancia en la primera ho-ra de vida, la duración de la amenorrea, el usode la amenorrea de la lactancia para la anticon-cepción, las tasas de lactancia exclusiva, la dura-ción media de la lactancia y la frecuencia de lastomas de alimento.

Las fuentes de datos preferidas para medir losresultados relacionados con la lactancia son lasencuestas tipo DHS y versiones simplificadas deencuestas por conglomerados. En la mayoría delos países, es relativamente fácil hacer preguntassobre la lactancia en una entrevista privada. Elprincipal problema de medición es el sesgo pararecordar. Puede resultarle difícil a las mujeres re-cordar exactamente el número de tomas de ali-mento dadas al infante, incluso en las últimas24 horas, o la edad exacta en meses en que sesuspendió la lactancia. Además, la definición delactancia exclusiva del investigador puede serdistinta de la de la madre, por lo que los indica-dores deben ser operacionalizados cuidadosa-mente. Sin embargo, en comparación con otrasáreas de la salud reproductiva, los indicadoresde resultado pueden medirse de manera relati-vamente fácil y confiable usando encuestas pormuestreo.

Si las encuestas DHS no están disponibles co-mo fuente de datos para la valoración de los re-sultados de los programas nacionales, la alterna-tiva preferida sería la encuesta a una muestragrande y representativa de mujeres que han te-nido hijos recientemente (puesto que el recorda-torio de la práctica de lactancia en el pasado esnotablemente dudoso). Al diseñar estas encues-tas, es importante realizar investigación cualita-tiva preliminar sobre el significado de los térmi-nos (por ejemplo, lactancia exclusiva) y probarcon cuidado los instrumentos. Sin embargo, elcosto de estas encuestas es elevado, lo cual ex-cluye esta opción en la mayoría de los progra-mas.

Aunque este manual está centrado en progra-mas nacionales, muchos programas de lactanciason sub-nacionales, operando en puestos selec-tos de entrega de servicios o comunidades. Laevaluación de tales programas no sería factibleutilizando datos de encuestas a nivel nacional.Sin embargo, si una evaluación basada en esta-blecimientos o en comunidades va a llevarse a

91


cabo, es importante aclarar (1) cuáles son los re-sultados y objetivos específicos del programa(por ejemplo, el inicio dentro de la primera horade vida, lactancia exclusiva por seis meses), (2)quién usará la información generada y (3) cuáles el propósito de la evaluación. Los usuarios tí-picos son los ejecutores de programas, los fun-dadores de programas y los encargados de la to-ma de decisiones.

Una fuente de datos para obtener informaciónsobre las prácticas de lactancia neonatales (porejemplo, inicio de la lactancia en la primera ho-ra de vida) es la encuesta a nivel de hospitales omaternidades, o la entrevista de salida. Las en-trevistas de salida pueden ser particularmenteútiles si el grupo objetivo de la intervención sonmujeres que dan a luz en los establecimientosde salud. También es una buena estrategia pa-ra valorar el grado en que los hospitales estánrealmente ejecutando iniciativas favorables al in-fante.


Para efectos de evaluación, a los administra-dores de programas y a las agencias patrocina-doras idealmente les gustaría saber el efecto desus intervenciones sobre las prácticas de lactan-cia de la población objetivo. La base de datos enpermanente expansión de las encuestas DHSofrece una oportunidad prometedora para futu-ras evaluaciones empíricas de las prácticas delactancia a nivel nacional y regional.

Los investigadores, a su vez, están interesadosen demostrar el efecto de la prácticas de alimen-tación a los niños sobre la fecundidad, la nutri-ción infantil y resultados afines. Esto requieregrandes muestras y, preferiblemente, estudioslongitudinales cuya realización y análisis repre-senta un desafío (puesto que el impacto de lasprácticas de alimentación a los niños tambiénestá afectado por la edad del niño, la salud de lamadre y las condiciones socioeconómicas gene-rales del hogar).

Hasta la fecha, la evaluación en esta área hatratado estos dos temas en forma separada: (1)los efectos de las intervenciones de los progra-mas sobre las prácticas de lactancia y (2) losefectos de la lactancia sobre la fecundidad y lamortalidad. El reto sigue siendo demostrar em-píricamente que las intervenciones del programano solo afectan la conducta a mediano plazo si-no, también, influyen en la condición de la fe-cundidad y la salud a largo plazo.

Aunque demostrar impacto sigue siendo unobjetivo en la evaluación de intervenciones delactancia materna, hay también mucho queaprender de los métodos menos rigurosos, loscuales son útiles para mejorar programas a nivellocal. Por ejemplo, los resultados de salud neo-natal y salud infantil rastreados antes y despuésde las intervenciones hospitalarias “pro-infan-tes” pueden proveer un medio útil para valorarsu efectividad entre poblaciones selectas.

NUTRICION DE LA MUJER

Población objetivo

La definición de la población objetivo para lasintervenciones de nutrición de mujeres en elcontexto de la salud reproductiva es complicadapor los efectos acumulativos de una mala nutri-ción. Una nutrición pobre durante los primerosaños de la niñez puede y de hecho, causa, efec-tos físicos irreversibles. Los déficits de crecimien-to causados parcialmente por una mala nutri-ción durante la niñez nunca son recuperadospor muchas mujeres de los países en desarrollo,cuyos resultados son estatura pequeña, despro-porción cefalopélvica, resultados de embarazopobres y, posiblemente, otras consecuencias fi-siológicas. Por lo tanto, las intervenciones desti-nadas a los problemas de nutrición de las muje-res pueden cubrir un amplio espectro de edad.

Las formas más comunes de una mala nutri-ción en los países en desarrollo son la malnutri-ción de proteína-energía y deficiencias de micro-nutrientes (vitamina A, yodo, hierro). Todas es-tas deficiencias están vinculadas a la pobreza yal analfabetismo. Sin embargo, la deficiencia deyodo puede estar más definida geográficamen-te. La deficiencia de vitamina A también estádeterminada parcialmente por factores ecológi-cos y hábitos dietéticos tradicionales. La defi-ciencia de hierro se extiende a través de los paí-ses desarrollados y en desarrollo.

La mayoría de los recursos dedicados a la nu-trición de mujeres, sin embargo, se concentranen las mujeres embarazadas y en las que estánen lactancia, por dos razones principales: (1) du-rante el embarazo y la lactancia, las necesidadesnutricionales aumentan y (2) las deficiencias nu-tricionales maternas durante el embarazo pue-den tener serias consecuencias en las mujeres ysus niños.

Las madres adolescentes representan una po-blación objetivo especial porque deben satisfa-

92


cer sus propias necesidades nutricionales para elcrecimiento y la de su hijo. Si los recursos lo per-miten, los programas de nutrición de mujeres fi-jan como objetivo un rango de edad más am-plio. Esto está siendo defendido, en parte, por-que la condición nutricional antes del embarazoes un determinante importante de los resultadosreproductivos y porque los asuntos de la saludde las mujeres se consideran ahora prioritariospor derecho propio.


El objetivo a largo plazo de los programas nu-tricionales es reducir la incidencia y la prevalen-cia de las deficiencias de proteína-energía y demicronutrientes. Esta es una meta ambiciosa.Las causas inmediatas de las deficiencias nutri-cionales son el insumo dietético inadecuado yuna absorción pobre de los nutrientes (a menu-do resultado de infecciones y una deficienteatención de la salud). Las necesidades nutricio-nales de las mujeres en los países en desarrollosuelen acrecentarse por elevadas cargas físicas yfrecuentes ciclos recurrentes de embarazo y lac-tancia.

La malnutrición de proteína-energía (PEM) sevalora frecuentemente usando medidas antro-pométricas como el peso, la estatura y la circun-ferencia braquial, medidas que ahora se tomande rutina como parte de la DHS. Una baja esta-tura en las mujeres (<145 cm) refleja deficiencianutricional durante la infancia y es poco proba-ble que cambie durante el transcurso de la ma-yoría de los programas nutricionales (excepto,tal vez, en el caso de las adolescentes). Las me-didas como peso, peso en relación a estatura ycircunferencia braquial reflejan la delgadez de lamujer. Estas medidas deberían ser sensibles a lasintervenciones nutricionales destinadas al pro-blema PEM. Las medidas antropométricas ma-ternas son fáciles de recoger y los indicadoresbasados en ellas se consideran válidos y confia-bles.

La valoración de los micronutrientes es más di-fícil que la condición antropométrica y por esono forma parte de la rutina de la DHS. Se requie-ren pruebas de laboratorio o procedimientoshasta cierto punto invasivos, debido a que lacondición de micronutriente se basa en el análi-sis bioquímico de la sangre (hierro y vitamina A),leche materna (vitamina A) o la orina (yodo). Apesar de los avances tecnológicos, estas pruebascomplican todavía en forma sustancial la logísti-

ca del trabajo de campo. Los avances tecnológi-cos están simplificando cada vez más el procesoy han reducido mucho los costos financieros delas pruebas. En algunos casos, los países hanoptado por incluir la valoración de micronutrien-tes en sus programas DHS.

Para intervenciones selectas de micronutrien-tes, como el complemento y el refuerzo de la vi-tamina A y yodo, los niveles de cobertura sonmedidas “trazadoras” razonables de resultadosintermedios (conceptualmente similar a la co-bertura de la inmunización). La evaluación delos programas de complemento de hierro y pro-gramas destinados al PEM no pueden basarseen esta clase de medidas aproximadas.

Un problema que enfrentan todas las inter-venciones de salud reproductiva es demostrarque una intervención determinada es responsa-ble del cambio en la población objetivo (de he-cho, es un tema importante en este manual). Enninguna parte se hace más evidente este desafíoque en los programas de nutrición de la mujer(especialmente aquellos destinados a la PEM y ala anemia). Esto se debe, en parte, a las múlti-ples causas subyacentes de la malnutrición. Fre-cuentemente los programas no resultan en uncambio en la condición nutricional porque (1)no fijan como objetivo a las personas más nece-sitadas, (2) no fijan como objetivo las múltiplescausas (dietéticas y no dietéticas) de la malnutri-ción o (3) lo hacen en forma inapropiada.

La seguridad y disponibilidad de alimentos enel hogar, las condiciones económicas favorables,el acceso a los servicios de salud y un ambientesaludable, son todas condiciones necesarias pa-ra un adecuado insumo dietético y control deenfermedades. Lo más frecuente es que la gen-te pobre sea la que está afectada adversamentepor una disponibilidad inadecuada de alimen-tos. La naturaleza multicausal de la mala nutri-ción de las mujeres complica de manera particu-lar la atribución causal.


El énfasis en el campo de la salud internacio-nal en las deficiencias de micronutrientes es pro-bable que resulte en una disponibilidad crecien-te de datos para identificar los indicadores traza-dores de la condición de micronutrientes. Tam-bién, los avances tecnológicos en las técnicas devaloración fisiológica y bioquímica aumentaránla factibilidad de la utilización de estos enfo-ques.

93


SERVICIOS DE SALUD REPRODUCTIVA PARAADOLESCENTES

Los programas para adolescentes son relativa-mente nuevos y hasta la fecha ha habido pocaevaluación sistemática de su efectividad en paí-ses en desarrollo (Senderowitz, 1995). La evi-dencia limitada de los países en desarrollo aúndebe demostrar que los programas para adoles-centes reducen las conductas sexuales riesgosas,el embarazo y la transmisión de ETS (Kirby,1994). Aún en los EEUU, la evidencia empíricasobre la efectividad de los programas para ado-lescentes y su funcionamiento es limitada(Brown y Eisenberg, 1995).

El aumento reciente en los programas paraadolescentes coincide con una acción focalizadarenovada sobre el rendimiento de cuentas y losresultados en los círculos internacionales de sa-lud reproductiva. En la medida que estos pro-gramas continúan desarrollándose, ofreceránoportunidades para evaluar qué funciona y encuáles contextos.

Población objetivo

Los “servicios de salud reproductiva para losadolescentes” se traslapan con otros temas pre-sentados en este capítulo, puesto que puedenincluir una o más áreas (ETS/HIV, embarazo se-guro, lactancia y nutrición) además de otros ser-vicios sociales (orientación, prevención de dro-gas, capacitación laboral) y actividades recreati-vas. La característica común y determinante deeste grupo de intervenciones multifacéticas es laedad de la población objetivo; aunque el criteriode edad no es estándar para todos los progra-mas.

La adolescencia comprende etapas de transi-ción física y emocional de la niñez a la edadadulta. Fisiológicamente, la adolescencia es unperíodo de rápido crecimiento y desarrollo decaracterísticas sexuales secundarias. También esun período de turbulencia emocional durante elcual el adolescente lucha por alcanzar indepen-dencia de sus padres o tutores. Aunque estasetapas son universales, pueden ocurrir a edadesmuy distintas en las diferentes culturas. Por es-ta razón, no hay un solo criterio de edad gene-ralizable para usar en los distintos contextos.

Algunos programas, especialmente aquellosinteresados en la anticoncepción, usan el rangode 15-19 años, el cual tiene la ventaja de coinci-dir con las encuestas tipo DHS. Sin embargo,

muchos programas tratan de llegar a personasmás jóvenes, al menos con información y aclara-ción de valores, mucho antes de que lleguen aestar activos sexualmente. Por eso, el rango deedad para ciertas intervenciones puede bajarhasta incluir los 10-12 años. Debido a que losproblemas de la adolescencia suelen continuarhasta los 20 y más años, ciertos programas ex-tienden sus servicios para los jóvenes de estasedades (Stewart y Eckert, 1995).

La Organización Mundial de la Salud (OMS) hadefinido la adolescencia en dos etapas. Todaslas personas de 10 a 19 años se definen comoadolescentes. El grupo de 10 a 14 se clasificacomo "adolescencia temprana" y el de 15 a 19como "adolescencia tardía". La segunda catego-ría puede subdividirse en dos rangos de 15 a 17y de 18 a 19, si resulta apropiado para el progra-ma. La OMS sugiere también que el término "ju-ventud" puede usarse para referirse a personasde 15 a 24 años y "personas jóvenes" para todoel grupo de 10 a 24 (WHO, 1989).

Una segunda dimensión posible usada paradefinir la población objetivo de los programaspara adolescentes es la condición marital. Enmuchos países los programas para adolescenteshan evolucionado para satisfacer las necesidadesde salud reproductiva de las mujeres jóvenes nocasadas que no se sienten cómodas usando elmismo servicio de las mujeres mayores (la mayo-ría) casadas. Esta acción focalizada es particular-mente apropiada si los adolescentes llegan a es-tar sexualmente activos en edades relativamentetempranas y el matrimonio se pospone para es-tudiar o por otras razones. Sin embargo, en par-tes de Surasia y el Mediano Oriente, hay necesi-dad de centrar los servicios en las parejas jóve-nes casadas, especialmente si existen programasque ignoran las necesidades de las mujeres nulí-paras o incluso definen el ser madre como con-dición para obtener servicios de planificación fa-miliar (Mensch, 1995).

En resumen, no hay una definición estándarde adolescencia. La población objetivo usadapara evaluar las intervenciones de salud repro-ductiva para adolescentes deberían ser consis-tentes con los criterios establecidos por el pro-grama.

94



Objetivos

Los programas de salud reproductiva paraadolescentes tienen múltiples objetivos que di-fieren de un programa a otro. Por ejemplo, al-gunos están diseñados principalmente como in-tervenciones educativas para aumentar conoci-miento, crear conciencia y formar actitudes po-sitivas; no tienen un componente de servicio.Otros, tales como los servicios de salud integra-les, pueden ofrecer servicios múltiples (por ejem-plo, planificación familiar, tratamiento de ETS,orientación nutricional, protección de situacio-nes de abuso, orientación sobre drogas, etc.).Incluso otros programas pueden ofrecer uno omás servicios que no son de salud, como activi-dades de generación de ingreso, servicios lega-les, orientación laboral, actividades recreativas yotras. La evidencia anecdótica sugiere que losprogramas con una amplia gama de actividadespueden ser menos controversiales que aquellosque ofrecen solo servicios de salud reproductiva.

En resumen, no hay un objetivo único o gru-po de objetivos que sirvan para evaluar sistemá-ticamente los servicios de salud reproductiva pa-ra adolescentes. Más bien, los objetivos debenser definidos en relación a los programas especí-ficos. Además, en la medida que los servicios desalud reproductiva se ofrezcan junto con otrasactividades, la evaluación de estos programasdebería también rastrear resultados ajenos a lasalud.

Medidas a nivel de programa frente a me-didas a nivel de población

Si los servicios para adolescentes fueran tanbien desarrollados y de largo alcance como sonlos servicios anticonceptivos para las mujeresadultas en muchos países del mundo, uno espe-raría cambios en estos indicadores a nivel de po-blación como resultado de las intervenciones deprogramas. Sin embargo, la realidad es que lamayoría de los programas para adolescentes (siexisten) todavía están en pañales. Llegan a unsegmento relativamente pequeño de la pobla-ción y suelen estar limitados a la(s) principal(es)área(s) urbana(s) del país. Aunque estos progra-mas pueden tener un efecto considerable sobrelas personas que atienden, por ahora la cobertu-ra es extremadamente limitada54. Por eso, aun-que uno esperara cambios en el conocimiento,actitudes y conducta de los clientes o participan-

tes de estos programas, es improbable que losprogramas para adolescentes, en su forma ac-tual, tengan la magnitud o intensidad suficientepara afectar las medidas de la conducta a nivelde la población.

Conceptualmente, los cambios a nivel de lapoblación son la meta a largo plazo de la mayo-ría de los programas para adolescentes; sin em-bargo, la evaluación de tales programas, en tér-minos de cambios en la población, serían de uti-lidad cuestionable. De hecho, podría, incluso, iren detrimento del apoyo sostenido a estos es-fuerzos, si quienes carecen de una buena com-prensión de los aspectos técnicos, concluyeranque los programas para adolescentes "no produ-cen resultados". En muchos casos sería más pro-ductivo evaluar los servicios de salud reproducti-va para adolescentes en términos de los cambiosen conocimiento, destrezas y conductas entrelos clientes o participantes en estos programas.(Stewart y Eckert, 1995).

Factibilidad de la recolección de datos

Hasta la fecha, la mayoría de esfuerzos de re-colección de datos ha incluido entrevistas conadolescentes (en las escuelas, en los hogares, enlas clínicas, etc.), cuestionarios autoadministra-dos o “tests” (por ejemplo, pretest-postest paramedir el conocimiento ganado con una inter-vención educativa), grupos focales, observaciónen las clínicas, análisis de registros clínicos yotros métodos estándar. Se debe poner aten-ción especial a la formulación de las preguntas(para asegurarse que los conceptos clave se pre-sentan en el lenguaje informal de los adolescen-tes, más que en la terminología de la comunidadmédica). También puede requerirse una autori-zación especial, por ejemplo, para administrarun cuestionario a los adolescentes en la escuelao entrevistar un adolescente no casado en su ca-sa.

Los resultados intermedios o las medidas deconducta claves en los programas para adoles-centes (por ejemplo, edad a la primera relaciónsexual, uso de anticonceptivos en la primera yúltima relación sexual, embarazo no planeado,autoreporte de ETS, autoreporte de uso de dro-gas, etc.) puede obtenerse mediante autorepor-

95


54 Una excepción notable es el vídeo musical con Ta-tiana y Johnnie que recorrió Latinoamérica a finesde los ochenta; este podría ser llamado apropiada-mente una intervención, pero no constituyó un pro-grama en sí.

te en encuestas. Aunque existen algunas interro-gantes relacionadas con la validez de las res-puestas de adolescentes a preguntas sensi-bles55, esta información, puede recogerse me-diante entrevista directa o cuestionario autoad-ministrado.

La factibilidad de medir resultados de largoplazo varía según el área de la salud reproducti-va, como se refleja en las secciones anteriores.Por ejemplo, es relativamente fácil medir tasasde fecundidad específicas por edad o tasas defecundidad deseada entre adolescentes (si se de-finen con el rango de 15 a 19 años de edad) ba-sándose en el auto-reporte de un estudio tipoDHS. En cambio, es muy problemático medir ta-sas de mortalidad materna o prevalencia de VIHen la población adolescente. La condición nutri-cional es fácil de medir, pero es difícil atribuir elcambio a las intervenciones específicas de losprogramas.


Un primer paso importante para evaluar pro-gramas de salud reproductiva para adolescenteses desarrollar un inventario de los distintos obje-tivos comunes a todos estos programas y definirlos resultados intermedios correspondientes.Aunque puede ser posible medir el cambio a ni-vel de la población en relativamente pocos ca-sos, este inventario representaría un menú útilpara aquellos involucrados en la evaluación detales programas.

Dependiendo de los recursos disponibles, losprogramas pueden tomar una (o ambas) de dosdirecciones: (1) obtener datos descriptivos -amenudo cualitativos- sobre cómo ha funcionadoel programa y dónde deben hacerse las mejorasy (2) realizar experimentos o cuasi-experimentospara medir el grado en que una intervenciónafecta la conducta (ya sea entre los participantesdel programa o en circunstancias especiales a ni-vel de la población). El primero será importantepara proveer retroalimentación a los administra-dores sobre los cambios que pueden hacer acorto plazo y a nivel local para aumentar laaceptación de las intervenciones entre los clien-tes, los clientes potenciales y la comunidad en suconjunto. La segunda será extremadamente im-portante para demostrar a la comunidad de do-nantes y a otras partes interesadas el tipo y lamagnitud del cambio que puede ser esperadode los distintos tipos de intervenciones.

Para finalizar, la evaluación de las intervencio-nes de salud reproductiva para adolescentes to-davía está en una etapa muy temprana comopara identificar "soluciones recientes”. Más bien,lo que es prometedor es el interés creciente porevaluar sistemáticamente las intervenciones enesta área.

96


55 La evidencia anecdótica sugiere que los adoles-centes parecen estar dispuestos a discutir estos te-mas con franqueza si el entrevistador es del mismosexo y es también joven (menor de 30) (Morris,1995).

97

CAPITULO VIII

RESUMEN: LISTA DEPASOS EN EL

DISEÑO DE UNPLAN DE

EVALUACION• Definición del alcance de la evaluación (capítulo II)

• Definición del enfoque metodológico: seguimiento de programas (capítulo III)

• Definición del enfoque metodológico: valoración del impacto (capítulo IV)

• Desarrollo de un plan de implementación (capítulo V)

• Diseminación y utilización de los resultados (capítulo VI)

Este manual está diseñado para asistir a los pro-fesionales de la comunidad internacional de pla-nificación familiar y salud reproductiva para:

• Diferenciar entre los tipos principales de eva-luación de programas: el seguimiento de pro-gramas y la valoración del impacto;

• Evaluar críticamente las ventajas y desventa-jas de los métodos alternativos de valoracióndel impacto;

• Valorar y seleccionar el o los tipos de evalua-ción más apropiada para una situación deter-minada;

• Identificar los indicadores y las fuentes de da-tos apropiadas para la evaluación;

• Diseñar un plan de evaluación que indique elo los diseños de estudios, los indicadores y lasfuentes de datos que sirven como plan de ac-ción para una implementación posterior.

El manual revisa los pasos a seguir en el diseñode un plan de evaluación. Supone que la eva-luación incluirá algún tipo de seguimiento deprogramas. Si el objetivo es también valorar elimpacto, muchos de estos mismos pasos se apli-can, pero el diseño de estudio apropiado debe

identificarse e implementarse, como se indica enel Capítulo IV.

Aunque el mandato original del Proyecto EVA-LUATION fue evaluar el impacto de los progra-mas de planificación familiar sobre la fecundi-dad, el ámbito de muchos programas de plani-ficación familiar se ha extendido últimamentepara incluir otras áreas de la salud reproductiva.Por esta razón, este manual revisa una serie deasuntos metodológicos (por ejemplo, poblaciónobjetivo, medición de indicadores de resultados,factibilidad de la recolección de datos) para eva-luar programas en otras áreas de la salud repro-ductiva (Capítulo VII), a saber:

• Prevención de ETS/VIH

• Embarazo seguro

• Lactancia

• Nutrición de mujeres

• Servicios de salud reproductiva para adoles-centes

Los pasos básicos para el seguimiento de pro-gramas y la valoración del impacto pueden serresumidos en forma de lista de chequeo, comola de la siguiente página.

99

CAPITULO VIII

RE S U M E N: L I S TA D E PA S O S

E N E L D I S E Ñ O D E U N P L A N D E E VA LUA C I Ó N

Definir el alcance de la evaluación(Capítulo II)

• Determinar las metas y objetivos del progra-ma

• Describir cómo "debería" funcionar el progra-ma (modelo conceptual)

• Establecer los objetivos de la evaluación

• Indicar el alcance de la evaluación en el plande evaluación

Definir el enfoque metodológico:Seguimiento del programa(Capítulo III)

• Aclarar el propósito principal del seguimien-to

• Identificar los elementos que deben recibirseguimiento

• Definir los indicadores relevantes

• Identificar las fuentes de datos

• Diseñar un formato para la presentación delos resultados

• Resumir el enfoque metodológico

Definir el enfoque metodológico:valoración del impacto (Capítulo IV)

• Revisar los requisitos metodológicos de losenfoques "preferidos" para valorar el impactode los programas de planificación familiar:

√ Experimentos

√ Métodos de regresión multinivel

√ Cuasi-experimentos

• Valorar la factibilidad de usar uno de losenfoques preferidos

• (Si uno de los enfoques preferidos esfactible) Identificar y negociar las necesi-dades especiales de datos para la situaciónespecífica de un país

• (Si los enfoques preferidos no son factibles)Revisar los enfoques alternativos para medirel impacto:

√ Descomposición (Modelo de Determinantes Próximos)

√ Método de Prevalencia

• Determinar e implementar el diseño óptimopara las circunstancias específicas del país.

Desarrollar un plan de implementación(Capítulo V)

• Definir las instituciones e individuos respon-sables de la evaluación

• Establecer un cronograma para actividadesespecíficas

• Presupuesto para la evaluación

Diseminar y utilizar los resultados(Capítulo VI)

• Preparar la presentación de los resultadospara la audiencia correspondiente

• Destacar los resultados que tienen implica-ciones programáticas importantes

• Establecer un foro para presentar los resulta-dos

• Permanecer involucrado en el proceso

100

LISTA DE CHEQUEO DE LOS PASOS EN LA EVALUACIÓN DE UN PROGRAMA

R E F E R E N C I A S

Y

A P E N D I C E

AIDSCAP, 1995. "Application of a Behavioral Surveillance Survey Tool," AIDSCAP EvaluationTools, Module 4. Family Health International, Arlington, VA.

Angeles, G., T.A. Mroz, & D.K. Guilkey. 1995. "Purposive Program Placement and the Estima-tion of Program Effects: The Impact of Family Planning Programs in Tunisia." Paper pre-sented at the Annual Meeting of the Population Association of America, San Francisco,CA.

AVSC International. 1995. COPE: Client-Oriented Provider Efficient Services. A Process andTools for Quality Improvement in Family Planning and Other Reproductive Health Ser-vices. New York, New York.

Bauman, K., C. Viadro, & A. Tsui. 1994. "Use of True Experimental Designs for Family PlanningProgram Evaluation: Merits, Problems, and Solutions." International Family Planning Per-spectives 20(3): 108-113.

Bertrand, J.T., R.J. Magnani, & J.C. Knowles. 1994. Handbook of Indicators for Family PlanningProgram Evaluation. Chapel Hill, NC: The EVALUATION Project.

Bertrand, J.T., R. Santiso, S.H. Linder, and M.A. Pineda. 1987. "Evaluation of a CommunicationsProgram to Increase Adoption of Vasectomy in Guatemala." Studies in Family Planning18(6):361-370.

Bertrand, J.T. and A. Tsui (eds.), 1995. Indicators for Reproductive Health Program Evaluation.Chapel Hill, North Carolina: The EVALUATION Project, Carolina Population Center, Univer-sity of North Carolina at Chapel Hill.

Bogue, D.J. 1970. Family Planning Improvement through Evaluation: A Manual of Basic Prin-ciples. Community and Family Study Center, University of Chicago, Manual No. 1.

Bollen, K.A., D.K. Guilkey, & T.A. Mroz. 1995. "Binary Outcomes and Endogenous ExplanatoryVariables: Tests and Solutions with an Application to the Demand for Contraceptive Usein Tunisia." Demography 32(1):111-31.

Bollen, K.A., D. Guilkey, & T.A. Mroz. 1992. "Methods for Evaluating the Impact of Family Plan-ning Programs in Structural Models." Chapel Hill, NC: Carolina Population Center, TheEVALUATION Project.

Bongaarts, J. 1993. "The fertility impact of family planning programs," New York: PopulationCouncil, Working Paper no. 47.

Bongaarts, J. 1978. "A Framework for Analyzing the Proximate Determinants of Fertility." Popu-lation and Development Review, 4(1): 105-132.

Bongaarts, J. 1986. "The Prevalence Method." in United Nations Manual IX Addendum: TheMethodology of Measuring the Impact of Family Planning Programmes on Fertility. NewYork: Department of International Economic and Social Affairs, pp. 9-14.

Bongaarts, J. and S. Kirmeyer. 1980. "Estimating the Impact of Contraceptive Prevalence on Fer-tility: Aggregate and Age-Specific Versions of a Model." in Hermalin, A. and B. Entwisle(eds.) The Role of Surveys in the Analysis of Family Planning Programs. Liege, Belgium:Ordina Editions, pp. 381-408.

Referencias

Bongaarts, J. and R. Potter. 1983. Fertility, Biology, and Behavior: An Analysis of the ProximateDeterminants. New York: Academic Press.

Brown, S.S. and L. Eisenberg (eds). 1995. The Best Intentions: Unintended Pregnancy and theWell-being of Children and Families. Washington: National Academy Press.

Buckner, B., A.O. Tsui, K. McKaig, & A.I. Hermalin. 1995, A Guide to Methods of Family Plan-ning Evaluation: 1965-1990. Chapel Hill, North Carolina: Carolina Population Center, TheEVALUATION Project.

Campbell, D. and J. Stanley. 1963. Experimental and Quasi-Experimental Designs in Research.Boston, MA: Houghton Mifflin Co.

Casterline, J., L. Domingo, & Z. Zablan. 1988. "Trends in Fertility in the Philippines: An Integrat-ed Analysis of Four National Surveys." Manila, Philippines: University of the PhilippinesPopulation Institute.

Chamratrithirong, A., P. Prasartkul, & A. Bennett. 1986. "Multivariate Areal Analysis of the Effi-ciency of the Family Planning Programme and Its Impact on Fertility in Thailand."Bangkok: Economic and Social Commission for Asia and the Pacific, Asia PopulationStudies Series No. 68.

Chandrasekaran, C. and A. I. Hermalin. 1985. Measuring the Effects of Family Planning Pro-grams on Fertility. Dolhain, Belgium: Ordina Editions.

Cook, T. and D. Campbell. 1979. Quasi-Experimentation: Design and Analysis Issues for FieldSettings. Boston, MA: Houghton Mifflin Co.

Entwisle, B., A.I. Hermalin, P. Kamnuansilpa, & A. Chamratrithirong. 1984. "A Multilevel Modelof Family Planning Availability and Contraceptive Use in Rural Thailand." Demography21(4): 559-74.

Fisher, A., J. Laing, J. Stoeckel, & J. Townsend. 1991. Handbook for Family Planning OperationsResearch. New York: Population Council.

Fisher, A., B. Mensch, R. Miller, S. Askew, A. Jain, C. Ndeti, L. Ndhlovu, & P. Tapsoba. 1992.Guidelines and instruments for a family planning situation analysis study. New York: ThePopulation Council.

Freedman, R. and J.Y. Takeshita. 1969. Family Planning in Taiwan. Princeton, NJ: Princeton Uni-versity Press.

Garate, M.R., et. al., "Comparison between two payment models to physicians in two privatefamily planning agencies in Peru: Final report," The Population Council, Lima, Dec. 1993.

Garc¡a-Nunez, Jos‚. 1992. Improving Family Planning Evaluation: a Step-by-step Guide forManagers and Evaluators. West Hartford, Connecticut: Kumarian Press, Inc.

Gertler, P. and J. Molyneaux. 1994. "How Economic Development and Family Planning Pro-grams Combined to Reduce Indonesian Fertility." Demography, 31(1): 33-63.

Graham, W., W. Brass, & R.W. Snow. 1989. "Estimating Maternal Mortality." International Fami-ly Planning Perspectives, 20(3):125-35.

103

Referencias

Gray, R.H., H.D. Kalter, & P. Barass. 1990. The Use of Verbal Autopsy Methods to DetermineSelected Causes of Death in Children. Occasional Paper No. 10. Baltimore, MD: Institutefor International Programs, Johns Hopkins University.

Grosskurth, H., F. Mosha, J. Todd, et al. 1995. "Impact of Improved Treatment of Sexually Trans-mitted Diseases on HIV Infection in Rural Tanzania: Randomized Control Trial." Lancet:346:530-536.

Guilkey, D. and S. Cochrane. 1994. "Zimbabwe: Determinants of Contraceptive Use at theLeading Edge of Fertility Transition in Sub-Saharan Africa." Chapel Hill, NC: Carolina Pop-ulation Center.

Hanenberg, R.S., W. Rojanapithayakorn, P. Kunasol, & D.C. Sokal. 1994. "Impact of Thailand’sHIV-control Program as Indicated by the Decline of Sexually Transmitted Diseases,"Lancet, 344:243-245.

Hassig, S.E. 1995. Personal communication.

Hermalin, A. 1979. "Multivariate Areal Analysis." in United Nations Manual IX: The Methodolo-gy of Measuring the Impact of Family Planning Programmes on Fertility. New York:Department of International Economic and Social Affairs, pp. 97-111.

Hermalin, A. 1975. "Regression Analysis of Areal Data." in Chandrasekaran, C. and A. Hermalin(eds.), Measuring the Effect of Family Planning Programs on Fertility. Dolhain, Belgium:Ordina Editions, pp. 245-99.

Hermalin, A. 1982. "Some Cautions in the Use and Interpretation of Regression Analysis for theEvaluation of Family Planning Programs." in United Nations Evaluation of the Impact ofFamily Planning Programmes on Fertility: Sources of Variance. New York: Department ofInternational Economic and Social Affairs, pp. 265-67.

Jain, A. and J. Bruce, 1994. "A Reproductive Health Approach to the Objectives and Assess-ment of Family Planning Programs," in Sen, G. et al. (eds.), Population Policies Reconsid-ered: Health, Empowerment, and Rights, Boston, MA: Harvard University Press. pp. 103-209.

Janowitz, B. and J. H. Bratt. 1992. "Costs of Family Planning Services: A Critique of the Litera-ture." International Family Planning Perspectives, 18: 137-144.

Janowitz, B. and J.H. Bratt. 1994. Methods for Costing Family Planning Services, New York:UNFPA, and Research Triangle Park, NC, Family Health International.

Jolly, C. and J. Gribble. 1993. "The Proximate Determinants of Fertility." in Foote, K., K. Hill, & L.Martin (eds.) Demographic Change in Sub-Saharan Africa. Washington, DC: NationalAcademy Press.

Kalter, H.D., R.H. Gray, R.E. Black, & S.A. Gultiano. 1990. "Validation of Postmortem Interviewsto Ascertain Selected Causes of Death in Children." International Journal ofEpidemiology, 19:380-6.

Koblinsky, M., K. McLaurin, P. Russell-Brown, P. Gorbach (eds.), Final Report of the Subcommit-tee on Safe Pregnancy. 1995. Indicators for Reproductive Health Program Evaluation.Chapel Hill, North Carolina: The EVALUATION Project, Carolina Population Center, Univer-sity of North Carolina at Chapel Hill.

104

Referencias

Lloyd, C. and J. Ross. 1989. Methods for Measuring the Fertility Impact of Family Planning Pro-grams: The Experience of the Last Decade. Research Division Working Papers, No. 7. NY:The Population Council.

McInerney, M., & C. de la Quintana, "A comparative study of three strategies to improve thesustainability of a Bolivian family planning provider," The Population Council, La Paz,1994.

Mensch, B. 1995. Personal communication.

Mensch, B., A. Jain, et al. 1994. "Assessing the Impact of Family Planning Services on Contra-ceptive Use in Peru: A Case Study Linking Situation Analysis Data to the DHS." Paper pre-sented at the 1994 Annual Meeting of the Population Association of America, Miami,FL.

Mertens, T., M. Carael, P. Sato, J. Cleland, H. Ward, & G.D. Smith. 1994. "Prevention Indicatorsfor Evaluating the Progress of National AIDS Programmes." AIDS 8:1359-1369.

Miller, R., K. Miller, L. Ndhlovu, J. Solo, & O. Achola. 1996. "A Comparison of the 1995 and1989 Kenya Situation Analysis Study Findings," New York: The Population Council(unpublished manuscript).

Morris, Leo. Personal communication 1995.

Mroz, T.A., & D.K. Guilkey. 1992. "Discrete Factor Approximations for Use in SimultaneousEquation Models with Both Continuous and Discrete Endogenous Variables." Chapel Hill,NC: Carolina Population Center.

Newman, J. 1988. "A Stochastic Dynamic Model of Fertility." In Schultz, T.P. Research in Popula-tion Economics. New York: JAI Press, Inc., pp. 41-68.

Ojeda, G., R. Murad, F. Leon, "Testing pricing/payment systems to improve access and cost-recovery from NORPLANTR: Final Report," The Population Council, Lima, May, 1994.

Phillips, J.F., W.S. Stinson, S. Bhatia, M. Rahman, & J. Chakraboty. 1982. "The DemographicImpact of the Family Planning-Health Services Project in Matlab, Bangladesh." Studies inFamily Planning 13(5):131-140.

Poston, D., & B. Chu. 1987. "Socioeconomic Development, Family Planning, and Fertility inChina." Demography, 24(4): 531-51.

Reinis, K. 1992. "The Impact of Proximate Determinants of Fertility: Evaluating Bongaarts’ andHobcraft and Little’s Methods of Estimation." Population Studies, 46(2): 309-326.

Reynolds, J. 1993. Cost Analysis, Primary Health Care Management Advancement Programme,Module 8, Users Guide. Washington, DC: Aga Khan Foundation and University ResearchCorporation.

Reynolds, J. 1970. A Framework for the Design of Family Planning Program Evaluation. Interna-tional Institute for the Study of Human Reproduction: New York.

Reynolds, J. and K. Celeste Gaspari. 1985. Cost-effective Analysis. Chevy Chase: Primary HealthCare Operations Research Project (PRICOR).

105

Referencias

Robey, B., S.O. Rutstein, L. Morris, & R. Blackburn. 1992. "The reproductive revolution: newsurvey findings." Population Reports, Series M. No.11.

Rossi, P.H., & H. Freeman 1993. Evaluation: A Systematic Approach. Newbury Park, CA: SagePublications.

Rossi, P.H., J.D. Wright, & A.B. Anderson. 1983. Handbook of Survey Research. New York: Aca-demic Press.

Senderowitz, Judith, 1995. Adolescent Health: Reassessing the Passage of Adulthood. BankDiscussion Paper. World Bank, Washington, D.C.

Sherris, Jacqueline D., Kathy A. London, Sidney H. Moore, John H. Pile and Walter B. Watson,1985. "The Impact of Family Planning Programs on Fertility." Population Reports, XIII,1:J733-J771.

Stewart L. and Eckert E. (eds.), 1995, "Indicators for Adolescent Reproductive Health Services,"in Tsui, A. and J. Bertrand (eds.), Indicators for Evaluating Reproductive Health Interven-tions, The EVALUATION Project, Carolina Population Center, Chapel Hill, NC.

Suarez, E., & C. Brambila, "Cost analysis of family planning services in private family planningprograms, FEMAP, Mexico: Final Report," The Population Council, Mexico City, June1994.

Tsui, A.O. and P.D. Gorbach, forthcoming in 1996. Framing Family Planning Program Evalua-tion: Cause, Logic and Action. The EVALUATION Project, University of North Carolina atChapel Hill.

UNICEF/UNESCO/WHO/UNFPA. Facts for Life. New York, NY.

United Nations. 1982. Evaluation of the Impact of Family Planning Programmes on Fertility:Sources of Variance. New York: Department of International Economic and Social Affairs.

United Nations. 1986. Manual IX Addendum: The Methodology of Measuring the Impact ofFamily Planning Programmes on Fertility. New York: Department of International Eco-nomic and Social Affairs.

United Nations. 1979. Manual IX: The Methodology of Measuring the Impact of Family Plan-ning Programmes on Fertility. New York: Department of International Economic andSocial Affairs.

United Nations. 1985. Studies to Enhance the Evaluation of Family Planning Programmes. NewYork: Department of International Economic and Social Affairs.

USAID (United States Agency for International Development). 1995. "The Agency’s StrategicFramework and Indicators 1995/96," Performance Measurement and Evaluation Division,Center for Development Information and Evaluation, Bureau for Policy and ProgramCoordination.

Veney, J.E. and P. Gorbach, 1993. "Definitions for Program Evaluation Terms." Chapel Hill, N.C.:EVALUATION Project (Working Paper Series No. WP-TR-01).

106

Referencias

Vian, T. 1993. "Analyzing Costs for Management Decisions," Family Planning Manager 2(2):1-18.

Wawer, M.J., R.H. Gray, T.C. Quinn, N.K. Sewankambo, F. Wabwire-Mangen, D. Serwadda, L.Paxton, 1995. "Design and Feasibility of Population-based Mass STD Treatment, RuralRakai District, Uganda." Paper presented at the 1995 Annual Meeting of the Internation-al Society for STD Research, New Orleans, LA, August 1995.

Wishik, S.M., & K.H. Chen. 1973. Couple-year of Protection: a Measure of Family Planning Pro-gram Output. International Institute for the Study of Human Reproduction: New York.

Woodhouse, G. 1995. A Guide to MLn for New Users. London: University of London, Instituteof Education.

World Health Organization, 1989. Contribution to the Working Paper of UNESCO. Compiledfor the World Youth Congress, Barcelona.

World Health Organization. 1993. Indicators to Monitor Maternal Health Goals. Report of aTechnical Working Group, Geneva, Nov. 8-12: 1993.

107

Referencias

Apéndice A

Modelo básico de corte transversal:

El modelo básico de regresión multinivel de corte transversal se puede representar así:

Yij= α + β Pi + Γ Zi + γ Xij + δ Pi Xij + ζ Zi Xij + µi + εij

Donde:

Yij = la variable de resultado que interesa, medida a nivel del individuo (i.e., para el indi-viduo j en la comunidad i). Ejemplos: probabilidad de concepción en los últimostres años, uso actual de anticonceptivos;

Pi = variables que miden el vigor del programa en la comunidad i;

Zi = otros determinantes a nivel de la comunidad;

Xij = determinantes a nivel del individuo u hogar;

mi = factores no observados a nivel de la comunidad (conocida también como "hetero-geneidad no observada")

eij = factores no observados a nivel del individuo; y

α, β, Γ, γ, δ, ζ = parámetros a estimar.

Para fines de evaluación, los parámetros claves de la regresión son los coeficientes de las varia-bles del programa β y δ. Los coeficientes b miden la magnitud de los efectos directos del pro-grama, mientras que d mide la importancia relativa de las interacciones entre las variables delprograma (a nivel comunitario) y las variables del individuo u hogar.

Modelo multi-ecuacional de efectos aleatorios:

Pi = α + β Zi + λµi + εij (Ecuación de ubicación del programa)

Yij = α + η Pi + Γ Zi + γ Xij + θ µi + εij (Ecuación de resultado)

donde:

Pi = variables que miden el vigor del programa en la comunidad i;

Zi = otros determinantes a nivel de la comunidad;

Yij = la variable de resultado que interesa, medida a nivel del individuo (i.e., para el indi-viduo j en la comunidad i). Ejemplos: probabilidad de concepción en los últimos tresaños, uso actual de anticonceptivos;

Xij = determinantes a nivel del individuo u hogar;

µi = factores no observados a nivel de la comunidad (conocida también como "hetero-geneidad no observada")

εij = factores no observados a nivel del individuo; y

α, β, Γ, η, θ, γ, λ = parámetros a estimar.

[Nota: se han omitido de la ecuación todos los términos de interacción para simplificar la pre-sentación]

EL MODELO MULTINIVEL EN FORMATO DE REGRESIÓN

Modelo de panel de efectos fijos:

Las ecuaciones de corte transversal para dos rondas de encuestas pueden escribirse de la si-guiente manera (todos los términos de interacción para simplificar la presentación):

Yij1= α + β Pi1 + Γ Zi1 + γ Xij1 + µi1 + εij1, y

Yij2= α + β Pi2 + Γ Zi2 + γ Xij2 + µi2 + εij2, y

Donde:

Yij = la variable de resultado, cambiante en el tiempo;

Pi = variables del programa, cambiantes en el tiempo;

Zi = características comunitarias, cambiantes en el tiempo;

Xij = características del individuo, cambiantes en el tiempo;

µi = características comunitarias no observadas, fijas en el tiempo;

εij = error aleatorio; y

los "1s" y "2s" se refieren a las rondas de la encuesta; y

α, β, Γ, γ = parámetros a estimar.

Por diferencia entre las dos ecuaciones obtenemos:

Yij2 - Yij1 = α + θ (Pi2 - Pi1) + ξ (Zi2 - Zi1)+ φ (Xij2 - Xij1)+ (eij2 - eij1)

En razón de que los parámetros fijos son invariantes en el periodo estudiado, se anulan mutua-mente en la ecuación de diferencia. El parámetro "f" es el de mayor interés para propósitos dela evaluación. Este mide el aporte relativo de los cambios en las variables programáticas a loscambios observados en la variable de resultado durante el periodo estudiado56 .

56 Nótese que cuando el panel multinivel se aplica a encuestas sucesivas en los mismos conglomeradosmuestrales, los cambios a nivel individual son parte de cambios agregados a nivel comunitario.

109

Apéndice

Documents

EVALUACIÓN DE PROGRAMAS DE PLANIFICACIÓN FAMILIAR · agradecidos con nuestros colegas de la USAID y la familia de programas de planificación familiar en Brasil, Ecuador, Honduras,