Planificación Monitoreo Digitación Documentación Costos · PDF file- Costo (encontrar al encuestado/costos de transporte) ... B. Organización del trabajo de campo (tiempos en terreno,

Monitoreo Digitación Costos Planificación Documentación


2

Agenda


Levantamiento de datos

3

Nicole Carpentier

B.A., Universidad de Chile

Analista de Investigación, J-PAL LAC

[email protected]

mailto:[email protected]


Fuente: Groove et al 2004, mostrado en

Casas Cordero 2004


5

Después de esta sesión, los participantes

serán capaces de:

1. Conocer las principales etapas de la planificación

del proceso de recolección, monitoreo y digitación

de datos.

2. Comprender la relevancia de la documentación del

proceso.

3. Conocer parámetros clave de una evaluación de

impacto.

Objetivos


Importance

1. Planificación del levantamiento de datos

2. Monitoreo del levantamiento de datos

3. Digitación

4. Documentación

5. Costos de una evaluación de impacto

Índice

6

How to Components Example What it is Big picture


1. Planificación del levantamiento de datos


¿Cuáles son amenazas a la calidad desde la recolección de datos?

A. Encuestador revela dos categorías de respuesta en vez de cuatro.

B. 50% de los apoderados acceden a contestar

C. No se logra llevar a cabo la aplicación del cuestionario de estudiantes en una escuela debido al paro de profesores.

D. Todas las anteriores

A. B. C. D.

20%

78%

0%2%


Planificación del levantamiento de datos

Posibles amenazas a la calidad desde la

implementación:

Los equipos de levantamiento de datos violan los

protocolos de aplicación (procesos heterogéneos,

falsificación).

No se logra encuestar a toda la muestra en el

periodo de levantamiento.

Eventos exógenos imprevistos.



Definir modos de aplicación:

Cara a cara: el entrevistado y el encuestador están

físicamente presentes durante la entrevista.

Telefónica: la entrevista es conducida por un encuestador

mediante un aparato telefónico.

Auto-administrada (en papel o vía web): se le envía el

cuestionario al encuestado, y este lo completa sin

acompañamiento.


¿En general, cuál de los siguientes modos de aplicación es el más caro?

A. Cara a cara

B. Telefónica

C. Auto-administrada

A. B. C.

98%

0%2%


VENTAJAS DESVENTAJAS

CARA A CARA

- Costo (encontrar al encuestado/costos de

transporte)

- Mayor tasa de respuesta / Menor tasa de

preguntas omitidas

- Mayor tiempo de aplicación

- Asistencia al entrevistado en respuestas

que no se entienden fácilmente - Privacidad

- Efecto encuestador

TELEFÓNICA

- Cobertura de la muestra

- Asistencia al entrevistado en respuestas

que no se entienden fácilmente (menor

que en cara a cara)

- Menores tasas de respuesta (mayor

desconfianza?)

- Menor profundidad

- Menos costosa y más rápida que cara a

cara

- Efecto encuestador (menor que en cara a

cara)

- Encuestados suelen responder con más

frecuencia la última alternativa

AUTO-

ADMINISTRADA

- El encuestado tiene el tiempo necesario

para responder de manera reflexiva - Cuestionario debe ser auto contenido

- Menos sesgo hacia comportamientos

socialmente aceptados en temas sensibles

- Menores tasas de respuesta/mayor tasa de

preguntas omitidas

- Menos costosa

- No hay efecto encuestador - Velocidad de aplicación depende del servidor

(WEB)

- Sistema interactivo de asistencia,

disminuyendo no respuesta (WEB) - Confidencialidad y seguridad de datos (WEB)

- Mejor manejo de saltos (WEB) - Cobertura depende de acceso a internet (WEB)

- Ahorro en digitación de datos (WEB) - Altos costos de programación y diseño (WEB)


Modos de aplicación: ¿cómo decidir? Conceptos a medir

Población de interés

Información de contacto

Restricciones de tiempo

Tamaño y alcance de la muestra

Dispersión de la muestra

No respuesta

Instrumento

Costo



Ejemplo: Programa de Involucramiento Parental:

2 cohortes, 62 escuelas en 5 comunas, 20.000

estudiantes

3 años (LB, SEG I, SEG II)

Encuesta a estudiantes (mezcla

autoadministrada / cara a cara), encuesta a

apoderados (auto-administrada) y encuesta a

profesores (auto-administrada)




Etapas de la planificación del proceso de

recolección:

A. Preparación instrumentos y aprobación

cuestionarios Comité de Ética.

B. Organización del trabajo de campo (tiempos en

terreno, tamaño equipo encuestador, logística,

imprenta).

C. Selección y capacitación del equipo de campo.

D. Supervisión y control (monitoreo) del trabajo de

campo durante el levantamiento.



A. Preparación instrumentos y aprobación

cuestionarios Comité de Ética.

Ver clases de Ética y Diseño de Instrumentos.

B. Organización del trabajo de campo:

i. Tiempo total disponible para el trabajo de campo

(contexto evaluación, contexto escuelas).

ii. Planificación escuelas.

iii. Número de encuestadores necesario.

iv. Qué equipo visitará cada punto de muestreo y

cuándo, cuántas veces vuelve.



A. Preparación instrumentos y aprobación cuestionarios Comité de Ética.

Ver clases de Ética y Diseño de Instrumentos.

B. Organización del trabajo de campo (continuación):

i. Restricciones externas (i.e. horarios de la escuela,

fuera de horario de trabajo, vacaciones).

ii. Contexto / Seguridad de personas y datos.

i. Protocolo de seguridad de personas (registro encuestadores

en terreno, explicación de riesgos, tarjeta individual, carta de

compromiso, acuerdo de confidencialidad)

ii. Estándares de seguridad de datos (encuestas con información

identificable removible, almacenamiento seguro)



C. Selección y capacitación del equipo de campo

i. Definición del perfil del encuestador

ii. Convocatoria según el contexto (universidades, centros

de formación técnica, etc).

iii. Pre-selección.

iv. Características relevantes del encuestador:

Habilidades interpersonales

Habilidades de organización (orden por ejemplo)

Experiencia en encuestaje, si no, dar ejemplos de posibles errores

en la práctica (qué hacer si estudiante no quiere responder

cuestionario por ejemplo).

Afinidad con el estudio.



C. Selección y capacitación del equipo de campo (continuación).

v. Capacitación:

Teórica

Práctica

Más es siempre preferido a menos.

vi. Selección de los encuestadores

vii. Feedback.

D. Supervisión y control (monitoreo) del trabajo de campo durante el levantamiento. Ver sección siguiente.


2. Monitoreo del levantamiento de datos


Monitoreo del levantamiento de datos

Procesos de revisión de cumplimiento de estándares de calidad

durante el proceso de recolección de datos en terreno.

Nos permite:

Detectar amenazas a la calidad a tiempo y reaccionar

• Falsificación de datos

• Desempeño del encuestador en relación al cuestionario

• Desempeño del encuestador en relación al procedimiento de aplicación

• Errores en el cuestionario

Información sobre la calidad de los datos para su interpretación

en el análisis

No se aplica a encuestas auto-administradas: la calidad de los

datos se juega en el diseño del cuestionario!



Etapas del monitoreo de levantamiento de datos

a. Monitoreo del proceso de recolección en tiempo real

b. Acompañamiento en la aplicación (en un % aleatorio de la muestra, para detectar fallas en la aplicación).

Telefónica: grabación de entrevistas para detectar errores.

Auto-administrada en escuelas: observación de la aplicación en algunos cursos (pauta de observación estandarizada).

Poner atención en la entrega de la pregunta, en la forma de preguntar, en el feedback que le da al encuestado y en el ritmo y la claridad.

Nos permite monitorear desempeño del encuestador con respecto a la entrevista y al protocolo de aplicación, y detectar errores en el cuestionario.



c. Escrutinio (revisión minuciosa) del material recepcionado para detectar posibles errores en la aplicación del cuestionario. Permite monitorear el desempeño del encuestador en relación al

cuestionario (registro de respuestas en encuestas cara a cara y entrega de la pregunta y registro de respuesta en encuestas telefónicas)

d. Re-muestreo o Backcheck Preguntas estables, que no debiesen cambiar, un tiempo corto después del

primer encuestaje

Permite detectar falsificación o falta de precisión en preguntas

En algunos casos (escrutinio 100%) permite corregir preguntas con error

Se recomienda someter al menos el 10% de las encuestas a procedimiento de escrutinio y backcheck.

No se aplica a encuestas auto-administradas: la calidad de los datos se juega en el diseño del cuestionario!


Ejemplo 1: escrutinio encuesta telefónica

506 encuestas de 10269 (4.9%)

Errores de formulación: el telefonista hizo alguna modificación

sustancial de la pregunta al momento de realizarla?

Errores de digitación: incoherencias entre lo que contestó el

apoderado y lo que registró el telefonista

Se calificaron los errores de formulación y digitación según

gravedad







Pregunta en que el encuestador registra mal la respuesta. Se puede intentar corregir.

Pregunta mal preguntada (cambio en categorías de respuesta). Problema grave.

El escrutinio permitió identificar y cambiar a encuestadores que sistemáticamente cometían errores, a pesar de feedback.




Ejemplo 2: escrutinio encuesta cara a cara

Revisión sistemática de las respuestas registradas en

las encuestas de seguimiento del proyecto.

Coherencia intra-pregunta: consiste en revisar que cada

pregunta individualmente haya sido contestada de manera

adecuada.

Coherencia inter-preguntas: corresponde al chequeo de la

consistencia entre respuestas a distintas preguntas.

Saltos: consiste en chequear que no se hayan cometido errores

al pasar de una sección a otra de la encuesta.



Ejemplo 2: escrutinio encuesta cara a cara

Se revisaron todas las encuestas (alrededor de 660

encuestas), y se registraron los errores para cada

pregunta.

Esta información se utilizó para monitorear la tasa de

error por pregunta para cada encuestador , y así poder

reaccionar ante tasas elevadas (tasa de error de 0.5%

parece razonable).


Ejemplo 3: Backcheck encuesta cara a cara

Chequeo de respuestas con el entrevistado mediante un llamado telefónico. Comprobar que las respuestas registradas efectivamente

corresponden a las del entrevistado (falsificación)

Corregir los errores encontrados en el escrutinio.

Se volvió a contactar a todos los encuestados para chequear que coincidieran las respuestas para un pequeño subgrupo de preguntas. En alrededor de un 10% de las encuestas se encontró algún tipo

de error.

Aquellas preguntas donde se encontraron errores e inconsistencias en el escrutinio eran formuladas nuevamente y las respuestas corregidas.




Fuente: Biemer y Lyberg, 2003.


3. Digitación



c. Escrutinio (revisión minuciosa) del material recepcionado para detectar posibles errores en la aplicación del cuestionario. Permite monitorear el desempeño del encuestador en relación al

cuestionario (registro de respuestas en encuestas cara a cara y entrega de la pregunta y registro de respuesta en encuestas telefónicas)

d. Re-muestreo o Backcheck Preguntas estables, que no debiesen cambiar, un tiempo corto después del

primer encuestaje

Permite detectar falsificación o falta de precisión en preguntas

En algunos casos (escrutinio 100%) permite corregir preguntas con error

Se recomienda someter al menos el 10% de las encuestas a procedimiento de escrutinio y backcheck.

No se aplica a encuestas auto-administradas: la calidad de los datos se juega en el diseño del cuestionario!



Digitación

Consiste en una captura de las respuestas

de los encuestados en los cuestionarios.

Objetivo: Minimizar tasa de error (número

de errores/número de campos de entrada),

minimizar ruido La tasa de error aceptada debe consensuarse con los

académicos de los proyectos (menor a 0,5%

razonable).


Digitación

Factores clave Sistema de captura de datos digital o manual (ojo con

características del cuestionario)

Doble digitación y revisión de discrepancias

Auditoría 10%

Sistema de pagos

• Fijo por hora vs por cuestionario

• Con premio/castigo


Digitación

Cómo pagar? Esquema de incentivos, bonos y castigos.

Buscamos rapidez, pero no nos sirve trabajo mal

hecho.


Digitación

Cómo pagar?

Cada vez se demoran menos, y lo hacen mejor.

Ojo con el techo ($20.000 al día?)

0

1

2

3

4

5

6

7

8

9

1 2 3 4 5

Minutos por cuestionario

0

4.000

8.000

12.000

16.000

20.000

1 2 3 4 5

Pago promedio

0

0,5

1

1,5

2

2,5

1 2 3 4 5

Errores promedio por curso


Digitación

Externalizar el proceso? Criterios a considerar:

• Costos

• Calidad, experiencia, tecnología y resultados de las empresas que ofrecen el servicio

• Tiempo

• Tamaño del proyecto

• Complejidad de la encuesta

A favor: (1) experiencia de las empresas en el mercado (economías de escala), (2) ahorro en logística (equipamiento, operaciones, infraestructura)

En contra: (1) menor control, (2) menor flexibilidad


Términos de referencia para la digitación

Digitar 10% de los cuestionarios para realizar auditoría y elaborar reglas de negocio (aprendizaje sobre errores tipo).

Entregar base de datos con nombre de variable, rangos y etiquetas de valores.

Garantizar la participación en la capacitación.

Garantizar la supervisión del proceso de digitación.

Definir multas en relación al no cumplimiento de la tasa de error, al tiempo de entrega de las bases y la pérdida de instrumentos .

Pedir bases encriptadas si contienen información identificable.

Checklist para TdRs de digitación


Pretest y Pilotaje

Protocolo de confidencialidad de datos

Tasa de respuesta requerida y plan de recuperación

Capacitación exhaustiva de los encuestadores

Protocolo de monitoreo (tasa de error razonable 0.5%)

Digitación: doble digitación (tasa de error razonable 0.5%) y re-digitación

Checklist Estándares de Calidad en Levantamiento


4. Documentación


Documentación

¿Por qué cambiamos la pregunta de la línea de base?


Documentación

El proceso de levantamiento de datos

dura al menos dos años, en los que

cambian el analista de datos y el

coordinador de campo al menos una vez:

¿cuál el la probabilidad de que recuerden

de los cambios realizados a los

cuestionarios y las decisiones tomadas

durante el proceso?


Documentación

Objetivos:

Comunicar proceso, procedimientos y resultados

Insumo para la interpretación de los datos

Acumular experiencia y conocimiento en

levantamiento de datos para otros proyectos

Disponible en distintos formatos para

usuarios de los datos y equipo organización

(productores de evaluación)


Documentación

Puede tomar distintas formas:

Documentación de los procesos

administrativos del levantamiento de datos

Documentación de estándares de calidad

Reportes de calidad

Bitácora del proyecto (toma de decisiones)


Documentación

La documentación es una actividad permanente,

que comienza mucho antes de recoger los

datos.

Alguien debe ser responsable


5. Costos


Costos

48

Costos del levantamiento de datos según modo

de aplicación

Depende del largo de la encuesta, de la dispersión de la

muestra, del tamaño del proceso y otros…

Auto-administrada: $2.500 pesos por encuesta

Telefónica: $3.000 por encuesta

Cara a cara: Entre $10.000 (1 región, encuesta de 20 minutos) y

$22.000 (todas las regiones, encuesta de 1 hora) por encuesta

En general más caro externalizar.


Costos

49

Costos de Investigación (Trabajo Técnico)

•Salarios Investigadores

•Vistas a Campo

•Costos Administrativos

Costos de Implementación/ Trabajo de Campo

• Pre-test/Piloto

• Capacitación

• Salarios

• Materiales: Impresiones, Mapas, Comunicación

• Transporte , Seguros

• Monitoreo

• Digitación


Costos

50

• Equipos de Trabajo de Campo: Subcontratado vs interno

• Duración: Tiempo total de diseño, implementación, y análisis

• Fases: Cantidad de levantamientos de datos

• Instrumentos

• Contexto Local: Seguros, impuestos, idioma

Parámetros de costos de

Investigación

• Fuentes de Datos e Instrumentos : Fuentes de datos (terreno vs. administrativos)

• Modo de aplicación : Cara a cara, telefónica o auto-administrada?

• Tamaño de Muestra: La cantidad de unidades en la muestra, las muestras más grandes son más caras de medir.

• Unidad de Muestra: La unidad de muestra (por ejemplo: nivel individual, clúster)

• Dispersión de Muestra: Las distancias entre unidades de medición.

Parámetros de costos

Implementación


Costos

51

Ejemplo 1:

Chile Programa de Involucramiento Parental

Equipo de trabajo: Interno

Duración: 3 Años

Fases: 3

Fuentes de Datos: Terreno,

Administrativos

Instrumentos: Pruebas de

Lenguaje, cuestionario,

prueba de competencias

Tamaño de Muestra: 64

Escuelas

Unidad de Muestra: Clúster

(Escuela)


Costos

52

Ejemplo 2: México Programa de Garantía

Tecnológica

Comunicación $10,240

Equipo de trabajo: Interno y

sub-contratado

Duración: 1,5 Año

Fases: 4

Fuentes de Datos: Terreno

Instrumentos: Encuestas,

pruebas de tierra.

Tamaño de Muestra: 1000

agricultores

Unidad de Muestra: Individual

Equipo y Material $56,728

Campo $ 196,597

Salarios $174,540

Costos Administrativos

$58,662

Imprevistos $13,143


Costos

53

Chile México

Total: 256 342 USD Total: 509 910 USD

Diferencias Importantes: Equipo de Trabajo: Interno vs. Interno/Subcontratado,

Datos: Administrativo y Terreno vs Terreno

Duración: 3 vs 1.5 Años,

Fases 3 vs 4 Etapas,

Tamaño Muestra: 64 (clúster) vs 1000


Costos

54

Checklist de Consideraciones y Buenas Prácticas de Diseño de Presupuestos.

Evaluación- Intervención: Analizar la relación entre la evaluación e intervención y posibilidad de levantar datos de evaluación al intervenir

Etapas: Conformar el presupuesto de evaluación por etapa, considerar necesidad de cada etapa, particularmente línea base.

Monitoreo: Cuando el trabajo de campo es subcontratado, agregue un presupuesto para monitoreo independiente dentro del presupuesto de evaluación.

Escenarios: Conforme varios escenarios presupuestarios- considere potenciales cambios en la evaluación, estructuras de trabajo de campo, etapas.

Imprevistos: Incluya entre 5-2% del presupuesto total como un presupuesto para imprevistos.


¡Gracias!

55

Nicole Carpentier

B.A., Universidad de Chile

Analista de Investigación, J-PAL LAC

[email protected]

mailto:[email protected]

Documents

Planificación Monitoreo Digitación Documentación Costos · PDF file- Costo (encontrar al encuestado/costos de transporte) ... B. Organización del trabajo de campo (tiempos en terreno,