Embed Size (px)
Citation preview
División de Competitividad e
Innovación
“Evaluación de Impacto de Políticas de
CTI: Mas allá del efecto tratamiento
promedio
Gustavo Crespi, Alessandro Maffioli,
Lucas Figal, Rodolfo Stucchi
Evaluación de Impacto en CTI Por qué importa la evaluación de impacto?:
– Rendición de cuentas ante la sociedad (los tax payers).
– Como una guía para la asignación de los recursos fiscales.
– Como un instrumento para el aprendizaje de políticas:
• Por ejemplo: Las políticas de CTI debe verse como un concepto evolutivo
pasando desde una fase inicial neutral (la fase infantil) hacia una fase mas
selectiva (policy learning) (Teubal).
– Este último concepto es por demás relevante si se tiene en cuenta que
la implementación de la política se ha de llevar a cabo en presencia de
mercados incompletos, externalidades y otras fallas de mercado.
Evaluación de Impacto en CTI La mayoría de las evaluaciones de impacto llevadas a cabo hasta la
fecha, se basan en estimar un modelo como el siguiente:
Donde Tijt es el “tratamiento = subvención”.
En este modelo comparamos los resultados de las empresas
beneficiarias con empresas de control similares (Xs) y seguimos
ambos grupos a lo largo del tiempo.
Si δ >0 el programa se dice que “funciona”.
Esto es lo normalmente se hace y en general los resultados
muestran que los programas funcionan.
Mas de 15 programas evaluados por el BID muestran que la
inversion se las empresas sube y la productividad tambien….Pero
Esto nos dice bastante poco sobre cómo hacer para que funcionen
mejor?
ijtijtijtiijt XTY
Evaluación de Impacto en CTI Pero esto nos dice bastante poco sobre cómo hacer para que
funcionen mejor?
Uno quisiera estimar en su lugar un modelo como:
Donde ahora el efecto tratamiento δjt según ciertas características
del sector o a lo largo del tiempo.
Es mas uno quisiera expandir el modelo mirando si hay efectos en
mi empresa como resultados de los grants en OTRAS empresas
(externalidades).
En este caso δs captura la existencia de externalidades.
ijtijtijtjtiijt XTY
ijtijtjt
S
jtijtjtiijt XTTY
Evaluación de Impacto en CTI Con datos de los programas de INNOVA-CORFO y FONDEF-
CONICYT estamos tratando de responder las siguientes preguntas:
(I) Cual es el efecto de los programas a lo largo del tiempo?
(II) Como varia el impacto de los programas según el grado de
competencia que exista en un determinado sector?
(III) Como debo asignar los recursos del programa dentro de un sector?
Privilegiando al competencia o bien focalizando en “campeones”.
(IV) Existe un grado optimo de subsidio a la innovación para maximizar
impacto?
(v) Existen evidencias de externalidades?
(vi) Se complementa la política de innovación con otras políticas?
Evaluación de Impacto en CTI:
Heterogeneidad Temporal Sobre el efecto del programa a lo largo del tiempo:
-.0
5
0
.05
.1.1
5
-4 -3 -2 -1 0 1 2 3 4 5 6 7time to treatment
LN employment lemp_inf
lemp_sup
Time Relative to Adoption - Employment
-.0
5
0
.05
.1.1
5
-4 -3 -2 -1 0 1 2 3 4 5 6 7time to treatment
Exporter export_inf
export_sup
Time Relative to Adoption - Exporter
-.1
0.1
.2.3
-4 -3 -2 -1 0 1 2 3 4 5 6 7time to treatment
LN Labor Productivity lql_inf
lql_sup
Time Relative to Adoption - Labor Productivity
-.0
5
0
.05
.1
-4 -3 -2 -1 0 1 2 3 4 5 6 7time to treatment
Ln TFP tfp_inf
tfp_sup
Time Relative to Adoption - TFP
Evaluación de Impacto en CTI:
Heterogeneidad y Competencia
Existen muchos estudios sobre la relación entre innovación y
competencia.
Sugieren que para ciertos rangos de competencia los efectos son
positivos sobre el esfuerzo de innovación.
Hay menos evidencia sobre la complementariedad entre políticas
de innovación y competencia.
Aghion (et.al) sugiere que las políticas de innovación deberían ser
efectivas cuando las empresas realmente quieren innovar y esto
ocurre cuando las empresas quieren “escapar de la competencia”.
Si es así, deberíamos encontrar mayores efectos en sectores
competitivos.
Evaluación de Impacto en CTI:
Heterogeneidad y Competencia Sobre el efecto del programa según el grado de competencia que
exista en el sector:
-.0
5
0
.05
.1
Ave
rga
te T
rea
tme
nt
Eff
ect
on
Tre
ate
d
1 2 3 4 5 6Competition based on the Lerner Index: 1 - Low to 5 - High based on quartiles
Treatment Effects and Competition
Evaluación de Impacto en CTI:
Heterogeneidad en la asignación.
Relacionado a al tema de competencia, la forma en como uno
asigna las ayudas puede favorecer o bloquear la competencia.
Por ejemplo uno puede concentrar las ayudas en un campeón y
hacerlo global (puede acumular conocimiento, escala, etc), pero
puede distorsionar la competencia.
Por otro lado uno puede asignar las ayudas en forma privilegiar la
diversidad, lo cual estimula la competencia.
Evaluación de Impacto en CTI:
Heterogeneidad en la asignación
Debo promover al campeón? O mejor debo privilegiar la diversidad?
0
.01
.02
.03
.04
Averg
ate
Tre
atm
en
t E
ffect on
Tre
ate
d
Disbursement based on Herfindhal
Treatment Effects vs. disbursements
mean of Champion mean of Diversity
Evaluación de Impacto en CTI:
Heterogeneidad en las Dosis Cuando debo subsidiar? Es importante esto?
Normalmente los programas de ayuda cofinancian una fracción de;
esfuerzo de innovación.
El financiamiento público es importante para reducir los problemas
de liquidez y riesgo.
Pero la idea del cofinanciamiento, es evitar problemas de riesgo
moral. Es decir si alguien quiere capturar mas subsidio, tiene que
cofinanciar mas. El cofinanciamiento garantiza el esfuerzo del
beneficiario. Pero si el cofinanciamiento es excesivo, pueden haber
desvíos en el esfuerzo.
Por otro lado si el efecto del financiamiento es el “certificado que da
el proyecto” (efecto señal), entonces el hecho de “aprobar” el
proyecto es mas importante que la subvención en si mismo y la
subvención debería ser “0”.
Evaluación de Impacto en CTI:
Heterogeneidad en las Dosis
Cuando debo subsidiar? Es importante esto?
-.0
2
0
.02
.04
.06
Ave
rga
te T
rea
tme
nt
Eff
ect
on
Tre
ate
d
0 .2 .4 .6dosis
Disbursement based on Herfindhal
Treatment Effects vs. % of grant
Evaluación de Impacto en CTI: Externalidades Generan externalidades estos programas? Cual programa genera
mas externalidades?
Los programas de apoyo a la innovación se justifican en base a la
existencia de externalidades. Sin embargo, muy pocas veces se
evalúan estas externalidades.
En el caso de Chile hay dos programas: (a) Innova que apoya a
empresas individuales y (b) FONDEF que apoya la colaboración
entre universidad y empresa.
En principio uno debería esperar que el conocimiento generado
bajo (b) sea de una naturaleza mas genérica, menos apropiable y
por ende mas propenso a generar externalidades que el
conocimiento bajo (a).
Evaluación de Impacto en CTI: Externalidades Usando el concepto de externalidad por proximidad geográfica en el
caso de Chile, encontramos que esto es efectivamente el caso.
-0.1
-0.05
0
0.05
0.1
0.15
0.2
Cualquier programa FONTEC FONDEF
Evaluación de Impacto en CTI:
Multitratamientos
1. No existe un único programa de innovación.
2. Hay múltiples instrumentos: Créditos Tributarios,
Subsidios, Extensión, etc.
3. Las empresas pueden postular a mas de un instrumento
e inclusive varias veces al mismo instrumento.
4. Supongamos que hay dos programas Créditos Tributarios
y Subsidios.
5. Hay cuatro tratamientos:
1. Los que no usan instrumentos (0).
2. Los que usan créditos tributarios solamente (1)
3. Los que usan subsidios solamente (2)
4. Los que usan subsidios y créditos tributarios (3).
Evaluación de Impacto en CTI:
Multitratamientos
5. Posibilidad de explorar sinergias y complementariedades
entre instrumentos.
6. Se aplica también a la interacción entre políticas de
desarrollo productivo en general y no solamente a
políticas de innovación!!!
7. Hay que hacer todos estos ejercicios para cada una de
las distintas sub-muestras:
1. Crédito vs Control (1-0)
2. Subsidios vs Control (2-0)
3. Crédito y Subsidios vs Control (3-0)
4. Crédito vs Subsidio (3-2)
5. Subsidio vs Crédito (3-1)
Evaluación de Impacto en CTI:
Multitratamientos
Un espacio importante de políticas son las complementariedades
entre políticas de innovación y “otras” políticas.
En el caso de Chile, miramos si existen estas complementariedades
entre las políticas de innovación y las políticas de promoción a las
exportaciones. Por que?
Las políticas de promoción a las exportaciones corrigen la falla de
mercado que se origina en las externalidades de búsqueda. Es
decir cuando las empresas exploran un mercado y experimentan
generan información para otras empresas que pueden hacer lo
mismo sin los costos de experimentar.
De la misma forma las políticas de promoción de la innovación
corrigen las externalidades del conocimiento.
Evaluación de Impacto en CTI:
Multitratamientos CTI
Si ambas fallas de mercado están presentes al momento de
exportar, entonces apoyar a las empresas con solamente un tipo de
instrumento puede no ser suficiente.
Sin embargo, al momento de plantear múltiples tratamientos
aparece otro problema, que es el de la secuencia. Es decir:
Uno puede entregar los dos tratamiento en forma simultanea, o bien
se puede entregar primero innovación y luego promoción de
exportaciones o bien al revés.
En Chile juntamos los datos de INNOVA con los de PROCHILE
para ver si existe complementariedad y si la secuencia importa.
Evaluación de Impacto en CTI:
Multitratamientos•
Complementarity between PROCHILE and FONTEC-
INNOVA/FONDEF, 2002-2010
Innovation Promotion
t t-1 t-2
Ex
po
rt P
rom
oti
on
t -0.056 0.190* -0.114
(0.704) (0.062) (0.848)
t-1 -0.025
(0.630)
t-2 -0.036
(0.732)
La importancia de la recolección de datos
El modelo de la ANII-Uruguay
VI. Consideraciones Finales
(i)Es posible llevar a cabo evaluaciones de impacto usando
datos no experimentales. Es importante establecer los
sistemas de recolección de información desde el comienzo del
programa y la cooperación institucional para ello (oficinas de
estadística, cajas de protección social, etc) Ej:GAO.
(ii)La clave de la evaluación es la selección del grupo de
control que sirve de contra-factual. Este grupo da la línea base
de lo que le hubiera ocurrido a las participantes sin el
programa. Para chequear este supuesto debemos revisar la
trayectoria de los dos grupos antes de la participación en el
programa Ej: MEP usa 1982-1987-2002.
(iii) Otra sugerencia para un buen grupo de control es usar los
postulantes no beneficiados (Ej: Fase I y Fase II del SBIR).
(iv) El método de Diferencia en Diferencia es bastante robusto
VI. Consideraciones Finales
(v) Los métodos asumen que las empresas de control no son
afectadas por el programa (ej: no hay spillovers de los
participantes a los no participantes, ni perdidas de mercado por
parte de los no participantes). Lo primero subestima el
impacto, lo segundo lo sobre-estima. El control por spillovers
es tal vez una de las aéreas donde esta la frontera de la
investigación en este campo.
(vi) Los retornos de los proyectos de innovación tienen una
distribución muy sesgada (pocos grandes éxitos). Por ende las
tasas de retorno estimadas con los métodos anteriores
entregan “promedios”, pero tal vez este no es el parámetro de
interés. Además los resultados por naturaleza tienden a ser
muy imprecisos.
(vii) Finalmente las evaluaciones mencionadas indican el
efecto del programa sobre los beneficiarios de este programa,
