XVI ASAMBLEA GENERAL DE LA QUITO ECUADOR 6 …...sobre Evaluación de Programas de la INTOSAI”, de 1995, la Auditoría de Impacto (o de “Influjo”) consiste en evaluar la implementación

C O N T R A L O R Í A G E N E R A L D E L A R E P Ú B L I C A D E C H I L E

XVI ASAMBLEA GENERAL DE LA OLACEFS QUITO, ECUADOR- 6 AL 10 DE NOVIEMBRE DE 2006

CONTRALORÍA GENERAL DEL ESTADO DE ECUADOR

OR G A N I ZA C IÓN LA T IN O A MER IC A N A Y DE L CA R IB E DE EN T ID A DE S FIS C A LI ZA D OR A S SU P E RI OR ES

CONTRALORÍA GENERAL DE LA REPÚBLICA DE CHILE

XVI ASAMBLEA GENERAL DE LA OLACEFS

TTeemmaa IIII

““LLaa AAuuddiittoorrííaa ddee iimmppaaccttoo eenn llaa ppeerrssppeeccttiivvaa ddeell CCoonnttrrooll GGuubbeerrnnaammeennttaall””

PPOONNEENNCCIIAA

QQUUIITTOO -- EECCUUAADDOORR

6 al 10 de Noviembre de 2006



P. LL. C./ 2

Preparada por los profesionales de la Contraloría General de la República de Chile, Ingenieros Patricia Llanos Campos, Jorge Pablo Díaz Vera y Álvaro Toledo Llanos.



P. LL. C./ 3

ÍNDI CE

Pág.

PARTE PRIMERA “ANTECEDENTES GENERALES” 4

Presentación. 4

Justificación del Tema 5

Componentes Metodológicos de la Auditoría de Impacto.

Componte Conceptual

Componte Lógico

Componente Tecnológico

Componente de Cálculo.

8

8

10

14

20

PARTE SEGUNDA “PROPUESTA METODOLÓGICA” 23

Fase de Planificación. 25

Fase de Ejecución. 31

Fase de Análisis y Evaluación. 33

Fase de Elaboración del Informe de la Auditoría de Impacto 37

PARTE TERCERA “CONCLUSIONES Y RECOMENDACIONES” 39

BIBLIOGRAFÍA. 42



P. LL. C./ 4

PPAARRTTEE PPRRIIMMEERRAA:: AANNTTEECCEEDDEENNTTEESS GGEENNEERRAALLEESS

PRESENTACIÓN

La Asamblea General de la OLACEFS, en el marco de su XIV Sesión, celebrada en la Ciudad de Buenos Aires, Argentina, el 18 de noviembre de 2004, mediante Resolución 20-2004-AG, decidió proponer como segundo tema técnico a debatir en la XVI Reunión Ordinaria correspondiente al año 2006, el concerniente a “La Auditoría de Impacto en la perspectiva del Control Gubernamental”, propuesto por la Contraloría General de la República de Chile en razón de los siguientes argumentos:

La Auditoría del Impacto es una herramienta de un valor potencial trascendente para la Región Latinoamericana y del Caribe por cuanto su adecuada utilización podría colaborar a solucionar la urgente necesidad de evaluar los resultados de los proyectos sociales y,

Porque existe consenso en las Entidades Financieras Internacionales respecto al aporte que este instrumento efectúa a la capacidad de corregir y potenciar los resultados de los Fondos de Ayuda al Subdesarrollo.

Habiéndose establecido la necesidad de que la OLACEFS logre acuerdo sobre una definición del concepto de Auditoría de Impacto, así como de los fundamentos metodológicos que deberían sustentar su desarrollo, esta Contraloría General fijó los objetivos siguientes para la presente Ponencia:

1. Efectuar una recopilación y sistematización de los elementos conceptuales y metodológicos existentes respecto de la auditoría de impacto.

2. Armonizar estos resultados con las capacidades y necesidades nacionales y regionales de las EFS miembros.

3. Generar una propuesta metodológica para el desarrollo de una Auditoría de Impacto.



P. LL. C./ 5

Debe precisarse, asimismo, que esta Contraloría General llevó a efecto un levantamiento de las condiciones imperantes en Chile en materia de Impacto de los Programas Sociales (Anexo Nº 1), que permitió introducir algunas modificaciones a la Propuesta Inicial del Tema II, fundamentalmente de carácter simplificador, según podrá apreciarse más adelante.

Cabe indicar, en todo caso, que dichas simplificaciones encuentran su origen en las dificultades enfrentadas in situ, que se vinculan básicamente a limitaciones en el diseño de programas sociales y a la obtención de datos estadísticos referentes al resultado logrado en las variables que se pretendía modificar a través de la aplicación de recursos por ellos previstos.

JUSTIFICACIÓN DEL TEMA

La creciente importancia de la Agenda Social en la priorización de los diferentes Gobiernos del mundo constituye una realidad irrefutable, más aún después de la suscripción, en septiembre del 2000, de la Declaración del Milenio por parte de 189 Estados Miembros de las Naciones Unidas, quienes firmaron un nuevo compromiso mundial para el desarrollo, basado en valores que enriquecen profundamente las relaciones internacionales para el siglo XXI, cuales son, la libertad, la igualdad, la solidaridad, la tolerancia, el respeto de la naturaleza, y la responsabilidad común pero diferenciada. Así, sin importar el cargo, o la importancia de él, ningún ser humano está por encima de los derechos de sus connacionales, por lo que ninguna autoridad puede sustraerse de la obligación de implementar medidas, tendientes a aumentar la cantidad y mejorar la calidad de la asistencia oficial para el desarrollo.

Consecuentemente, agotado el marco de soluciones provenientes del pensamiento económico tradicional, se ha comenzado a reconocer que el sistema económico debe estar subordinado a objetivos sociales más amplios. En el mismo orden de ideas, se plantea la urgencia de revitalizar y fortalecer el rol del Estado, con responsabilidades específicas para normar la acción de actores privados y sociales y mejorar su capacidad para intervenir.



P. LL. C./ 6

A su vez, la progresiva incorporación de la Sociedad Civil a la institucionalidad democrática, el surgimiento de una economía global, el reconocimiento de los límites del gobierno, la necesidad de la participación de unos grupos más amplios de agentes institucionales y sociales en la adopción de decisiones sobre temas económicos, sociales, medioambientales, etc., también han incidido en las nuevas visiones relativas a la forma de administrar el Estado, que extiende progresivamente el enfoque de la gestión pública desde un ámbito definido exclusivamente por el sometimiento a la legalidad, hacia planos de eficiencia, eficacia y economicidad, en los que, además, la acción pública debe necesariamente comprometerse con el logro de los resultados esperados.

De este modo, el concepto de “Rendición de Cuentas de los Agentes Públicos” sufre una transformación radical por cuanto a la responsabilidad jerárquica clásica agrega un elemento subjetivo, ya que supone la existencia de al menos dos partes: una que confiere y otra que acepta el compromiso, con el sobreentendido que deberá reportar sobre la manera en la que la llevó a cabo.

En la actualidad, el concepto de Rendición de Cuentas involucra el logro de resultados, ya que apunta a la comprobación de la implementación exitosa de políticas diseñadas para el beneficio del público en general, con un énfasis particular en las políticas que atienden las necesidades de los pobres y, por tanto, está íntimamente vinculada a los asuntos referentes a la eficiencia, la efectividad y la equidad de la gestión pública. De este modo, constituye un elemento crucial en la búsqueda de la gobernabilidad, la cual expresa la capacidad real de un país de generar políticas en el ámbito público y de lograr su adecuada implementación, por lo que se ha transformado en un componente esencial de la continuidad democrática y el desarrollo sustentable.

A medida que este proceso de cambio empezó a desarrollarse también se ha visto enriquecido con visiones surgidas de la Ciencia Política, así, la transformación del Rol del Estado ha puesto el énfasis en la "gobernanza", que según el diccionario de la Real Academia Española, se refiere al "arte o manera de gobernar que se propone como objetivo el logro de un desarrollo económico, social e institucional duradero, promoviendo un sano equilibrio entre el Estado, la sociedad civil y el mercado". La gobernanza supera el proceso simple de toma de decisiones lineal y jerárquico, que va de arriba hacia abajo, y permite integrar procesos más complejos.



P. LL. C./ 7

Al alinear la preocupación del Gobierno por la gobernanza con el grado de responsabilidad social que debe asumir, surge la necesidad de pasar de un control meramente legal, a uno que posibilite una opinión acerca no tan solo de la calidad de la Gestión Pública, sino que también del impacto que sus resultados determinan en la calidad de vida de los ciudadanos. Pues bien, estas nuevas exigencias abren una oportunidad emergente a la función de control superior inherente a las EFS miembros de la OLACEFS que se expresa en el Examen de la Rendición de la Cuenta Pública, por cuanto el logro de su adecuado desempeño además de retroalimentar correctivamente la Administración del Estado, provee de información objetiva e independiente a la Ciudadanía, permitiéndole un mejor ejercicio de las capacidades sancionadoras, que establece el sistema democrático.



P. LL. C./ 8

COMPONENTES METODOLÓGICOS DE LA AUDITORÍA DE IMPACTO

Teniendo a la vista la consecución de los objetivos planteados para el presente trabajo, la Metodología propuesta considera la existencia de los siguientes cuatro componentes de contenido, los cuales subyacen tras las diversas etapas previstas en el desarrollo del modelo:

Componente Conceptual:

Habiéndose establecido el fundamento objetivo del tema en análisis, cabe indicar, seguidamente, que de acuerdo con el “Grupo de Trabajo sobre Evaluación de Programas de la INTOSAI”, de 1995, la Auditoría de Impacto (o de “Influjo”) consiste en evaluar la implementación y la posible existencia de resultados perdurables, producto de programas sociales. Se trata de determinar la existencia de uno o varios “Influjos” que el diseño de cada política económica pretende entregar al Universo atendido, que se mide por el impacto que provoca el satisfactor, en el grueso de la población que conforma la cobertura sobre la que se aplicó realmente el Programa, exigiendo, por tanto, una comparación final entre los siguientes elementos:

1. Entre un Grupo de Control (que no recibió el satisfactor) y otro grupo, que perteneciendo al mismo Universo que el Grupo de Control, recibió el satisfactor, o

2. Entre los productos del programa, con una estimación de lo que habría sucedido en ausencia del programa.

En el primer caso, se busca constatar que las personas que fueron receptores del esfuerzo gubernamental en cuestión, pasaron a un estado mejor que aquellas personas que no lo recibieron. La segunda forma de estudio, se utiliza cuando se sabe que hay factores externos que influyen sobre los productos del programa, con objeto de determinar cuál es la contribución del programa al logro de sus objetivos.



P. LL. C./ 9

Cabe precisar, igualmente, que la metodología propuesta considera, además de los aspectos destinados a verificar su Impacto, aquellos contenidos de revisión destinados a comprobar que los programas considerados en la muestra objeto de la Auditoría hayan dado cumplimiento a los aspectos relacionados con la legalidad, las normas financieras y contables, las exigencias del debido respaldo de las operaciones, la exactitud de los cálculos y las imputaciones, así como a los estándares de eficiencia, eficacia y economicidad de la gestión desarrollada a su respecto.

Asimismo, cabe indicar que de acuerdo a lo establecido a su respecto por INTOSAI, la Auditoría de Impacto puede considerar dos enfoques diferentes:

Orientado a los resultados logrados en términos del objetivo fijado y

Orientado a las causas que originan los problemas que pueden, eventualmente, afectar la consecución de los objetivos del programa. 1

Los resultados obtenidos in situ por esta Contraloría General, al explorar las condiciones existentes en Chile para los efectos de implementar una Auditoría de Impacto, determinaron la necesidad de separar este proyecto en etapas sucesivas, construidas iterativamente, situando primeramente el análisis en el enfoque orientado a los resultados del Programa, una vez completado el cual se podría, recién, avanzar en dirección al estudio de las causas que pudieran comprometer el logro de los objetivos de aquél.

Así también, la Auditoría de Impacto puede ser planteada bajo dos perspectivas, cuales son:

Cualitativa, consistente en un análisis del impacto a partir de la opinión o perspectiva de los beneficiarios, opción que muestra un mayor número de experiencias realizadas y

Cuantitativa, hecha en base a mediciones del cambio logrado en la o las variables que se pretende afectar con el proyecto o programa, respecto de la cual existe un menor grado de aplicaciones efectivas.

1 Comité Directivo de la INTOSAI, Seúl, 2001.



P. LL. C./ 10

Finalmente, este Componente Conceptual contempla la elaboración de un concepto aceptado por la OLACEFS para la Auditoría de Impacto, tomando como base los fundamentos normativos de INTOSAI. Además, se han considerado aquellas elaboraciones desarrolladas a partir de estos mismos fundamentos, por algunas EFS de Europa en ese mismo tema.

Componente Lógico:

Considera la articulación de un modelo integrado por el conjunto de procesos que se estima hacen factible la ejecución de una Auditoría de Impacto con estándares de calidad razonables.

Avalando lo señalado precedentemente, respecto de la eventual aplicación de la Matriz del Marco Lógico (MML) a la Auditoría de Impacto de los Programas Sociales, corresponde precisar que ella, en la perspectiva de la función de Control Externo Superior que compete a las EFS, adolece de importantes limitaciones, particularmente en lo que se refiere a la oportunidad en que aquella debe completarse. Lo anterior, por cuanto la construcción de una MML por cada objetivo previsto en una Auditoría de Impacto, significa aplicar una gran cantidad de horas-hombre, sólo a la etapa de planificación de la misma. Del mismo modo, deja fuera factores externos de influencia positiva en los resultados del proyecto, que pueden comprometer el juicio de auditoría relativo a la calidad de la gestión, en términos de una sobrevaluación de la eficiencia y de la relación costo/beneficio efectivamente logrado.

Además, cabe indicar al efecto que su desarrollo, como herramienta para la Auditoría del Impacto de Programas Sociales, involucra costos importantes y conocimientos expertos no siempre al alcance de las EFS de la Región.

No obstante, el método en cuestión constituye una herramienta analítica poderosa, que permitió construir las siguientes Matrices de Marco Lógico a partir de las cuales se validó la debida consistencia entre los objetivos de auditoría y los componentes previstos a su respecto en la presente propuesta.



P. LL. C./ 11

En primer lugar, debe considerarse que la MML descansa en la construcción de relaciones verticales entre insumos, productos y resultados del proyecto. Se articula a través de las filas que representan los niveles jerárquicos, esto es, fines, propósitos, componentes y actividades, que se asocian a cuatro instantes en el tiempo. A su vez, las columnas contienen los diferentes objetivos, así como su expresión en términos de metas, que se medirán a través de Indicadores, cuya validez se comprobará a través de Medios de Verificación, en el contexto definido por los Supuestos, que son los factores externos al proyecto, que deberían cumplirse para asegurar el logro de los resultados propuestos.

Así, es posible construir una MML para los dos objetivos centrales a considerar en una Auditoría de Impacto, vale decir:

Verificar la existencia o inexistencia del impacto,

Verificar la relación Costo-Beneficio, y sus causas.



P. LL. C./ 12

MML vinculada a la verificación de la Existencia o Inexistencia de Impacto:

Resumen narrativo de Objetivos y Actividades

Indicadores

(Miden los Resultados Específicos a alcanzar)

Medios de verificación

Supuestos

(Factores externos que implican riesgos )

Fin:

Permite determinar impacto cuantitativo, sobre un único parámetro social determinado Ex-ante.

Método Estadístico:

BOX PLOTS.

Estadísticas Gubernamentales y mediciones en terreno

Inexistencia de estadísticas apropiadas.

Propósito:

Debe establecerse en la Política que genera el programa presupuestario

Metas que establece el Proyecto, en cuanto a:

Cantidad, Calidad, y Oportunidad en la entrega del satisfactor.

Deben especificarse al nivel de prefactibilidad

No existe certeza acerca de la cobertura real.

Componentes Fases de:

Planificación,

Ejecución,

Análisis y Evaluación,

y Elaboración de

Informe.

Riesgo de los Servicios,

Riesgo en los Proyectos,

Determinación de la muestra, y

Informe de auditoría.

Papeles de trabajo del Auditor

Falta de comprensión por parte del equipo de terreno de la metodología que debería aplicarse.

Actividades:

Las relativas a las Fases.

Presupuestos estimativos y reales de:

Horas, por tipo de profesional involucrado y,

Costo de cada actividad, si así lo estima cada EFS

Registros Internos del grupo de trabajo que la EFS designó para participar en este tipo de actividades especiales.

Que exista el liderazgo y la capacidad gerencial necesaria.



P. LL. C./ 13

MML vinculada a la Gestión y Evaluación del Impacto:

Resumen narrativo de Objetivos y Actividades

Indicadores (Resultados Específicos a alcanzar)

Medios de verificación

Supuestos (Factores externos que implican riesgos)

Fin Busca evaluar en forma simultánea los aspectos cualitativos y cuantitativos que determinan la evolución de la Relación Impacto/Costo.

Cuadros de mando:

De Implementación

Del Satisfactor

Del Objetivo Social

Panorámico, y

Diagrama Causa-Efecto

Encuestas

Mediciones en terreno

Información Propia del equipo de terreno

Ausencia de datos apropiados

Sesgos en las encuestas

Falta de cooperación de parte del cuerpo social con las mediciones de terreno

Propósito

Modelar en forma desagregada el comportamiento del Impacto, y sus causas

Para cada celda en todas las matrices o Cuadros de Mando:

Determinar sus valores en base a los estudios realizados,

Confeccionar el Diagrama Causa-Efecto

Deben respaldarse en los Papeles de Trabajo.

La responsabilidad por la exacta determinación de los valores de cada Cuadro de Mando, recae en el Jefe de Grupo

Deficiencias en los mandos de supervisión o dirección operativa de la Auditoría.

Componentes Cuadros de mando,


Análisis

Cálculos

Informe de auditoría

Economía Eficacia Calidad Cantidad Cobertura Oportunidad Cumplimiento Duración Empoderamiento Disminución de la

pobreza.

Respaldos que deben proporcionar, en forma ordenada, los papeles de trabajo.

Análisis sin profundidad

Cálculos sin justificaciones

Cuadros de Mando, que no respaldan las afirmaciones que contiene cada celda

Diagrama de Causa-Efecto presentado en términos superficiales.

Actividades Relativas a:

Cuadros de Mando


Informe de auditoría

Presupuesto de horas, y Costo de cada actividad, siempre y cuando, el control de la gestión del proyecto, que cada EFS, decidió implementar, lo haya definido así.

Contabilizaciones propias de cada EFS,.o del grupo de trabajo

Que el personal que participa de este tipo de evaluaciones, no comprenda los objetivos involucrados.



P. LL. C./ 14

Finalmente, hecha la precisión anterior, corresponde señalar que el Modelo de Auditoría de Impacto propuesto, tal como se graficó en las Matrices de Marco Lógico, MML, precitadas, se presenta desglosado en cuatro fases, cada una de las cuales se conceptualizará y reseñará en los capítulos siguientes:

1.3. Fase de Planificación. 1.4. Fase de Ejecución. 1.5. Fase de Análisis y Evaluación. 1.6. Fase de Elaboración del Informe.

Componente Tecnológico:

El componente tecnológico puede ser dividido en dos subproductos:

Modelo de Negocios de la auditoría de impactos: Este modelo debe permitir identificar todos los procesos relacionados con las labores de planificación, ejecución, gestión y control de auditorías, en base a la Metodología de Impacto propuesta y a la definición del modelo de Matrices de Marco Lógico, MML, definidas en este documento. Este modelo debe considerar: Las Labores de Planificación asociadas a la auditoría de impacto. Las labores de modelamiento y utilización de las matrices MML. La identificación de etapas, insumos y resultados de los procesos de la

ejecución de las auditorías de impacto. Los procesos de seguimiento de las auditorías de impacto. Los procesos de control de gestión de las auditorías de impacto.

Este modelo debe realizarse considerando dos posibles escenarios: La realización de un sistema que sea independiente en su modelamiento,

diseño e implementación, y que se relacione con otros sistemas mediante el intercambio de datos a través de servicios.



P. LL. C./ 15

La realización de este sistema como un módulo que se adapte al contexto de un sistema más grande: A modo de ejemplo, el sistema de Auditorías de Impacto podría concretarse en la creación de un patrón adicional del Sistema creado para el control de las auditorías, que debería a los Modelos de Planificación y Programación considerados en este.

Modelo Informático de Auditorías de Impacto: A partir del modelo de Negocios señalado anteriormente se generan un conjunto de requerimientos funcionales de sistema que, mediante una metodología vigente (por ejemplo RUP, Extreme Programming (XP), Clásico en cascada, etc.) y la generación de artefactos o elementos, permita concretar un diseño informático de un sistema de Auditorías de Impacto. Este diseño informático permitirá implementar computacionalmente:

Un sistema de auditorías de impacto basado en Tecnologías WEB vigentes (J2EE, .NET, Cliente Servidor Clásico, ASP, php4, etc.)

Una base de datos diseñada y modelada para tales propósitos. La integración de este sistema con los portales WEB, ambientes y/o

plataformas donde se requiera. La implementación de servicios que permitan la interacción de este sistema

con otros sistemas de información que se requiera; por ejemplo, sistemas de cuerpos normativos, etc.

A modo de ejemplo, cabe indicar que la Contraloría General de la República de Chile como consecuencia de su Proyecto de Modernización Institucional, PMI, ha generado un Sistema de Control a través de las Auditorías, SICA, cuyo objetivo es fortalecer la gestión fiscalizadora externa. La siguiente figura ilustra las características que deben ser soportadas por el sistema SICA:



P. LL. C./ 16

En ella se representa la integración del SICA con los demás sistemas definidos en el contexto del Plan Maestro de las Tecnologías de Información, PMTI. El SICA debe estar integrado con: Otros sistemas institucionales y externos: Sistema de Planificación del Estado. Sistema de Gestión Financiera del Estado (SIGFE). Sistema de Administración de Personal del Estado (SIAPER). Otros Sistemas (externos a la institución).

La integración se produce mediante la utilización de servicios que permitan interactuar a los sistemas, mediante el intercambio de datos. En este contexto se utilizan aquí servicios de Firma digital, Jerarquías, WEB SERVICES, etc. La plataforma tecnológica PMTI permite que todos estos sistemas sean tecnológicamente compatibles y puedan ser implementados en los ambientes de producción de la CGR, definiendo los estándares de Hardware y software para tales fines.



P. LL. C./ 17

Soluciones Tecnológicas para el Análisis de Datos.

Uno de los mayores desafíos que representa este tipo de auditoría está constituido por el volumen de los datos que involucran normalmente los programas de alta implicancia social.

En consecuencia, surge la imperiosa necesidad de utilizar soluciones informatizadas, capaces de otorgar seguridad, eficacia y eficiencia a la labor de control en los diferentes ámbitos en los que ella se deberá ejercer.

Naturalmente, la elección de las aplicaciones antedicha estará influida no tan solo por las características del objeto de la auditoría sino que dependerá, substantivamente, de los recursos tecnológicos y humanos que cada EFS pueda asignar al desarrollo de aquella.

En efecto, si bien teóricamente pueda resultar aconsejable el empleo de una herramienta como el ACL, ello dependerá de si la EFS cuenta con la cantidad de Licencias y de personal capacitado en su uso, así como de la escala de prioridades fijadas para la asignación de recursos que, normalmente, son escasos.

Por tanto, previo al inicio de la auditoría debería efectuarse un estudio de factibilidad tecnológica de la misma, a través del cual pueda allegarse la mejor solución posible al manejo, análisis, extracción y validación de los datos, así como para la medición del impacto respectivo.

A título referencial puede señalarse que, tratándose de programas que involucren un volumen de datos inferior a los 8000 registros, bastaría con operar a través de una Planilla de Cálculo LOTUS o Excel

Si dicho volumen se ubica en un rango que no supere los 30.000 registros es plenamente posible utilizar el ACCESS, que forma parte del paquete de utilitarios que provee MICROSOFT y que integran, además, WORD, EXCEL y POWER POINT.

En cuanto a los Softwares denominados Interrogadores o Analizadores de Archivos, cabe mencionar, a modo de ejemplo, a IDEA y ACL.



P. LL. C./ 18

En el contexto de labores de análisis de datos podemos mencionar la creación de Data Warehouse orientado a la utilización de cubos OLAP que permiten analizar los datos históricos de producción mediante diversas perspectivas, contrastando conjuntos de variables (atributos de la base de datos). Esto permite extraer tendencias multidimensionales de los datos, constituyendo una potente herramienta de gestión sobre los datos, analizando e identificando el comportamiento de valores e indicadores del modelo de negocios del sistema de auditorías de impacto.

Lo anterior implica:

Diseñar un modelo de DATAWAREHOUSE para el sistema de auditorías de impacto.

Implementar un DATAWAREHOUSE con una tecnología adecuada.

Definir los cubos, indicadores y las consultas adecuadas en el contexto de la gestión de las auditorías de impacto.

Definir e implementar las técnicas ETL (Extracción, Transferencia y Carga de Datos) que permitan el intercambio de datos entre la Base de Datos del Sistema de Auditorías de Impacto y el DATAWAREHOUSE.

IDEA es una aplicación diseñada para Windows 95, 98, NT 4.x y 2000 y constituye una herramienta de revisión cuyas características incluyen las siguientes funciones:

Muestra - Cell MUS, Random (Aleatorio), Systematic Sistemático), Attribute (Atributo), Stratified (Estratificado);

Totalizar

Estratificar

Clasificar/ elegir

Comparación de archivos

Extracción de Datos



P. LL. C./ 19

Al utilizar IDEA es posible realizar todas las interrogaciones que requieren las auditorías financieras, de rendimiento y de impacto. Permite importar archivos que tienen muchos formatos aunque de vez en cuando, puede ser necesario realizar alguna forma de conversión de archivo antes de importar los datos (VME). Asimismo es capaz de exportar los datos en la mayoría de los formatos en que generalmente se usan, tales como: Lotus, Dbase, Comma separated, y en textos de longitud fija, produciendo archivos compatibles con Windows;

Es posible usar Idea como una herramienta que descarga archivos debido a su capacidad para acceder a las unidades de cinta magnética directamente y posee las características comunes de todos los paquetes de Windows (OLE) y de ODBC, permitiendo al usuario vincularse con una gama de archivos (Access, Excel, etc.) utilizando los drivers de ODBC que se entregan con aquél.

En cuanto al ACL, “AUDIT COMMAND LANGUAGE”, puede señalarse que este software se usa actualmente en más de 100 países. Fue diseñado para fomentar la velocidad y la seguridad del proceso, para facilitar el análisis y para ayudar a utilizar el producto con seguridad y rapidez.

El ACL desarrolla las mismas funciones que IDEA y se caracteriza por poseer los siguientes atributos.

No tiene límite en cuanto al tamaño de los datos.

Lee cualquier tipo de datos.

Lleva a cabo pruebas específicas de auditoría y control.

Mantiene registros completos de todas las actividades realizadas.

Finalmente, el estudio de factibilidad respectivo debería otorgar mucha importancia a la relación costo/beneficio que representa cada una de estas opciones, en el entendido que los softwares especializados son de alto costo y requieren de importantes esfuerzos de capacitación.



P. LL. C./ 20

Componente de Cálculo:

Intenta proveer un método para cuantificar el impacto provocado por el programa objeto de la Auditoría, el cual busca adecuarse a las capacidades profesionales y tecnológicas de las EFS de la Región. Es menester indicar que la cuantificación del impacto, como toda medición de carácter social, constituye un problema de alta complejidad, cuya solución no es posible agotar sin el concurso de un mayor horizonte de estudio.

Consecuentemente, la investigación inicial efectuada a título exploratorio por esta Contraloría General tuvo como objetivo seleccionar un método básico de cálculo, capaz de sustentar una primera opinión cuantitativa del impacto observado en una variable objeto de la aplicación de recursos.

Revisada la literatura disponible, se llegó a la conclusión que el Método Estadístico conocido como “Box Plots” o “Diagrama de Cajas” ofrecía ventajas importantes, por cuanto constituye una eficiente alternativa de amplio uso en Ciencias Sociales, y cuya aplicación no debería significar una mayor dificultad para el personal de fiscalización.

“Box Plots” o Diagrama de Cajas:

Consiste en una representación gráfica, que permite someter cualquier distribución de datos, al análisis global de un parámetro único y cuyas características son las siguientes:

Contiene información sobre la simetría de la distribución

Obliga a delimitar el área de mayor densidad, entre los percentiles 25 y 75

Sugiere una relación entre la Mediana y la Media

Permite análisis estáticos, como también de sus variaciones

Captura los puntos extremos (mínimo y máximo).

Entrega los siguientes indicadores:

Rango Total: La diferencia entre el mayor y el menor de los datos.



P. LL. C./ 21

Mediana: Es una medida de posición, que expresa el centro de los datos como el punto que separa las observaciones, ordenadas de menor a mayor, en dos grupos con el mismo número de elementos.

Primer Cuartil (Q1): La mediana de la mitad que contiene los datos más pequeños, también conocido como percentil 25.

Tercer Cuartil (Q3): La mediana de la mitad formada por las observaciones más grandes, también conocido como percentil 75.

Rango Intercuartílico (RI): Es la diferencia entre los valores de las medianas Q3 y Q1, o lo que es lo mismo, entre el percentil 75 y el percentil 25.

La Media de las observaciones.

Ahora bien, en el ámbito específico de la Cuantificación del Impacto, esta herramienta estadística debiera usarse, idealmente, en la siguiente forma:

Medición antes del Programa: Al Universo determinado como cobertura, para obtener un Diagrama de Caja de la situación inicial.

Mediciones después del Programa: Al Grupo de Control.

Pertenece al Universo pero no fue sujeto del programa. La comparación entre este Diagrama de Caja y el de la situación inicial, permite dimensionar mejorías en el parámetro medido, que no se relacionan con el programa.

Al Grupo de “Clientes del programa” Al comparar este Diagrama de Caja con aquél correspondiente al Grupo de Control, se pueden verificar las mejorías que efectivamente son producto de la aplicación del programa en cuestión.



P. LL. C./ 22

Al no existir “Medición antes del programa”, sólo podrán compararse los Diagramas de Caja, provenientes del “Grupo de Control”, con aquél que corresponde al “Grupo de Clientes del Programa”.

Este análisis permitirá determinar si existe impacto, y cuál es su cuantía, pero no se podrá atribuir el 100% de la variación positiva del parámetro estudiado, al efecto del programa.

Ahora bien, este método puede operarse a través de Planillas de Cálculo tales como LOTUS o Microsoft Excel, con la ventaja de que a partir de su utilización se automatiza la elaboración del respectivo gráfico.



P. LL. C./ 23

PPAARRTTEE SSEEGGUUNNDDAA:: PPRROOPPUUEESSTTAA MMEETTOODDOOLLÓÓGGIICCAA

La Metodogía aquí propuesta aspira tener aplicación respecto de cualquier proyecto o programa social, y contempla visiones Cualitativas y Cuantitativas, por cuanto este doble ejercicio asegura una opinión mucho mas objetiva respecto del Impacto logrado en la variable que se busca alterar.

Asimismo, su construcción es modular, por tanto, es posible adaptarla a las diferentes capacidades legales y funcionales de las EFS de la Región. De hecho, esta Contraloría General está impedida de ejercer el control de la gestión pública, el que fue radicado por el legislador en la propia Administración, motivo por el cual no podría aplicar el módulo correspondiente al comportamiento en esa área.

Corresponde precisar que, en la medida que la Entidad auditada tenga incorporada la Evaluación de Impacto a la gestión del programa, la acción de las EFS debiera priorizar la validación de aquella, así como del feed back respectivo.

Ahora bien, este modelo fue concebido en cuatro fases que se definen a continuación:

I. Fase de Planificación de la Auditoría de Impacto.

Esta etapa sirve para determinar en primera instancia, cuáles son los servicios que deberían fiscalizarse, y entre éstos, cuáles de los proyectos específicos que ellos administran pueden ser objeto de la Auditoría.

El adecuado desarrollo de la Planificación debería permitir evaluar el riesgo de que un Servicio no logre un Impacto Positivo, empleando una combinación de criterios de Materialidad y de Riesgo.

En definitiva, los proyectos sujetos a fiscalización deben provenir de aquellos servicios en los que se constató riesgo. Asimismo, la cartera óptima de proyectos por evaluar, debe incorporar, además, los denominados: “Criterios Específicos de Riesgo”, cuya definición dependerá de las características de aquellos.



P. LL. C./ 24

Esta fase termina con un Programa de Fiscalización.

II. Fase de Ejecución.

Contiene la secuencia lógica de las actividades que los auditores deben desarrollar en terreno con la finalidad de comprobar la existencia y materialidad del Impacto.

III. Fase de Análisis y Evaluación.

La fase de Análisis y Evaluación, se fundamenta en la aplicación del Diagrama de “Causa-Efecto”, cuya utilización permite establecer las distintas razones que se entrelazan, impidiendo que el proyecto logre un 100% en los parámetros de Economía, Eficacia y Eficiencia.

IV.Fase de Elaboración del Informe.

Documenta los hallazgos logrados a través de la Auditoría, en términos de constituir una guía para la “Futura Buena Administración” de los Proyectos Sociales. Además incluye un Cuadro de Mando Panorámico, capaz de sustentar las decisiones de gestión, que deberían ser adoptadas por la Administración con el objeto de subsanar eventuales deficiencias.



P. LL. C./ 25

I. FASE DE PLANIFICACIÓN DE LA AUDITORÍA DE IMPACTO.

1. Criterios para establecer el Rango de Prioridad del Servicio en la selección de la muestra:

1.1. Criterios de Materialidad:

1.1.1. Servicios cuya Misión es atender necesidades sociales.

1.1.2. Servicios con un presupuesto relativamente alto para proyectos sociales.

1.1.3. Programas Sociales definidos como prioritarios por la Autoridad Gubernamental.

1.1.4. Programas destinados a atender necesidades básicas de la población.

1.2. Criterios Vinculados al Riesgo:

1.2.1. Con respecto a los seguimientos que efectúa el Servicio a los programas sociales:

1.2.1.1. El Servicio efectúa los seguimientos, incluido una Evaluación de Impacto, y obtiene resultados negativos, o bien,

1.2.1.2. El Servicio no efectúa los seguimientos.

1.2.2. Servicio no coordina sus proyectos sociales con los de otros servicios públicos.

1.2.3. Servicios mal evaluados por la ciudadanía en forma recurrente.

1.2.4. Servicios con problemas administrativos o de infraestructura.

1.2.5. Servicios que no tienen fortaleza técnica.

1.2.6. Servicios dotados de una gran autonomía y que resultan difusos desde el punto de vista de la supervisión y de la fiscalización.



P. LL. C./ 26

Los servicios que acumulan los cuatro criterios de Materialidad, más los seis asociados al Riesgo, deben tener la primera opción de ser evaluados en el corto plazo.

2. Criterios específicos de Riesgo para seleccionar el Universo de proyectos a auditar.

2.1. Riesgo para la vida en el corto plazo, como por ejemplo:

2.1.1. Vacunación.

2.1.2. Aquellos destinados a resolver déficit sustantivos de nutrición.

2.1.3. De Urgencia en Salud.

2.1.4. De Alerta Temprana, ante Desastres Naturales o Medioambientales que involucren compromiso de la vida humana.

2.2. Riesgo para el desarrollo integral del ser humano.

2.3. Riesgo de exclusión social o económica.

2.4. Riesgo derivado del grado de dispersión geográfica.

2.5. Riesgo derivado de una cobertura dispersa.

2.6. Riesgo derivado de la participación del Sector Privado en la Ejecución del Proyecto.

2.7. Riesgo derivado del grado de incapacidad legal, mental o física que presenten los beneficiarios del Proyecto.

2.8. Riesgo derivado de la pertenencia de los beneficiarios al Primer Quintil.



P. LL. C./ 27

3. Determinación de la Muestra:

3.1. Establecimiento del Universo Muestral.

3.1.1. Determinar los servicios que se pueden someter a Auditorías de Impacto, dentro del horizonte de planeación.

3.1.2. Efectuar una evaluación preliminar de Materialidad, en aquellos servicios señalados en el punto anterior, que no presentan inconvenientes para su revisión.

3.1.3. Determinar el ambiente de Control, en base a los Criterios vinculados al Riesgo, sólo en los servicios que presenten Materialidad.

3.1.4. En el contexto de Servicios que posean Alta Materialidad en presencia de Alto Riesgo, determinar aquellos Programas que incluyen Proyectos, en los cuales el objetivo fundamental consiste en mejorar la calidad de vida de algún grupo humano en riesgo social.

3.1.5. Habiéndose determinado la totalidad de los Proyectos susceptibles de ser auditados en el corto plazo, asignarles la Función de control: Auditoría de Impacto (o Influjo).

3.1.6. En base al perfil tecnológico de cada proyecto, determinar para cuáles de los proyectos preseleccionados, la EFS posee los profesionales indispensables para este tipo de auditoría.

3.1.7. Una vez determinada la factibilidad técnica interna de la EFS, establecer la cantidad de funcionarios por profesión y establecer el presupuesto total de Horas Hombre para los proyectos factibles de fiscalización.

3.1.8. Estudiar Ex-ante, si los proyectos para los cuales ya se ha determinado su factibilidad técnica, requieren de otros elementos físicos o técnicos.



P. LL. C./ 28

3.1.9 Finalmente, determinar, taxativamente, la no existencia de impedimentos, legales, físicos o de infraestructura, que no permitan cumplir con los objetivos técnicos de una auditoría de Impacto.

3.2. Selección de los Proyectos a Auditar.

3.2.1. Criterios:

3.2.1.1 El Proyecto debe pertenecer a los “Proyectos factibles de fiscalización”, generados por el procedimiento descrito en el punto III., y que conforman el Universo Muestral.

3.2.1.2. El servicio responsable de la ejecución, debe acumular los cuatro criterios de Materialidad y los seis criterios asociados al Riesgo.

3.2.1.3. Aún cuando en estricto rigor debería fiscalizarse el 100% de los proyectos sociales que cumplan con los 2 requisitos anteriores y que, además, su mala ejecución pueda representar riesgo para la vida de algún grupo humano en el corto plazo, sin importar el monto de los recursos asignados ni la cobertura del proyecto, las naturales limitaciones que enfrentan las EFS, no permiten cumplir con este criterio, motivo por el cual se propone revisarlos al menos una vez dentro de su ciclo de vida.

3.2.1.4. Análogamente, deberá evaluarse al menos una vez dentro de su ciclo de vida, el 75% de los proyectos sociales que cumplan con los 2 requisitos señalados en los puntos 3.2.1.1. y 3.2.1.2., anteriores, y en los cuales, además, una mala ejecución, pueda provocar en el corto plazo, riesgos para el desarrollo integral del ser humano, o riesgo de exclusión social o económica, o empeorar la situación de los beneficiarios que pertenecen al Primer Quintil de la población, o de aquellos que poseen algún tipo de incapacidad.



P. LL. C./ 29

4. Programa de Fiscalización.

4.1. Actividades a Realizar por el Auditor.

4.1.1. Recopilar aquellas disposiciones legales y reglamentarias que afecten al Servicio ejecutor.

4.1.2. Estudiar los fundamentos de la Ley que establece el Programa en estudio.

4.1.3. Analizar los Manuales o Instructivos relacionados con la materia por controlar.

4.1.4. Establecer los objetivos que fija la Ley, en cuanto a:

4.1.4.1. Cronograma de la aplicación.

4.1.4.2. Responsabilidad por la planificación del Programa.

4.1.4.3. Evaluación del Control Interno de los procedimientos administrativos, establecidos para la ejecución del Programa.

4.1.5. Validación de la Confiabilidad de los Datos.

4.1.5.1. Verificar si previamente se ha efectuado una Auditoría a los Sistemas de Información a través del los cuales se maneja el Programa.

4.1.5.2. Si ello no se ha realizado, solicitar apoyo especializado para desarrollar pruebas de consistencia y confiabilidad.

4.1.6. Examen de la Cuenta Rendida por los Gestores del Servicio, en lo referido a cada proyecto.

4.1.6.1. Verificar la Regularidad del Gasto.

4.1.6.2. Determinar si los desembolsos son conducentes al logro de un mejor status social entre los sujetos usuarios de cada Proyecto.



P. LL. C./ 30

4.1.6.3. Control de la Gestión de la Ejecución del Programa, en la medida que se cuente con facultades al efecto.

4.1.6.3.1. Economía: monto gastado versus monto asignado.

4.1.6.3.1. Eficacia: porcentaje de personas satisfechas versus el total de personas atendidas.

4.1.6.3.2. Eficiencia: cumple el objetivo social y además perdura en el tiempo.

4.1.6.3.3. Comprobación del cumplimiento de los objetivos específicos que la Ley establece, comparando personas sin acceso al Programa, (pero con el mismo perfil social que aquellos que se beneficiaron), con el grupo que fue partícipe de aquél o que recibió el satisfactor.



P. LL. C./ 31

II. FASE DE EJECUCIÓN DE LA AUDITORÍA DE IMPACTO.

1. Actividades Mínimas a Considerar. Estas actividades se dividirán en tres tipos en relación a su naturaleza.

1.1. Aspectos Contables.

1.1.1. Conciliar la totalidad de los fondos del servicio a través de la siguiente fórmula:

Saldo Inicial Auditado + Ingresos Totales – Gastos = Saldo Final

1.1.2. Para cada proyecto generar un mayor auxiliar, verificando que no se gasten recursos asignados presupuestariamente a un determinado proyecto en otro distinto (malversación).

1.1.3. Validar la existencia de los proveedores y si el giro corresponde a los insumos facturados.

1.1.4. Determinar cuáles comprobantes de egreso, corresponden a qué proyecto.

1.1.5. Verificar los respaldos administrativos y legales para cada comprobante de Egreso

1.2. Aspectos Legales.

1.2.1. Comprobar que el gasto tiene relación con los objetivos del proyecto.

1.2.2. Comprobar la existencia de documentación, que acredite la recepción conforme, a los reclamos de los beneficiarios del proyecto.

1.2.3. Determinar la existencia de procedimientos que permitan al gestor de cada proyecto monitorear la implementación.



P. LL. C./ 32

1.3. Aspectos Relacionados con los Sistemas de Información.

1.3.1. Verificar el adecuado funcionamiento de los Sistemas de Información implementados para el manejo del Programa..

1.3.2. Validar la consistencia de las Bases de Datos.

1.3.3. Comprobar la confiabilidad de los datos.

1.4. Aspectos Relacionados con la Gestión.

1.4.1. Completar las mediciones necesarias para establecer los ratios de Economía, Eficiencia y Eficacia.

1.5. Aspectos Directamente Relacionados con el Impacto.

1.5.1.- Satisfacerse en terreno de la efectiva transferencia, del bien o servicio, al usuario.

1.5.2. Efectuar un pareo, entre aquellas personas que se designaron, en principio, como receptores legítimos del satisfactor y aquellas que efectivamente lo recibieron.

1.5.3. Establecer el grado de satisfacción expresada por el beneficiario relativa a los resultados del programa, mediante el empleo de técnicas de validación basadas en encuestas o entrevistas.

1.5.4. Si ello es posible, estimar el efecto cuantitativo de la variable dependiente en estudio, en base al modelo estadístico “Box-Plots”.

1.5.5. Poblar los Cuadros de Mando de Implementación, de Satisfactor y de Objetivo Social, para estudiar la evolución de cada proyecto en el tiempo, pero además de forma desagregada.



P. LL. C./ 33

III. FASE DE ANÁLISIS Y EVALUACIÓN DE LA AUDITORÍA DE IMPACTO.

Aún cuando constituye una aspiración a futuro, susceptible de ser materializada en una etapa posterior del desarrollo en la Auditoría de Impacto, se ha estimado pertinente presentar un conjunto de Cuadros de Manda, como una alternativa interesante para ser utilizada en el análisis de seguimiento de la evolución de los efectos provocados en los beneficiarios de un Programa Social.

1. CUADRO DE MANDO DE LA IMPLEMENTACIÓN.

Se utiliza para evaluar los conceptos de Economía y Eficacia mencionados anteriormente, en la Fase de Ejecución de la Auditoría del Impacto, con el fin de analizarlos en las perspectivas que más adelante se describen.

Conceptos (en %) Economía Eficacia Sumatoria Promedio Medición Inicial Año Siguiente

Tercer Año Etc.

El estudio de la evolución a través de este Cuadro de Mando, requiere de un análisis efectuado desde las siguientes perspectivas:

1.1. Paramétrica

Se realiza a partir del análisis de una sola variable perteneciente al Cuadro de Mando de la Implementación y permite solucionar, preliminarmente, interrogantes cómo las siguientes:

1.1.1. ¿Por qué Economía tiene el valor XX %?

1.1.2. ¿Por qué Eficacia sólo alcanza al XX%?

1.1.3. ¿Por qué Sumatoria está lejos de su máximo?

1.1.4. ¿Por qué el Promedio es tan bajo?



P. LL. C./ 34

1.2. Analítica

Se ejecuta sobre la base de desagregar los efectos netos.

1. A pesar que el promedio se mantiene, el gasto se incrementó, pero la Eficacia disminuyó.

Nota: estos ejemplos corresponden al año 2 (segunda medición)

1.3. Vertical

Se centra en las tendencias en el tiempo.

2. La Economía se estabiliza en XX, en cambio las otras variables se incrementan.

2. CUADRO DE MANDO DEL SATISFACTOR.

A continuación se presenta el segundo Cuadro de Mando a completar. Nuevamente se han anotado estimaciones ficticias acerca de la evaluación que reciben los objetivos de una política económica luego de aplicar un proyecto, los que corresponden a Calidad, Cantidad, Cobertura, Oportunidad en base a las calificaciones de Alto, Medio y Bajo.

Calificaciones Alto, Medio

o Bajo

Calidad Cantidad Cobertura Oportunidad Moda (Satisfactor)

Medición Inicial

Año Siguiente Tercer Año

Etc. Nota: La Moda es, estadísticamente un operador matemático, correspondiente a la alternativa que más se repite.



P. LL. C./ 35

3. CUADRO DE MANDO DEL OBJETIVO SOCIAL.

Es la calificación ex post o calificación centralizada de los indicadores, que miden realmente un cambio en el estatus socioeconómico del cuerpo social, que se benefició con el Satisfactor. Esta calificación se hace a partir de ciertas preguntas sobre la aplicación de proyecto las cuales corresponden a: ¿Se Cumple (el proyecto)?, ¿Perdura?, ¿Empoderamiento?, ¿Disminuye la Pobreza?

Calificaciones: Alto, Medio o

Bajo

¿Se cumple?

¿Perdura? ¿Empoderamiento? ¿Disminuye la

Pobreza?

Moda (Obj. Social)

Medición Inicial

Año Siguiente Tercer Año

Etc.

Notas

1) Las connotaciones A, M y B se obtienen a partir de formularios o entrevistas, ya que no tiene sentido la asignación de notas subjetivas para variables de tipo “Cualitativo”.

2) Aquellos proyectos que sólo se ejecuten una vez y con una duración inferior a un año, poseerán Cuadros de Mando de dos líneas. La medición inicial deberá substituirse por “única medición”.



P. LL. C./ 36

3. CUADRO DE MANDO PANORÁMICO.

Es utilizado para reunir en un sólo Cuadro, los resultados obtenidos de los tres Cuadros anteriores, los cuales permiten establecer que tan buena resultó la aplicación del proyecto a lo largo del tiempo. Parámetros Cuantitativos y Cualitativos

Gasto Real

MM $

Promedio (Implementación)

Moda (Satisfactor)

Moda (Objetivo

Social)

Impacto (DeterminarUnidad de Medida)

Medición Inicial

Año siguiente Tercer Año Etc.

Nota: La columna “Gasto Real” y la de “Impacto”, son sólo ejemplos, en cambio: Promedio, se deriva del Cuadro de Mando de la Implementación. Moda (Satisfactor), se obtiene del Cuadro de Mando del Satisfactor. Moda (Objetivo Social), es producto del Cuadro de Mando del Objetivo Social.



P. LL. C./ 37

IV FASE DE ELABORACIÓN DEL INFORME DE AUDITORÍA DE IMPACTO.

Tanto la evaluación de Control Interno, como el Informe propiamente tal, deberán incluir, al menos, las respuestas a las interrogantes que a continuación se presentan:

4.1.- INTERROGANTES A RESPONDER. 4.1.1. Se cumplió o no con el cronograma por el que debió regirse la

implantación del Programa, en cuanto a oportunidad, cantidad y calidad.

4.1.2. Con respecto a la Planificación para implementar el proyecto:

1 ¿Fue adecuada? ¿Por qué no?

2 ¿Puede mejorarse? ¿Cómo?

4.1.3. El Control Interno, para la administración del programa:

1 ¿Fue adecuado? ¿Por qué no?


4.1.4. Con respecto a la Dirección:

1 ¿Fue adecuada? ¿Por qué no?

2 ¿Existió Control de Gestión en tiempo real? ¿Qué dicen los registros?


4.1.5. En relación con el Examen de Cuentas:

1 ¿El gasto es legal?

2 ¿Los desembolsos efectuados, lograron un mejor status social, en las personas usuarias del programa?



P. LL. C./ 38

4.1.6. ¿El universo sobre el que se efectuó realmente el Programa, es aquél que en un principio se definió como meta de la acción social?

4.1.7. Establecer:

1 Diferencia en pesos, entre el Monto asignado en un comienzo, versus el Costo Total final (Economía).

2 El porcentaje de Eficacia, medido como: el número de personas satisfechas versus el total de personas atendidas.

3 Eficiencia: Se cumple el objetivo social, y éste además perdura en el tiempo.

4.1.8. Se cumplió el objetivo que la Ley le asignó al Programa

1 ¿A un costo razonable?

2 ¿Con la calidad exigida?

3 ¿Con la oportunidad debida en los plazos de entrega de los satisfactores?

4.1.9. ¿Qué porcentaje del Grupo encuestado, entiende y justifica la explicación de la brecha existente, entre lo que se quiso lograr como objetivo, y lo que realmente se logró?

4.1.10. Los usuarios del programa, una vez finalizado éste, se perciben más informados, más integrados a la sociedad y con menos carencias ¿Existió gracias a este Programa, la creación de Empoderamiento? (como percepción perdurable en la gran masa de los sujetos atendidos).



P. LL. C./ 39

PARTE TERCERA: CONCLUSIONES Y RECOMENDACIONES

I. Conclusiones

1. En el plano conceptual, esta Contraloría General propone la siguiente definición de Auditoría de Impacto:

“Examen crítico y objetivo del resultado logrado en el tiempo por la aplicación de recursos públicos efectuada a través de un programa en el ámbito social, el cual se realizará en términos cualitativos y/o cuantitativos”.

2. Tanto la Evaluación del Impacto, que es de responsabilidad directa de la Administración, como la Auditoría de Impacto, competencia de las EFS, aportan elementos de una riqueza notable en el logro de una exitosa asignación de los recursos públicos a la solución de importantes y urgentes necesidades sociales.

3. Para que ambas resulten posibles, sobre todo en una perspectiva cuantitativa, los Programas respectivos deben considerar desde su génesis la incorporación de algunos componentes:

a. Un impacto esperado en una o más variables a partir del diseño e implementación del Programa, en el corto, mediano y largo plazo.

b. Diseño de un Sistema de Información para el manejo estadístico de las mediciones vinculadas al comportamiento de dichas variables.

c. Un Grupo de Control el cual debe ser objeto de observación y mediciones objetivas en forma simultánea a la población objeto del Programa.

d. La concepción de un feedback proactivo a la corrección del Programa, así como a la oportuna evaluación de su pertinencia y validez como objeto de asignación de recursos públicos.



P. LL. C./ 40

4. La Auditoría del Impacto, debe necesariamente pronunciarse acerca de la Evaluación cumplida por la Administración, ya sea que ella se cumpla con recursos profesionales propios o sea ella licitada a consultoras externas. Lo anterior, por cuanto agrega objetividad y transparencia a la Rendición de Cuentas Pública, en la medida que es un elemento de gran trascendencia para la Ciudadanía, por cuanto valida la real existencia de resultados de la aplicación de los recursos aportados por ésta para la satisfacción de necesidades comunes.

5. Si bien es cierto las Entidades Financieras de la Cooperación Internacional han desarrollado metodologías de cálculo de cierta sofisticación, las EFS de la Región, normalmente carentes de grandes capacidades económicas y profesionales, pueden efectuar Auditorías de Impacto cuantitativas a través de la aplicación de Métodos Estadísticos simples como lo es el Box Plotz, cuyo desarrollo sólo se vería limitado por la ausencia de datos de medición de las variables objeto de la aplicación de recursos públicos.

6. En subsidio a la Auditoría de Impacto Cuantitativa, las EFS pueden comenzar su trabajo en esta área, mediante la aplicación del análisis cualitativo, que no obstante sus limitaciones, igualmente proporciona elementos de gran riqueza conceptual al momento de emitir opinión acerca de los resultados de los Programas de Inversión en el ámbito social, y que significan un alto valor agregado a la Función de Control Superior.

RECOMENDACIONES:

1. Constituir un Grupo de Trabajo, dependiente de la Comisión de Rendición de Cuentas de la OLACEFS, con el objeto de efectuar un diagnóstico y estudios comparados de la realidad regional en materia de diseño y gestión de Programas Sociales, que permita sentar las bases para una Pauta Metodológica para la Auditoría de Impacto, así como su prueba en una muestra de países miembros de la Organización.

2. Este Grupo de Trabajo debería, también, efectuar un levantamiento a nivel mundial relativo a Evaluación y Auditoría de Impacto, con miras a generar bases de datos especializadas, que puedan integrarse a la gestión del conocimiento cuyo desarrollo está considerado en el Plan Estratégico Quinquenal de la Organización.



P. LL. C./ 41

3. Asimismo, este Grupo de Trabajo, en coordinación con la Secretaría Ejecutiva de la OLACEFS, debería preparar un proyecto de financiamiento externo para las actividades de la misma, que permitiera, además, sustentar un programa de capacitación de profesionales en Evaluación y Auditoría de Impacto ya sea bajo apoyo de EFS como la GAO o la Corte de Cuentas de Francia, que poseen experticia y experiencias en el tema, o bien, al alero de las Entidades Financieras de la Cooperación Internacional, como el Banco Mundial, el BID o la CEPAL. //



P. LL. C./ 42

BIBLIOGRAFÍA.

1 “Panorama Social - Pobreza y Distribución del Ingreso 2002-2003”. Publicación de la CEPAL. 2 “Desarrollo Productivo en Economías Abiertas”, Trigésimo Período de Sesiones de la CEPAL, San Juan, Puerto Rico 28 de

Junio al 2 de Julio de 2004. 3 “Directrices de Aplicación de las Normas de Auditoría del Rendimiento.” Autor: Kjell Larsson, Auditor General, Oficina Nacional de Auditoría de

Suecia, Presidente del Comité de Normas de Auditoría de la INTOSAI. 4 “Introducción a la Estadística para las Ciencias Sociales.”

Autores: Daniel Peña – Juan Romo Mc Graw – Hill / Interamericana de España, S.A.U., Primera edición en español. Impreso en España. 1997.

5 “Manual Para la Evaluación de Impacto de Proyectos y Programas de Lucha Contra la Pobreza”

Autor: Hugo Navarro. Publicación de la Naciones Unidas, Impreso en Santiago de Chile.2005. 6 “Directrices de Aplicación Europea de las Normas de Auditoría de la

INTOSAI” Autores: Grupo de trabajo presidido por un representante del Tribunal de

Cuentas Europeo, además de personas pertenecientes a las siguientes instituciones nacionales de control: Rigsrevisionen/Dinamarca, Tribunal de Cuentas/España, Corte dei Conti/Italia, Algemene Rekenkamer/Países Bajos, Riksrevisionsverket/Suecia, Nacional Audit. Office/Reino Unido.

Publicación del Tribunal de Cuentas Europeo. 1998.

Documents

XVI ASAMBLEA GENERAL DE LA QUITO ECUADOR 6 …...sobre Evaluación de Programas de la INTOSAI”, de 1995, la Auditoría de Impacto (o de “Influjo”) consiste en evaluar la implementación