COMISIÒN DE VIGILANCIA DE LA CÀMARA DE DIPUTADOS Unidad de EvaluaciÓn LA EVALUACIÒN AL DESEMPEÑO Y LOS INDICADORES EN LA FISCALIZACIÒN SUPERIOR Dr. Fernando

COMISIÒN DE VIGILANCIA DE LA CÀMARA DE COMISIÒN DE VIGILANCIA DE LA CÀMARA DE DIPUTADOSDIPUTADOS

Unidad de EvaluaciÓnUnidad de EvaluaciÓn

LA EVALUACIÒN AL DESEMPEÑO Y LOS INDICADORES EN LA

FISCALIZACIÒN SUPERIOR

Dr. Fernando Vera Smith

Enero de 2012

1

INDICADORESINDICADORES

I. Proceso administrativo y sistema de control

II. Sistema de medición

III. Concepto

IV. Construcciòn y utilidad

V. Clasificaciòn2

COMISIÓN DE VIGILANCIA DE LA CÁMARA DE DIPUTADOSUnidad de Evaluación

3

Proceso AdministrativoProceso Administrativo

PLANEACIÓN Y ORGANIZACIÓN

DIRECCIÓN

CONTROL

SISTEMA DE MEDICIÓN

MEDICIÓN DE RESULTADOS

• COMPARACIÓN DE RESULTADOS VS OBJETIVOS• ANÁLISIS DE CAUSAS DE VARIACIONES• IDENTIFICACIÓN Y EVALUACIÓN DE OPCIONES• TOMA DE DECISIONES Y ACCIONES CORRECTIVAS

EVALUACIÓN DE ACCIONES IMPLANTADAS Y RETROALIMENTACIÓN

RETROALIMENTACIÓN

4

SISTEMA DE CONTROL

Registro de resultados

Comparación de resultados vs. metas e indicadores

Análisis de causas de variaciones

Evaluación de opciones

Toma de decisiones

Evaluación y retroalimentación

Rendición de cuentas

Establecimiento de metas

Sistema de medición

Sistema de MediciónSistema de Medición

¿Qué medir? ¿Contra qué comparar? ¿Cómo medirlo? ¿A quién, cuándo y con qué periodicidad

reportarlo?

5


Criterios de Evaluación

Factores críticos de éxito en la entidad Atributos de productos y servicios

Estándares

Calidad Capacidad Cantidad Estructura Costo Economía Oportunidad Eficiencia Utilidad

6


“Lo que no se puede medir no se puede entender, lo que no se puede entender no se puede controlar y lo que no se puede controlar no se puede mejorar”.

En las mismas circunstancias, los resultados de las organizaciones son diferentes dependiendo de la actuación de sus integrantes.

7


Asignación de números a los objetos o fenómenos, atendiendo a las reglas establecidas de antemano.

Determinación de la longitud, volumen, peso o distancia de objetos físicos, o cualidades, defectos, situaciones o resultados de las acciones realizadas.

8

Sistema de MediciónSistema de MediciónResistencia a la MediciónResistencia a la Medición

9

• Miedo (no sé qué pase con esto)

• Negación (yo no soy el responsable)

• Transferencia (el responsable es otro)

• Maquillaje (a mí no me agarran)

• Prima Donna (soy especial)

• Linus (frazada de seguridad)

• Panacea (varita mágica)

• Garrote (golper a los “malos”)

• Síndromes:

Sistema de MediciónSistema de MediciónResistencia a la MediciónResistencia a la Medición

10

• Manía por las mediciones (exceso)

• Hiperactividad (sin relación)

• Reacción en exceso (en investigación y cambios)

• ¿Y yo qué gano?


Resistencia a la MediciónResistencia a la Medición

11

• Por cambiar (sin sentido)

• Destruyendo lo positivo (todo estaba mal)

• Sin trascendencia (títulos, presentación)

• Mayor costo que beneficio

• Por poder personal

• Sin participación de los afectados por el cambio

Cambios Improcedentes


Criterios de EvaluaciónCriterios de Evaluación

Normas o estándares contra las cuales se compara el desempeño de la administración de una entidad en el cumplimiento de sus objetivos, en la relación con su entorno y en el grado de economía, eficiencia y eficacia logrado en sus operaciones.

12

• Son los elementos y las actividades esenciales para que una organización pueda lograr su VISIÓN y cumplir con su MISIÓN.

• Los FACTORES CRÍTICOS DE ÉXITO se identifican analizando los procesos de cada negocio o institución.

13

Sistema de MediciónFactores Críticos de Éxito

IV-10

Sistema de MediciónSistema de MediciónConcepto y Tipo de VariablesConcepto y Tipo de Variables

Atributos , cualidades, propiedades o características que hacen similares o diferentes a las organizaciones, lo que permite ordenarlos según el matiz o la modalidad con que poseen , que pueden :

•Presentarse o no en los productos, servicios, bienes y operaciones.

•Presentarse en matices o modalidades diferentes, o•En grados, magnitudes o medidas distintas a lo largo

de un continuo.

14

ConceptoConcepto

Valor numérico que provee una medida para ponderar el desempeño cuantitativo y/o cualitativo de un sistema.

Parámetros que integran al sistema de medición para evaluar el nivel de cumplimiento de los objetivos, que dan respuesta a la misión de una institución a través de resultados alcanzados.

15

ConceptoConcepto

Instrumento cuya aplicación nos muestra la tendencia y la desviación de una actividad sujeta a influencias internas y externas con respecto a una unidad de medida convencional.

Son relaciones cuantitativas entre dos cantidades que corresponden a un mismo fenómeno o fenómenos diferentes.

16

Construcciòn y UtilidadConstrucciòn y Utilidad

PROCESOADMINISTRATIVO

PLANEACIÓN Misión, visión y estrategias - objetivos-Programas, proyectos, funciones y procesos

- objetivos-Asignación de recursos - objetivos-

ENTENDIMIENTO

¿Qué hacer?

¿Cómo hacerlo?

¿Con qué hacerlo?

17

Construcciòn y UtilidadConstrucciòn y Utilidad

PROCESO ADMINISTRATIVO

EJECUCIÓN Producción de bienes y servicios

– metas- Resultados de la operación

ENTENDIMIENTO

¿Qué, cuánto, cuándo, dónde y para quién producirlo?

¿Qué avances y desviaciones? ¿Qué impacto? ¿Qué correcciones o cambios?

18

Construcciòn y UtilidadConstrucciòn y UtilidadProceso de ElaboraciónProceso de Elaboración

ACTIVIDADES

19

Identificación de factores críticos deéxito de la entidad y de programas,

procesos y funciones

Identificación de atributos de diseño,de procesos y definición de normas

y políticas

Identificación de atributos de los productos y servicios

Establecimiento deestándares de operación.

Establecimiento de metas

Identificación y evaluaciónde riesgos críticos

Establecimiento de medidas para su eliminación

o minimización.

ATRIBUTOS DE DISEÑO•Accesibilidad•Sencillez•Seguridad•Mantenimiento•Almacenamiento

Cuantificación de impactos

ATRIBUTOS DE BIENES Y SERVICIOS•Calidad•Cantidad•Costo•Oportunidad•Utilidad

Construcciòn y Utilidad Construcciòn y Utilidad Proceso de Implantación Proceso de Implantación

20

VALIDACIÓN

REQUERIMIENTO DE INFORMACIÓN

OBTENCIÓN DE INFORMACIÓNNO DISPONIBLE

DIFUSIÓN

IMPLANTACIÓN

PRUEBA PILOTO

Construcciòn y UtilidadConstrucciòn y UtilidadAnálisis de los IndicadoresAnálisis de los Indicadores

21

RECOLECCION DEDATOS

ANÁLISIS DEVARIACIONES

CAUSAS DE VARIACIONES

SEGUIMIENTO

TOMA DE ACCIONES CORRECTIVAS

IDENTIFICACIÓN Y ANÁLISISDE ALTERNATIVAS

Construcciòn y UtilidadConstrucciòn y UtilidadCausas de VariacionesCausas de Variaciones

22

CONTROL DECALIDAD

SISTEMAS PROCEDIMIENTOS Y

TECNOLOGÍAPERSONAL EQUIPO Y

MATERIALES

ENTORNO PROVEEDORES CLIENTES

CAUSAS DE VARIACIONES

RECHAZOSREPROCESOSRETRASOS

INEXISTENTES

NO ADECUADOS

SIN CUMPLIMIENTO O

UTILIZACIÓN

INEXISTENTE

NO CAPACITADO

NO MOTIVADO

INEXISTENTE

NO ADECUADO

EN MAL ESTADO

SOCIAL

POLÍTICO

LABORAL

ECONÓMICO

AMBIENTAL

TECNOLÓGICO

SIN SURTIDO

SURTIDO

EXTEMPORÁNEO

FUERA DE ESPECIFIACIONES

COSTO EXCESIVO

DEVOLUCIONES

INCOMFORMIDADES

QUEJAS

DEMANDA

23

UtilidadUtilidadPara la Administración

En la planeación Historia Competencia Posibilidades actuales Características del entorno

En la dirección Comunicación Motivación Retribución Que se incluyen diversas dimensiones Que existan incentivos y sanciones

En el control Monitoreo Análisis de desviaciones Toma de acciones Logro de objetivos

24

UtilidadUtilidad

Para la auditoría: En la familiarización o investigación preliminar

En la planeación

En la evaluación del sistema de control y del sistema de información

En la ejecución de la auditoría (evaluación)

En la presentación de sus hallazgos (cuantificación)

IndicadoresIndicadoresCorrelación entre misión, visión y objetivos Correlación entre misión, visión y objetivos

estratégicosestratégicos

COHERENCIA DE LA PLANEACIÓN

MISIÓNProporcionar productos electrónicos y sistemas para ayudar a los clientes de todo el mundo a mejorar su eficacia personal y empresarial

VISIÓN Lograr “X%” de participación en el mercado local en los próximos 5 años.

OBJETIVO ESTRATÉGICO Participar en el mercado local en “Y%” para el próximo año

PROGRAMAS

Incorporación de nuevos productos (3)Proyecto 1Proyecto 2Proyecto 3Proyecto de incorporación de nuevos distribuidores (10)Proyecto de reducción de costos, línea A (20%), línea B (15%).

25

IndicadoresIndicadoresSelección de Forma y Puntos de MediciónSelección de Forma y Puntos de Medición

Criterios:

Forma de medición:

• Que se incorporen a la operación, para minimizar su costo y acelerar su obtención

• Que se determinen de las operaciones sin que requieran procesos posteriores

• Que se evalúe la relación costo/beneficio de su obtención

26

IndicadoresIndicadoresSelección de Forma y Puntos de MediciónSelección de Forma y Puntos de Medición

Criterios:

Selección de puntos de medición que:• Midan sólo aspectos críticos, para evitar

generación de datos, controles y costos excesivos• Sean congruentes con los objetivos• Evalúen su grado de cumplimiento y sus

desviaciones críticas• Impacten positivamente en la conducta• Influyan significativamente• Sean aceptados por quienes los menejen• Sean revisados periòdicamente• Sean flexibles (relaciòn insumo-producto)

27

Indicadores de la EntidadIndicadores de la Entidad

Del objetivo estratégico

Participación en el mercado de “X%”

Preferencia de los clientes hacia los productos de la entidad

Participación de mercado

Grado de satisfacción de los clientes en cuanto a :

Garantía

Manejo Disponibilidad

Oportunidad Servicio

Mantenimiento Precio28

Factores críticos de éxito IndicadoresFactores críticos de éxito Indicadores

Indicadores de la EntidadIndicadores de la Entidad

De los programas y proyectosDesarrollo y operación de nuevos productos (3)Desarrollo y operación de nuevos distribuidores (10)Abatimiento de costos (20% línea A y 15% línea B)

Desarrollo y operación de nuevos productosDesarrollo y operación de nuevos distribuidoresCostos unitarios de productos

A y B

De los procesos y funciones existentes

Retención de clientes

1.Mínimo de Quejas

2.Oportunidad de entrega (3 días)

3.Competitividad en precios (más bajo)

Retención de Clientes

1. Porcentaje de quejas

2. Días de retraso en entrega

3. Competitividad en precios29

Factores críticos de éxito IndicadoresFactores críticos de éxito Indicadores

IndicadoresIndicadoresCualidadesCualidades

COHERENCIACOHERENCIARelación lógica ascendente, descendente y Relación lógica ascendente, descendente y lateral.lateral.

RELEVANCIARELEVANCIAProcesos y productos esenciales de la entidadProcesos y productos esenciales de la entidad

INTEGRIDADINTEGRIDADConjunto homogéneo e interrelacionado a Conjunto homogéneo e interrelacionado a distintos niveles de desagregacióndistintos niveles de desagregación

CONFIABILIDADCONFIABILIDAD

En los procesos de: definición, elaboración, En los procesos de: definición, elaboración, validación, análisis de variaciones, toma de validación, análisis de variaciones, toma de acciones correctivas y seguimiento.acciones correctivas y seguimiento.

COMPARABILIDADCOMPARABILIDAD

Consideración en la determinación de Consideración en la determinación de indicadores de objetivos de : historia, otras indicadores de objetivos de : historia, otras unidades, competencia, cambios…unidades, competencia, cambios…

30

IndicadoresIndicadoresCualidadesCualidades

UNICIDAD Mismos valores y significado para todos

OPORTUNIDAD Periodicidad y fecha de emisión

ACCESIBILIDAD Por quienes se vean afectados, incluso clientes

ECONOMÍA Regla costo beneficio

SENCILLEZEntendibles por quienes los utilicen y tengan conocimientos básicos de administración y de la operación

PARTICIPACIÓN

Involucramiento de todos los actores relevantes en: diseño, mecánica de captura, sumarización, validación, distribución, análisis de variaciones, toma de decisiones y seguimiento.

31

IndicadoresIndicadoresClasificaciónClasificación

INTERNOS

De cumplimiento de objetivos de la entidad (eficacia)

• Participación en el mercado o cobertura de la población

• Ventas, utilidades, costos, etc.

Auditorías• De diseño del proceso• De cumplimiento de su normatividad

De la producción de bienes y servicios

• Economía• Eficiencia• Eficacia

EXTERNOS

De impacto (encuestas y sondeos)

Percepción de la “utilidad” de la entidad por:

• Cliente• Proveedores• Personal• Comunidad• Accionistas

Percepción de los clientes de la utilidad de los productos y servicios proporcionados:

Precio Calidad Servicios Garantía Mantenimiento Disponibilidad Condiciones de Pago 32

IndicadoresIndicadoresClasificaciónClasificación

Por su contenido Por su relación con los objetivos Por su objetividad Por su estructura Otras clasificaciones

33

IndicadoresIndicadoresClasificación – por su contenidoClasificación – por su contenido

34

Insumos Proceso Productos/servicios

Calidad

Oportunidad

Costo

Utilidad/costo


Calidad

– Elaboración del producto o proporción de servicios de acuerdo con determinadas especificaciones

Precisión (dentro de nivel tolerable de error) Ruido (ausencia de) Continuidad (en la entrega del servicio o el bien) Fallas en su uso (ausencia o cantidad dentro de

rango) Oportunidad

35


Calidad– Otros atributos evaluados vía análisis de procesos o de

encuestas:

Seguridad Factibilidad de Manejo

Cortesía en la atención Compatibilidad con equipos complementarios

Variedad de usos Comodidad

Disponibilidad (en tiempo y lugar)

Caducidad

Conservación (más tiempo o más simple, mejor calidad)

Costo y facilidad de mantenimiento

Portabilidad (manejo) Garantías

36


Calidad

– Indicadores más comunes (1): Errores Rechazos Reprocesos Desperdicios Quejas

(1) Relacionados con los de economía, eficiencia, eficacia e impacto.

37


Oportunidad

– Comprende los tiempos de obtención de insumos, proceso y entrega. Ejemplos:

Promedio de atención Veces que se atendió (o dejó de atender)

– Entrega del producto o servicio en el tiempo pactado. Dentro del tiempo estándar Días de atraso Entrega a tiempo Análisis de desviaciones

– Tiempos de espera (de respuesta, de aportación de documentos, de decisiones, etc.)

– Tiempos de inactividad (cuellos de botella, reunión de lotes)

38


Costo

– Valor de los insumos adquiridos o utilizados en la producción de bienes y servicios

– Forma parte de los indicadores de economía y eficiencia (no conviene manejarlo por separado)

– En el caso de gastos generales, como porcentaje del total

39

IndicadoresIndicadoresClasificación por sus ObjetivosClasificación por sus Objetivos

INSUMO PROCESO SALIDA

DE MEDIOS DE FINES

De economía De eficiencia De eficacia

De capacidad De impacto

40


De Economía

Tipo de Insumo Contenido del Indicador

Atributo

Materiales, suministros y equipos.

Calidad

Costo

Oportunidad

Rechazos y/o devoluciones

Reprocesos

Quejas y/o reclamaciones

Variaciones en costos por precio y/o cantidad

Paros en producción por falta de material

41


De Economía

Tipo de Insumo

Contenido del Indicador

Atributo

Humanos Calidad

Costo

Oportunidad

Rotación de personal

Aspirantes a empleos vs contrataciones

Aspirantes a inscripción vs inscritos

Evaluaciones del personal

Costo de contratación

Renuncias

Evaluaciones del personal

Retrasos por falta de personal

Financieros Costo Tasa de Interés vs utilidad de operación

42


De Eficiencia

Relación entre insumos y productos en cuanto a cantidad, costo y tiempo. No deben existir actividades “eficientes” no vinculadas con las metas.

Ejemplos: – Unidades producidas por hora-máquina y por

persona-hora– Peticiones recibidas vs atendidas– Alumnos ingresados vs egresados

43


De Capacidad

Relación entre el nivel de utilización de los recursos y los disponibles o potenciales de uso.

Pueden evaluarse en función de diversas unidades.

Conviene convertirlas en pesos.

Capacidad utilizada Fórmula = Capacidad instalada

Conclusiones más probables

Suficiente No aprovechada (ociosa)Insuficiente SubutilizadaExcesiva 44


De Eficacia

Grado en que se logran las metas. Pueden corresponder a unidades de servicio internas o de contacto con clientes.

Realización del objetivo Fórmula = del programa Logro o beneficio planeado

Porcentaje de recuperación de créditos Cobranza/Facturación Porcentaje de deserción (o asistencia) en capacitación o educación Denuncias recibidas vs resueltas Quejas recibidas vs resueltas (de clientes, empleados o proveedores).

45


De Impacto

Efecto o resultado final del programa (grado de éxito o fracaso).

Percepción que tienen los clientes (internos y externos) de los productos o servicios generados.

Pueden ser cualitativos (percepción de beneficios) o cuantitativos (coberturas)

46


De Impacto

Ejemplos

La emisión de licencias para restaurantes (eficacia) mejoró la sanidad (impacto).

Los alumnos egresados (eficacia) alcanzaron el nivel deseado de educación (impacto)

El sistema de control de medio ambiente de una entidad (eficacia) redujo la contaminación de un río (impacto).

47


De Impacto

Ejemplo de niveles de Impacto

48

NO. DE EGRESADOSO CAPACITADOS

GRADO DE APROVECHAMIENTO(EN LA EFICIENCIA O

CALIDAD CON QUESE DESARROLLAN SUS

LABORES)

MEJORAECONÓMICA DEL

PARTICIPANTE

MEJORA DE LA

POBLACIÓN

ETCÉTERA


Ejemplos de impacto:

En clientes o usuarios:

Satisfacción• Calidad (especificar) del producto o servicio• Disponibilidad• Atención• Oportunidad (tiempo de espera)

Participación en el mercado

• Clientes perdidos o ganados• Territorios cubiertos o no• Tipos de clientes cubiertos o no

49


Ejemplos de impacto:

En la sociedad (deseables o indeseables)

Económicos (crecimiento o decrecimiento)

• Niveles de empleo o desempleo• Marginación• Distribución del ingreso• Producto nacional bruto• Ingreso per capita• Nivel de vida de la población

50


Ejemplos de impacto:En la sociedad (deseables o indeseables)

Sociales (calidad de vida)• Servicios proporcionados vs solicitados• Solicitudes atendidas vs recibidas• Atención a la demanda (porcentaje)

Cobertura (o rezago) en servicios• Población con o sin “X” característica• Seguro social• Educación• Habitación• Empleo• Hacinamiento• Agua• Derenaje• Carreteras• Comunicaciones 51

CONCLUSIONES Y RECOMENDACIONES A LA CONCLUSIONES Y RECOMENDACIONES A LA FUNCIÓN DE EVALUACIÓN E INDICADORES DE FUNCIÓN DE EVALUACIÓN E INDICADORES DE

DESEMPEÑO TANTO DE LA UEC COMO PARA LA ASFDESEMPEÑO TANTO DE LA UEC COMO PARA LA ASF

•Es necesario fortalecer la evaluación del desempeño y establecer un sistema de indicadores del desempeño tanto en la UEC como en la ASF, mediante:

• Profesionalización del personal• Mejoramiento del marco normativo• Utilización de tecnologías y mejores prácticas.• Autoevaluaciones.

52


DESEMPEÑO TANTO DE LA UEC COMO PARA LA ASFDESEMPEÑO TANTO DE LA UEC COMO PARA LA ASF•Participar en Comisiones que evalúen los indicadores establecidos en los programas e instituciones .

•Desarrollar investigaciones de las mejores prácticas en el ámbito internacional sobre los temas de Auditoría al Desempeño, Autoevaluaciones, Indicadores y Mejores Prácticas Gubernamentales, entre otras.

•Estructurar y establecer la capacitación por niveles y temas para profesionalizar la actividad

53


DESEMPEÑO TANTO DE LA UEC COMO PARA LA ASFDESEMPEÑO TANTO DE LA UEC COMO PARA LA ASF

•Romper paradigmas que vienen desde tiempo inmemorial y que no están acordes con las necesidades actuales, tales como:

• El “principio” de anualidad.• El “principio “ de posterioridad.• La estructura, formato y concisión de los informes.

54

Documents

COMISIÒN DE VIGILANCIA DE LA CÀMARA DE DIPUTADOS Unidad de EvaluaciÓn LA EVALUACIÒN AL DESEMPEÑO Y LOS INDICADORES EN LA FISCALIZACIÒN SUPERIOR Dr. Fernando