Manuel Barbancho Medina

Director de la Unidad para la Calidad de las Universidades Andaluzas (UCUA)

Clemente Navarro

Coordinador del proyecto experimental andaluz de evaluación de títulos de postgrado (UPO)

Tarragona, 3 y 4 de noviembre de 2003

Competencias de las Agencias según la LOUCompetencias de las Agencias según la LOU

•La LOU resalta explícitamente que una de las principales innovaciones viene dada por la introducción en el sistema universitario de mecanismos externos de evaluación de su calidad. Para ello promueve la creación de la Agencia Nacional de Evaluación y Acreditación y de las Agencias Autonómicas, a través de sus respectivas Leyes. •Dichas Agencias asumen, en sus ámbitos respectivos, las competencias de evaluación, certificación o acreditación de las enseñanzas, de la actividad investigadora, docente y de gestión del PDI y de los servicios y programas de las Universidades, para promover y garantizar la calidad de las mismas.

Competencias de las Agencias según la LOUCompetencias de las Agencias según la LOU

Las funciones de evaluación, certificación y acreditación (referidas en el apartado 2 del artº 31), en el ámbito de sus competencias, corresponden al órgano de evaluación que la Ley de la Comunidad Autónoma determine, sin perjuicio de las que desarrollen otras Agencias de evaluación del Estado o de las Comunidades Autónomas. Artº 31.3

Ley Orgánica de Universidades

Ley Andaluza de las Universidades

Creación Agencia Andaluza de Evaluación y Acreditación

(desaparición UCUA)

ANECA

LA EVALUACIÓN DE LA CALIDAD EN ANDALUCÍA

según la LAU

LA EVALUACIÓN DE LA CALIDAD EN ANDALUCÍA

según la LAU

AgenciaEvaluación

ASIGNACIÓN DE FUNCIONES RELACIONADAS CON LA POLÍTICA

DE CALIDAD Y EVALUACIÓN

ASIGNACIÓN DE FUNCIONES RELACIONADAS CON LA POLÍTICA

DE CALIDAD Y EVALUACIÓN

Política de CalidadComisión de Fomento de la Calidad. (CAU)

Representantes CEC Rectores Universidades PúblicasTres miembros designados por el Parlamento de AndalucíaCuatro Presidentes Consejos Sociales.Director Agencia Andaluza de Evaluación  

Estructura Agencia

Comisión Técnica Superior de Evaluación:

-Director General

- Subdirectores de área

- Personas de prestigio

- Secretario

Consejo Rector

- Presidente: Consejera EC

- Vicepresidente: Director G.

- 3 Subdirectores área

- 5 profesores de prestigio (CAU)

- Gerente

- SecretarioOrganismo Autónomo de carácter administrativo

ESTRUCTURA DE LA AGENCIAESTRUCTURA DE LA AGENCIA

Estructura Funcional

Área de Docencia y Gestión Docente

COMPOSICIÓN

-P: Subdirector(es) Área(s)

- Expertos en las materias

- Composición equilibrada y adaptada a la función encomendada

Área de Investigación

Área de Administración y

Servicios

SUBCOMISIONES ASESORAS

ESPECÍFICAS

ESRUCTURA FUNCIONAL DE LA AGENCIAESRUCTURA FUNCIONAL DE LA AGENCIA

FUNCIONES Y RETOS DE LA AGENCIA DE CALIDAD

FUNCIONES Y RETOS DE LA AGENCIA DE CALIDAD

EVALUACIÓN DE

PROGRAMAS Y UNIDADES

ACREDITACIÓN Y

CERTIFICACIÓN

EVALUACIÓN DE

ACTIVIADES DEL PDI

FORMACIÓN, ESTUDIOS Y

DOCUMENTACIÓN

EVALUACIÓN PROFESORADO

EVALUACIÓN Plan Andaluz Investigación

AA petición de las Universidades, Consejería de Educación y Ciencia, organismos públicos y

privados y particulares.

Las Relaciones de la AgenciaLas Relaciones de la Agencia

OTRAS AGENCIAS

CONSEJERÍA E y CUNIVERSIDADES

AGENCIA

Sistema Universitario

AndaluzCAU

•Evaluación/certificación de programas/unidades•Informes para contratos PDI•Informes para complementos retributivos

•Informes acreditación títulos•Ev. Complementos retributivos•Colab. Ev. Contratos programa•Evaluación para PAI•Información

•Programas de formación•Apoyo Planes de Mejora•Información

Objetivos y agentes de la EvaluaciónLa Lógica del Proceso de Evaluación

Estructura, contenidos y procesos Factores y funciones en los procesosEl sistema de indicadores

El desarrollo del proceso de evaluaciónLas fuentes y los instrumentos

El Informe de EvaluaciónEl diagnósticoEl Plan de Mejora

Índice

Objetivos y agentes de la Evaluación

OBJETIVO GENERAL Mejora del título evaluado, desde una reflexión colectiva y múltiple (enseñanza, investigación y gestión) enfocada al alumnado como destinatario de la formación y usuario del servicio.

OBJETIVOS ESPECÍFICOS Establecer y validar criterios e indicadores Experimentar el Manual Analizar el proceso de evaluación

Identificar fortalezas y debilidades Proponer un Plan de Mejora

AGENTES Estudiantes Profesorado Tutores de investigación tutelada Directores de Tesis Doctorales Tribunales de Trabajos de investigación y Tesis Doctorales Coordinadores de Programas PAS Comisiones de Doctorado Departamentos Comisiones de Doctorado de la Universidad

Objetivos y agentes de la Evaluación

COMITÉ

La Lógica del Proceso de Evaluación: PROCESOS Y RESULTADOS

Título propio

Maestría

La Lógica del Proceso de Evaluación: FACTORES Y FUNCIONES

DEMANDA

OFERTA

DESARROLLO RESULTADO

FUNCIONES

PROCESOS Docencia Investigación Apoyo a la

Investigación Gestión

1º. Selección ++ 2º. Docencia ++ + + + 3º. Investigación Tutelada + ++ + + 4º. Tesis doctoral ++ + +

La Lógica del Proceso de Evaluación: EL SISTEMA DE INDICADORESPROCESO DE SELECCIÓN

S.1 S.2

DEMANDA S.4 S.5 S.6 S.7 S.8 S.9

DESARROLLO RESULTADOS

OFERTA

S.3

PROCESO DE DOCENCIA

D.1 D.2

DEMANDA D.6 D.7 D.8 D.9 D.10 D.16 D.17

DESARROLLO RESULTADOS

OFERTA D.11 D.12 D.13 D.14 D.15

D.3 D.4 D.5

PROCESO DE INVESTIGACIÓN

I.1

DEMANDA I.7 I.8 I.9 I.10 I.11 I.12 I.13

DESARROLLO RESULTADOS

OFERTA

I.2 I.3 I.4 I.5 I.6

PROCESO DE ELABORACIÓN DE TESIS

DEMANDA T.3 T.4 T.5 T.6

DESARROLLO RESULTADOS

OFERTA

T.1 T.2

CÓDIGO DEL INDICADOR

Inicial del proceso . ordinal

DATOS DEL INDICADOR

PROCESO Indicar el proceso al que se refiere el indicador, de entre los siguientes: SELECCIÓN, DOCENCIA, INVESTIGACIÓN y ELABORACIÓN DE TESIS

DENOMINACIÓN Nombre que se asigna al indicador

OPERACIONALIZACIÓN Fórmula a aplicar para el cálculo del indicador

RECORRIDO Intervalo que incluye el conjunto de valores que puede tomar el indicador

DESCRIPCIÓNBreve descripción del indicador. En los casos en que es necesario, se incluye un sencillo ejemplo, para facilitar la interpretación del resultado de la operacionalización

ÁMBITO (nivel agregación)Para todos los casos, el nivel de agregación es el PROGRAMA DE DOCTORADO

FUENTES (informantes) Origen de la información necesaria para el cálculo del indicador

INSTRUMENTOS Soporte utilizado para la recogida de la información

TIEMPOTemporalización de la medida del indicador. En los procesos de SELECCIÓN, DOCENCIA e INVESTIGACIÓN se ha tomado el BIENIO y en el de ELABORACIÓN DE TESIS, el SEXENIO

RASGOS DEL INDICADOR D.17

FACTOR: Hace referencia a los elementos que intervienen en cada proceso

Demanda

Oferta

Desarrollo

Resultados

FUNCIÓN : actividades que se desarrollan en cada proceso

Enseñanza

Investigación

Apoyo investigación

Gestión

CARÁCTER Descriptivo Evidencia

Evaluativo Valoración

MEDICIÓN: escala o nivel de medición del indicador

Nominal (cualitativa)

Ordinal (cuantitativa)

Interval (cuantitativa)

APLICACIÓN DEL INDICADOR : Factores y Procesos sobre los que influye el indicador.

PROCESOS

FACTORES Selección DocenciaInvestigación

tuteladaTesis doctoral

Demanda

Oferta

Desarrollo

Resultado

CÓDIGO DEL INDICADOR

D.17

DATOS DEL INDICADOR

PROCESO DOCENCIA

DENOMINACIÓN Calidad del éxito de la fase docente

OPERACIONALIZACIÓN

Calificaciones medias de los alumnos con CDD.17 = Nº total de alumnos con CD1: aprobado. 2: notable. 3: sobresaliente. 4: matrícula de honor

RECORRIDO (1,4)

DESCRIPCIÓN

Hablaremos de calificaciones o notas medias dependiendo de si , en el certificado que obtiene el alumno una vez concluye el Periodo de Docencia con éxito, su calificación final viene reflejada por una puntuación directa, o bien, por una nota media de diferentes puntuaciones específicas. Este indicador aporta información relevante sobre la calidad del éxito de la fase docente suponiendo que, a mayor calificación final, mayor calidad de la docencia.

ÁMBITO (nivel agregación) Programa de doctorado

FUENTES (informantes)Área de Expedientes Académicos (numerador)Unidad de Gestión de Tercer Ciclo (denominador)

INSTRUMENTOS Base de datos del Área de expedientes Académicos (D_Exp)Base de datos de Unidad de Gestión de Tercer Ciclo (D/UGTC)

TIEMPO Bianual

RASGOS DEL INDICADOR D.17

FACTOR: Hace referencia a los elementos que intervienen en cada proceso

Demanda

Oferta

Desarrollo

Resultados

FUNCIÓN : actividades que se desarrollan en cada proceso

Enseñanza

Investigación

Apoyo investigación

Gestión

CARÁCTER Descriptivo Evidencia

Evaluativo Valoración

MEDICIÓN: escala o nivel de medición del indicador

Nominal (cualitativa)

Ordinal (cuantitativa)

Interval (cuantitativa)

APLICACIÓN DEL INDICADOR : Factores y Procesos sobre los que influye el indicador.

PROCESOS

FACTORES Selección DocenciaInvestigación

tuteladaTesis doctoral

Demanda

Oferta

Desarrollo

Resultado

CÓDIGO

DENOMINACIÓN

S.1 Competitividad de la demanda

S.2 Demanda extranjera

S.3 Interdisciplinariedad de la oferta

S.4Satisfacción con servicio de U. Gestión 3er Ciclo

S.5Satisfacción con servicio de Área Gestión Expedientes Académicos

S.6Satisfacción de alumnos extranjeros con acogida

S.7 Calidad de la demanda

S.8 Matrícula extranjera

S.9 Intención obtener título Doctor

Factor

Demanda

Demanda

Oferta

Desarrollo

Desarrollo

Desarrollo

Resultados

Resultados

Resultados

D.1 Alumnos matriculados por programa

D.2 Nivel de asistencia a clase

D.3 Media de sexenios por profesor

D.4 Interdisciplinariedad del profesorado

D.5 Proporción de profesores extranjeros

D.6 Existencia de programa en la asignatura

D.7 Utilidad de la asignatura en la definición del proyecto de investigación

D.8 Relación de la asignatura con el conjunto del programa

D.9 Contribución del sistema de evaluación a la definición del proyecto de investigación

D.10 Relación de la coordinación del programa con el alumnado

D.11 Coordinación Biblioteca-Programa

D.12 Satisfacción de la Coord. del Programa con equipa/ y servicios informáticos

D.13 Satisfacción del alumnado con servicio prestado por Biblioteca

D.14 Satisfacción del alumnado con el equipa/ y servicios informáticos

D.15 Satisfacción del profesorado con servicio prestado por U.Gest. 3erC

D.16 Tasa de éxito en la fase docente

D.17 Nivel del éxito de la fase docente

Demanda

Demanda

Oferta

Oferta

Oferta

Desarrollo

Desarrollo

Desarrollo

Desarrollo

Desarrollo

Desarrollo

Desarrollo

Desarrollo

Desarrollo

Desarrollo

Resultado

Resultado

I.1 Carga Tutorial

I.2 Adecuación del área de investigación

I.3 Dedicación Tutorial

I.4 Sexenios de Investigación del tutor

I.5 Reconocimiento a la labor tutorial

I.6 Cobertura Científica del Alumno

I.7 Valoración de la labor tutorial

I.8Autovaloración de la dedicación del

alumno

I.9Satisfacción del alumno con el servicio

de Biblioteca

I.10Satisfacción alumno con los servicios

informáticos

I.11 Éxito del DEA

I.12 Nota media calificación tesinas

I.13 Valoración tesinas por el Tribunal

Demanda

Oferta

Oferta

Oferta

Oferta

Oferta

Desarrollo

Desarrollo

Desarrollo

Desarrollo

Resultados

Resultados

Resultados

T.1 Carga de Dirección

T.2Sexenios de investigación del Director

de Tesis

T.3 Cobertura Científica del Doctorando

T.4 Éxito de la lectura de la Tesis Doctoral

T.5 Nota media calific. Tesis Doctoral

T.6 Valoración Tesis por parte del Tribunal

Proceso Nº indicadores

Selección 9

Docencia 17

Investigación 13

Tesis 6

TODOS 45

Oferta

Oferta

Desarrollo

Resultados

Resultados

Resultados

El desarrollo del proceso de evaluación: Las fuentes y los instrumentos

INSTRUMENTOS PARA LA RECOGIDA DE INFORMACIÓN

NOMBRE SIGLAS PROCESO EN QUE

SE APLICA

CUESTIONARIO A ALUMNOS ACERCA DEL PROCESO DE SELECCIÓN CA1 SELECCIÓN

CUESTIONARIO A ALUMNOS ACERCA DEL PROCESO DE DOCENCIA CA2 DOCENCIA

CUESTIONARIO A ALUMNOS ACERCA DEL PROCESO DE INVESTIGACIÓN CA3 INVESTIGACIÓN

CUESTIONARIO A ALUMNOS ACERCA DEL PROCESO DE ELABORACIÓN DE TESIS CA4 ELABORAC. TESIS

CUES

TIONA

RIOS

CUESTIONARIO A PROFESORES ACERCA DEL PROCESO DE DOCENCIA CP DOCENCIA

FICHA PARA MIEMBROS DE TRIBUNALES DE “TESINA” FTT INVESTIGACIÓN

FICHA PARA MIEMBROS DE TRIBUNALES DE TESIS DOCTORAL FTD ELABORAC. TESIS

FICHA DE PROGRAMA DE DOCTORADO FPD SELECCIÓN DOCENCIA

INVESTIGACIÓN

FICHA DE COMISIÓN DE DOCTORADO (SELECCIÓN) FCD SELECCIÓN DOCENCIA

FICHA DE COMUNICACIÓN CON LA UNIDAD DE GESTIÓN DE TERCER CICLO

D_UGTC SELECCIÓN DOCENCIA

FICHA DE COMUNICACIÓN CON BIBLIOTECA D_Bib _

FICHA DE COMUNICACIÓN CON EL CENTRO DE INFORMÁTICA Y COMUNICACIONES

D_CIC _

FICHA DE COMUNICACIÓN CON EL ÁREA DE GESTIÓN DE EXPEDIENTES ACADÉMICOS

D_Exp DOCENCIA

INVESTIGACIÓN ELABORAC. TESIS

FIC

HA

S PA

RA L

A R

ECO

GID

A D

E IN

FORM

AC

IÓN

PARTE DE ASISTENCIA PA DOCENCIA

El Informe de Evaluación: El diagnóstico

IDENTIFICACIÓN

Origen Nº de punto

S, D y T (sin tablas) D - 1

Denominación

Falta de espacio físico y mobiliario destinado a archivo para uso del Programa

Justificación

A pesar de no estar incluido entre los indicadores del Manual, este aparece como un aspecto que redunda en dificultades para los procesos de gestión por parte del/de la Coordinador/a del Programa

Grupos afectados

Coordinación del Programa, y en general, alumnado y profesorado.

Indicador de mejora

Existencia de espacios físicos y mobiliario de archivo en las ubicaciones asignadas al Programa de Doctorado

Detalles y observaciones

Ficha para punto débil o fuerte. Aplicación práctica

Ficha para propuesta de mejora. Aplicación práctica

IDENTIFICACIÓN

Origen Nº Punto Orden

S, D y T D - 1 1

Denominación

Falta de espacio físico y mobiliario destinado a archivo para uso del Programa

Prioridad Baja Media Máxima Fecha propuesta de inicio Día Mes Año

01 07 2004

Periodo ejecución C/P M/P L/P Periodo impacto C/P M/P L/P ML/P

Responsables ejecución

Gerencia, Unidad de Infraestructura, Unidad de Rentas y Patrimonio

Potenciales beneficiarios/as

Coordinación del Programa y, en general, alumnado y profesorado del mismo

Justificación Como se indicó en la ficha D – 1, el Comité opina que dado el volumen de información a manejar, resultaría muy útil habilitar un espacio físico ubicado en la sede del Departamento

Viabilidad En opinión del Comité, esta propuesta de mejora es viable. Sería necesario buscar una habitación susceptible de convertirse en archivo en la sede de cada Departamento de la Universidad y adquirir el mobiliario pertinente.

Indicador de mejora*

Existencia de espacios físicos y mobiliario de archivo en las ubicaciones asignadas a los distintos Departamentos de la Universidad

Evaluación de indicadores[1].

CÓDIGO DENOMINACIÓN

COMPRENSIÓN[2]

1 2 3 4 5

RELEVANCIA[3]

1 2 3 4 5

ESFUERZO[4]

1 2 3 4 5

PROCESOS

S.1Competitividad de la demanda

SELECCIÓN

S.2 Demanda extranjera

S.3Interdisciplinariedad de la oferta

S.4Satisfacción con servicio de U. Gestión 3er Ciclo

S.5Satisfacción con servicio de Área Gestión Expedientes Académicos

S.6Satisfacción de alumnos extranjeros con acogida

S.7 Calidad de la demanda

S.8 Matrícula extranjera

S.9 Intención obtener título Doctor

[1] El Comité valorará la comprensión, relevancia y esfuerzo de los indicadores en una escala de 1 (bajo) a 5 (alto). En el caso de no tener respuesta clara, marcar 1.[2] Los indicadores se comprenden fácilmente y están enunciados con claridad[3] Los indicadores son claves para comprender y mejorar el título evaluado[4] Nivel de esfuerzo requerido para calcular el indicador

TÍTULOS A EVALUAR EN EL PLAN EXPERIMENTAL DE EVALUACIÓN DE TERCER CICLO, MAESTRÍAS Y TÍTULOS PROPIOS DE LA UCUA

UPOT. Propio "Curso de especialista universitario de Gestión de Empresas Cooperativas”

UNIAVI Maestría en Conservación del Medio Natural

VI Maestría en Desarrollo Económico en América UGR

Master en Museología Experto Universitario en Derecho de Extranjería

UCAPrograma Doctorado “Ciencias y Tecnologías Químicas”

UCOTitulación Superior en Desarrollo Rural

Curso Postgrado de Orientación Familiar

GRUPO REDACTOR DEL MANUAL (UPO)Responsable:

Clemente J. Navarro Equipo:

Ana Villarán Rocío Guevara Cristian Suárez Milagro Cornejo

http://www.ucua.es