41
La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco Pablo Holgado Tello Ángel Lara Ruiz

La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

Embed Size (px)

Citation preview

Page 1: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de

Sevilla.

La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de

Sevilla.Salvador Chacón Moscoso

José Antonio Pérez-GilFrancisco Pablo Holgado Tello

Ángel Lara Ruiz

Salvador Chacón MoscosoJosé Antonio Pérez-Gil

Francisco Pablo Holgado TelloÁngel Lara Ruiz

Page 2: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

2

ESQUEMA DE LA PRESENTACIÓN.

1. Evaluación de necesidades

2. Evaluación de objetivos

3. Evaluación del diseño

4. Evaluación de la implementación

5. Evaluación de resultados

6. Optimización de diseño evaluativo mediante

técnicas analíticas

7. Conclusiones

Page 3: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

3

OBJETIVO.

Describir el proceso evaluativo que desarrollamos en el Secretariado de Formación del P.A.S de la Universidad de Sevilla.

Page 4: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

4

EVALUACIÓN DE NECESIDADES.EVALUACIÓN DE NECESIDADES.

• OBJETIVOS. -Delimitación del referente evaluativo a partir de: -Delimitación del referente evaluativo a partir de:

Experiencia acumulada en el Secretariado de Formación.Experiencia acumulada en el Secretariado de Formación.Estudio de planes de formación de otras universidades:Estudio de planes de formación de otras universidades:

-Formación en Adecuación Profesional.-Formación en Adecuación Profesional.-Capacitación en Innovaciones y Calidad.-Capacitación en Innovaciones y Calidad.

-Formación para el Desarrollo Profesional y Formación de Carácter General.-Formación para el Desarrollo Profesional y Formación de Carácter General.

-Diseño del instrumento de recogida de datos (dos cuestionarios homólogos):-Diseño del instrumento de recogida de datos (dos cuestionarios homólogos):Puestos de responsabilidad intermedia.Puestos de responsabilidad intermedia.Todo el personal de apoyo de Administración y Servicio.Todo el personal de apoyo de Administración y Servicio.

• METODOLOGÍA.

Page 5: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

5

ESQUEMA CUESTIONARIOS 1ESQUEMA CUESTIONARIOS 1DIRIGIDO A LOS RESPONSABLES (MANDOS INTERMEDIOS) DE UNIDADES ADMINISTRATIVAS.

CAPACITACIÓN PARA EL PUESTO:

1. Existe necesidad de un conocimiento adicional sobre los principios de actuación en los puestos de trabajo de los que soy responsable.(ninguna necesidad)1 - 2 - 3 - 4 - 5(mucha necesidad)

2. Son necesarios conocimientos adicionales para introducir mejoras en los puestos de trabajo.(ninguna necesidad)1 - 2 - 3 - 4 - 5(mucha necesidad)

CAPACITACIÓN EN INNOVACIONES

6. Son necesarios conocimientos y habilidades adicionales para afrontar la implantación de los nuevos planes de estudio en los puestos de trabajo.(ninguna necesidad)1 - 2 - 3 - 4 - 5(mucha necesidad) ( ) no tengo información suficiente para responder.

7. Se necesitan conocimientos adicionales sobre la legislación que afecta a los puestos de trabajo.(ninguna necesidad)1 - 2 - 3 - 4 - 5(mucha necesidad)

FORMACIÓN GENERAL

9. Se necesitan realizar cursos sobre diversas herramientas ofimáticas.(ninguna necesidad)1 - 2 - 3 - 4 - 5(mucha necesidad)

En caso de que exista esta necesidad indique qué curso demandaría y de qué nivel (básico, o, avanzado):________________________________________________________________

Page 6: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

6

TODO EL PERSONAL DE ADMINISTRACIÓN Y SERVICIOS DE LA UNIVERSIDAD DE SEVILLA.

CAPACITACIÓN PARA EL PUESTO:

1. Tengo necesidad de un conocimiento adicional sobre los principios de actuación en mi puesto de trabajo.(ninguna necesidad)1 - 2 - 3 - 4 - 5(mucha necesidad)

2. Necesito conocimientos adicionales para introducir mejoras en mi puesto de trabajo.(ninguna necesidad)1 - 2 - 3 - 4 - 5(mucha necesidad)

CAPACITACIÓN EN INNOVACIONES

6. Necesitaría conocimientos y habilidades adicionales para afrontar la implantación de los nuevos planes de estudio en mi puesto de trabajo.(ninguna necesidad)1 - 2 - 3 - 4 - 5(mucha necesidad). ( ) no tengo información suficiente para responder.

7. Necesito conocimientos adicionales sobre la legislación que afecta a mi puesto de trabajo.

(ninguna necesidad)1 - 2 - 3 - 4 - 5(mucha necesidad).

FORMACIÓN GENERAL

9. Necesito realizar cursos sobre diversas herramientas ofimáticas para mi puesto de trabajo.(ninguna necesidad)1 - 2 - 3 - 4 - 5(mucha necesidad).

En caso de que exista esta necesidad, explicite qué cursos demandaría y de qué nivel (básico, o, avanzado)_________________________________________________________________________________________

ESQUEMA CUESTIONARIOS 2ESQUEMA CUESTIONARIOS 2

Page 7: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

7

-Muestra-Muestra Estudio por cuotas:Estudio por cuotas:

•Por una parte Por una parte RESPONSABLES DE ÁREAS DE SERVICIO Y RESPONSABLES DE ÁREAS DE SERVICIO Y ADMINISTRADORES DE CENTRO (PUESTOS DE RESPONSABILIDAD ADMINISTRADORES DE CENTRO (PUESTOS DE RESPONSABILIDAD INTERMEDIA)INTERMEDIA), conocedores de la realidad existente y dinamizadores del , conocedores de la realidad existente y dinamizadores del proceso.proceso.

•Por otra parte Por otra parte TODO EL PERSONAL DE APOYO DE ADMINISTRACIÓN Y TODO EL PERSONAL DE APOYO DE ADMINISTRACIÓN Y SERVICIO SERVICIO de la Universidad de Sevilla, que voluntariamente colabora en la de la Universidad de Sevilla, que voluntariamente colabora en la cumplimentación del cuestionario.cumplimentación del cuestionario.

•METODOLOGÍA METODOLOGÍA

Page 8: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

8

PPuestos de responsabilidad intermediauestos de responsabilidad intermedia .

a) Remisión cuestionario junto con una carta de presentación del Gerente.a) Remisión cuestionario junto con una carta de presentación del Gerente.b) Convoca a responsables a una reunión con el Vicegerente de Recursos b) Convoca a responsables a una reunión con el Vicegerente de Recursos Humanos, un responsable del Secretariado de Formación y un asesor en el Humanos, un responsable del Secretariado de Formación y un asesor en el diseño y evaluación del programa.diseño y evaluación del programa.

•PROCEDIMIENTOPROCEDIMIENTO

Todo el personal de apoyo de Administración y ServiciosTodo el personal de apoyo de Administración y Servicios.

a) A través de los responsables, se les informa que voluntariamente pueden a) A través de los responsables, se les informa que voluntariamente pueden cumplimentar el cuestionario de necesidades formativas sobre su puesto de cumplimentar el cuestionario de necesidades formativas sobre su puesto de trabajo. trabajo. b) Posibilidad de realizar una entrevista con responsables del Secretariado de b) Posibilidad de realizar una entrevista con responsables del Secretariado de Formación.Formación.

Page 9: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

9

Clasificación de necesidades formativas en función del criterio de Clasificación de necesidades formativas en función del criterio de prioridad (prioridad (si prioritario - no prioritariosi prioritario - no prioritario).).

- Aquellos ítems cuya frecuencia de respuestas 4 (bastante necesidad) y 5 - Aquellos ítems cuya frecuencia de respuestas 4 (bastante necesidad) y 5 (mucha necesidad), es igual o superior al cincuenta por ciento del total de (mucha necesidad), es igual o superior al cincuenta por ciento del total de respuestas.respuestas.

•RESULTADOS EVALUACIÓN DE NECESIDADESRESULTADOS EVALUACIÓN DE NECESIDADES

Page 10: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

10

Tabla 1. Capacitación para el puesto.

ÍTEMS PRIORITARIO

VALORACIÓNGLOBAL

PUESTOESPECÍFICOAFECTADO

Conocimientos adicionalespara introducir mejoras en elpuesto de trabajo.

SI (50%) Puestos deresponsabilidadintermedia

Jefe de negociado

Mejor capacitación paraactuar correctamente en casode emergencia.

SI (52%) Personal de apoyo Ayudante serviciode limpieza. Yadministrador decentro.

Conocimientos adicionalesrespecto a la gestión deservicios informáticos

SI (60%) Ambas categorías Muy general

44

46

48

50

52

54

56

58

60

mejoraspuesto

casoemergencia

gestióninformaticos

Page 11: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

11

Tabla 2. Capacitación en innovaciones.

ÍTEMS PRIORITARIO VALORACIÓNGLOBAL

PUESTO ESPECÍFICOAFECTADO

Conocimientos adicionalessobre la legislación queafecta al puesto de trabajo.

SI (50%) Personal de apoyo Administrador de centro. Yjefe de negociado

Conocimientos yhabilidades adicionalespara la implantación de losnuevos planes de estudio

NO (26%) Muy específico Administrador de centro. YAuxiliar o administrativo(singularizado) centros

Conocimientos adicionalesde las innovacionesderivadas del concepto decalidad total

NO (36%) Ambas categorías Muy general

05

101520253035404550

legislación nuevos planes calidad total

Page 12: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

12

Tabla 3. Formación general.

ÍTEMS PRIORITARIO VALORACIÓNGLOBAL

PUESTOESPECÍFICOAFECTADO

Realizar cursos sobrediversas herramientasofimáticas

SI (57%) Ambas categorías Muy general

Realizar cursos sobreidiomas.

NO (44%) Personal de apoyo Ayudante debiblioteca base

0

10

20

30

40

50

60

herramientas ofimáticas idiomas

Capacitación para el puesto

Page 13: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

13

EVALUACIÓN DE OBJETIVOS.EVALUACIÓN DE OBJETIVOS.

•OBJETIVO.OBJETIVO.

Valorar la suficiencia de los objetivos planteados en Valorar la suficiencia de los objetivos planteados en el II Plan de Formación para satisfacer las el II Plan de Formación para satisfacer las necesidades detectadas.necesidades detectadas.

•METODOLOGÍA.METODOLOGÍA.- Revisión y análisis de otros planes de formación.- Revisión y análisis de otros planes de formación.- Consulta a expertos en formación.- Consulta a expertos en formación.

- Consulta a implicados en procesos universitarios.- Consulta a implicados en procesos universitarios.

- Especificación de objetivos por cada A.F. (ficha - Especificación de objetivos por cada A.F. (ficha técnica).técnica).

Page 14: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

14

EVALUACIÓN DEL DISEÑO.EVALUACIÓN DEL DISEÑO.

•METODOLOGÍA.METODOLOGÍA.

•OBJETIVO.OBJETIVO.

Valorar la coherencia interna del diseño planteado en Valorar la coherencia interna del diseño planteado en el II Plan de Formación con respecto a los objetivos el II Plan de Formación con respecto a los objetivos propuestos a partir de las necesidades detectadas.propuestos a partir de las necesidades detectadas.

- Revisión y análisis de otros planes de formación.- Revisión y análisis de otros planes de formación.- Consulta a expertos en formación.- Consulta a expertos en formación.

- Consulta a implicados en procesos universitarios.- Consulta a implicados en procesos universitarios.

- Especificación de destinatarios, duración, participantes, - Especificación de destinatarios, duración, participantes, lugar, calendario, ..., por cada A.F. (ficha técnica).lugar, calendario, ..., por cada A.F. (ficha técnica).

Page 15: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

15

SECRETARIADO DE FORMACIÓN PERMANENTE DEL P.A.S.FICHA TÉCNICA DE ACCIÓN FORMATIVA

SECRETARIADO DE FORMACIÓN UNIVERSIDAD DE SEVILLA

1 Código

2 Acción Formativa

3 Destinatarios

Requisitos/Criterios

de selección

5 Duración en Horas

6 Total deParticipantes

7 Nº de Ediciones

8 Participantes/Edición

9 Calendario

10 Lugar de Impartición

11 Objetivos

12 Contenidos

13 Coordinador delCurso

14 Formadores

15 Presentaciónsolicitudes

16 Observaciones

Page 16: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

16

EVALUACIÓN DE LA EVALUACIÓN DE LA IMPLEMENTACIÓN.IMPLEMENTACIÓN.

Valorar la posible discrepancia, y sus causas, entre Valorar la posible discrepancia, y sus causas, entre lo implementado con respecto a lo programado en el lo implementado con respecto a lo programado en el II Plan de Formación.II Plan de Formación.

•OBJETIVO.OBJETIVO.

•METODOLOGÍA.METODOLOGÍA.

- Cuestionario durante la implementación de las AA.FF.- Cuestionario durante la implementación de las AA.FF.

- Entrevista con formadores para analizar la posible - Entrevista con formadores para analizar la posible discrepancia entre ejecutado/implementadodiscrepancia entre ejecutado/implementado

Page 17: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

17

No esperes a que acabe la acción formativa, con la intención de mejorar, haznos llegar cualquier opinión, por pequeña que sea, sobre los apartados que aparecen a continuación. Muchas gracias por tu colaboración.

NOMBRE DEL CURSO: ________________________________________________

(Fecha en que se cumplimenta este impreso ________ de___________ de___)

1. Objetivos del curso:________________________________________________

2. Los contenidos del curso: ___________________________________________

3. El ambiente (compañerismo, participación,...):___________________________

4. Los formadores (interés, motivación,...): _______________________________

5. Los materiales y/o recursos (mobiliario, condiciones ambientales, recursos didácticos, apuntes escritos,...):_________________________________________

6. Otras sugerencias:_________________________________________________

Page 18: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

18

EVALUACIÓN DE RESULTADOS.EVALUACIÓN DE RESULTADOS.

OBJETIVOS (Kirkpatrik, 1999):

Nivel 2: grado de aprendizaje.Nivel 2: grado de aprendizaje.

Nivel 3: transferencia al puesto de trabajoNivel 3: transferencia al puesto de trabajo ..

Nivel 4: impacto de la formación en la organización.Nivel 4: impacto de la formación en la organización.

Nivel 1: reacción de los participantes.Nivel 1: reacción de los participantes.

Page 19: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

19

METODOLOGÍAMETODOLOGÍANIVEL 1: REACCIÓN DE LOS PARTICIPANTESNIVEL 1: REACCIÓN DE LOS PARTICIPANTES

CUESTIONARIO DE SATISFACCIÓN.CUESTIONARIO DE SATISFACCIÓN.

Objetivos y contenidos.Objetivos y contenidos.

Metodología y ambiente.Metodología y ambiente.

Utilidad y valoración global.Utilidad y valoración global.

1.1. A su juicio se han alcanzado los objetivos previstos.1.2. Los temas se han tratado con la profundidad que permitía la duración del curso.

2.1. La documentación entregada ha sido de calidad.2.2. La acción formativa ha sido realista y práctica.

3.1. La acción formativa es útil para mi puesto de trabajo.3.2. La acción formativa merece una buena valoración global.

Page 20: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

20

CUESTIONARIO DE EVALUACIÓN DEACCIÓN FORMATIVA

SECRETARIADO DE FORMACIÓN UNIVERSIDAD DE SEVILLA

NOMBRE DE LA ACCIÓN FORMATIVA

1 A su juicio se han alcanzado los objetivos previstos

2 Los temas se han tratado con la profundidad que permitía la duración delcurso

OB

JET

IVO

S

CO

NT

EN

IDO

S

3 La duración del curso ha sido adecuada a los objetivos y contenidos

4 La metodología se ha adecuado a los objetivos y contenidos 5 La metodología ha permitido la participación activa de los asistentes 6 Esta acción formativa me ha facilitado compartir experiencias profesionales

con otros compañeros

7 La acción formativa ha sido realista y práctica 8 La documentación entregada ha sido de calidad

ME

TO

DO

LO

GÍA

AM

BIE

NT

E

9 Las condiciones ambientales (aula, mobiliario, recursos utilizados) han sidoadecuadas para facilitar el proceso formativo

10 La acción formativa recibida es útil para mi puesto de trabajo 11 La acción formativa recibida es útil para mi formación personal

UT

ILID

AD

VA

LO

RA

CIÓ

NG

LO

BA

L

12 La acción formativa recibida merece una buena valoración global

Page 21: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

21

Gráficas ítems mejor y peor valorado de la A.FGráficas ítems mejor y peor valorado de la A.F (porcentaje)(porcentaje)

la duración del curso ha sido adecuada a los objetivos y contenidos

ni en desacuerdo ni

en desacuerdo

muy en desacuerdo

nc

Per

cent

70

60

50

40

30

20

10

0

las condiciones del aula, mobiliario y ambiente de aprendizaje han sido

totalmente de acuerdde acuerdoni en desacuerdo ni

Per

cent

80

60

40

20

0

Ítem” mejor” valorado Ítem” mejor” valorado (Las condiciones del aula, (Las condiciones del aula, mobiliario y ambiente de mobiliario y ambiente de aprendizaje han sido buenas)aprendizaje han sido buenas)

Ítem “peor” valorado Ítem “peor” valorado (La duración del curso ha sido (La duración del curso ha sido adecuada a los objetivos y contenidos)adecuada a los objetivos y contenidos)

Page 22: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

22

Gráfica ítem valoración global de la A.FGráfica ítem valoración global de la A.F (porcentaje)(porcentaje)

el curso merece una valoración global de

muy buenobuenoni malo ni buenomuy malo

Pe

rce

nt

50

40

30

20

10

0

Ítem valoración global Ítem valoración global (El curso merece una (El curso merece una valoración global de... )valoración global de... )

Page 23: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

23

Gráfica global ítems de la acción formativa (medias)Gráfica global ítems de la acción formativa (medias)

Mea

n

5

4

3

2

1

Page 24: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

24

Gráficas ítems “mejor” y “peor” valorado profesorGráficas ítems “mejor” y “peor” valorado profesor (porcentaje)(porcentaje)

el profesor domina la materia

totalmente de acuerdde acuerdonc

Per

cent

60

50

40

30

20

10

0

Ítem “mejor” valorado Ítem “mejor” valorado (El profesor domina la(El profesor domina la materia)materia)

las enseñanzas transmitidas se adecuan a los objetivos y contenidos del

de acuerdo

ni en desacuerdo ni

en desacuerdo

nc

Per

cent

50

40

30

20

10

0

Ítem “peor” valorado Ítem “peor” valorado (Las enseñanzas transmitidas se (Las enseñanzas transmitidas se adecuan a los objetivos y contenidos)adecuan a los objetivos y contenidos)

Page 25: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

25

valoración global del profesor

totalmente de acuerdde acuerdonc

Per

cent

60

50

40

30

20

10

0

Gráfica ítem valoración global del profesorGráfica ítem valoración global del profesor (porcentaje)(porcentaje)

Ítem valoración global Ítem valoración global (El profesor merece una (El profesor merece una valoración global de... )valoración global de... )

Page 26: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

26

Mea

n

4,4

4,2

4,0

3,8

3,6

3,4

3,2

Gráfica global ítems del profesor (medias)Gráfica global ítems del profesor (medias)

Page 27: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

27

METODOLOGÍAMETODOLOGÍANIVEL 2: GRADO DE APRENDIZAJE.NIVEL 2: GRADO DE APRENDIZAJE.

PRETESTPRETEST IMPLEMENTACIÓN IMPLEMENTACIÓN A.F.A.F. POSTESTPOSTEST

Análisis Análisis calidad calidad

métrica de métrica de

las pruebaslas pruebas

Estadístico Estadístico

de contrastede contraste

Page 28: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

28

0

0,2

0,4

0,6

0,8

1

1,2it

em 1

item

2

item

3

item

4

item

5

item

6

item

7

item

8

item

9

item

10

dificultaddiscri.varianza

PERFIL DE ÍTEMSPERFIL DE ÍTEMS

Page 29: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

29

Estadísticos de contraste b.*POSC3PREC3

*POSC4PREC4

*POSC5PREC5

*POSC6PREC6

*POSC7PREC7

POSC9PREC9

*POSC10PREC10

POSGLOBALPREGLOBAL

Z -2.887ª -3.162ª -2.236ª -3.464ª -2.449ª -1.667ª -2.449ª -3.857ªSig.asintót.(bila) .004 .002 .025 .001 .014 .096 .014 .000

a. Basado en los rangos negativos b. Prueba de los rangos con signo de Wilcoxon.

EJEMPLO DIFERENCIA DE MEDIASEJEMPLO DIFERENCIA DE MEDIAS

Page 30: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

30

IMPLICACIONES METODOLÓGICASIMPLICACIONES METODOLÓGICASNIVELES 3 Y4: TRANSFERENCIA E IMPACTONIVELES 3 Y4: TRANSFERENCIA E IMPACTO

DESARROLLO DE SISTÉMAS DE INDICADORES.DESARROLLO DE SISTÉMAS DE INDICADORES.

DISEÑO DE GRUPO CONTROL NO EQUIVALENTE CON PRUEBA PREVÍA DISEÑO DE GRUPO CONTROL NO EQUIVALENTE CON PRUEBA PREVÍA Y POSTERIOR.Y POSTERIOR.

Cómo repercute la formación en la institución.Cómo repercute la formación en la institución.

Cómo se traduce la acción formativa en acciones y Cómo se traduce la acción formativa en acciones y resultados concretos en el puesto de trabajo.resultados concretos en el puesto de trabajo.

Page 31: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

31

O1 X O2

---------------------------------

O1 O2

O1 O O.......... On X On+1........ O On+k

----------------------------------------------------------------------------

O1 O O.......... On X On+1........ O On+k

Tender hacia un diseño de discontinuidad en la regresión.Tender hacia un diseño de discontinuidad en la regresión.

C O1 X O2

---------------------------------

C O1 O2

Modelización de variables relevantes Modelización de variables relevantes

Page 32: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

32

6. Optimización del diseño evaluativo mediante técnicas analíticas

ANALISIS FACTORIAL.ANALISIS FACTORIAL.

Identificar VV subyacentes que expliquen la relación de Identificar VV subyacentes que expliquen la relación de las observadas en torno a la satisfacción con las AA.FF.las observadas en torno a la satisfacción con las AA.FF.

Identificar un pequeño número de factores que expliquen la mayoría de la Identificar un pequeño número de factores que expliquen la mayoría de la varianza observada con respecto a los niveles de satisfacción sobre las AA.FF.varianza observada con respecto a los niveles de satisfacción sobre las AA.FF.

Page 33: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

33

RESULTADOS ANALISIS FACTORIAL 1 (n=1100)RESULTADOS ANALISIS FACTORIAL 1 (n=1100)

FACTOR 1: SATISFACCIÓN OBJETIVOS Y CONTENIDOS43,895%

Ítem Peso factorial

1.1. La duración del curso ha sido adecuada a los objetivos y contenidos 0,824

1.2. Los temas se han tratado con la profundidad que permitía laduración del curso.

0,800

1.3. A su juicio se han alcanzado los objetivos previstos. 0,732

1.4. La metodología se ha adecuado a los objetivos y contenidos 0,553

1.5. La acción formativa ha sido realista y práctica 0,428

1.6. El curso merece una valoración global de... 0,422

1.7. La documentación entregada ha sido de calidad 0,412

1.8. Se ha permitido la participación activa de los asistentes. 0,404

Extracción: Componentes principales.Rotación: Oblimín.

Page 34: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

34

FACTOR 2: UTILIDAD, VALORACIÓN GLOBAL9,504%

Ítem Peso factorial

2.1. El curso recibido es útil para mi formación personal 0,800

2.2. El curso recibido es útil para mi puesto de trabajo 0,719

2.3. Compartir experiencias profesionales con otros compañeros 0,662

2.4. Se ha permitido la participación activa de los asistentes 0,492

2.5. El curso merece una valoración global de... 0,470

2.6. La acción formativa ha sido realista y práctica 0,446

2.7. La metodología se ha adecuado a los objetivos y contenidos 0,333

Extracción: Componentes principales.Rotación: Oblimin.

Page 35: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

35

FACTOR 3: CONTEXTO DE APRENDIZAJE8,333%

Ítem Peso factorial

3.1. Las condiciones del aula, mobiliario y ambiente de aprendizaje hansido buenas.

0,753

3.2. La documentación entregada ha sido de calidad. 0,606

3.3. Compartir experiencias profesionales con otros compañeros. -0,385

Extracción: Componentes principales.Rotación: Oblimín..

Page 36: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

36

f1 f2 f3

X1 X2 X3 X4 X5 X6 X7 X8 X9

21 3 4 5 6 7 89

X10

10

X11

11

X12

12

Page 37: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

37

ANALISIS JERARQUICO LINEAL Y NO LINEAL.ANALISIS JERARQUICO LINEAL Y NO LINEAL.

Cómo influye la estructura anidada de los datos Cómo influye la estructura anidada de los datos (sujetos y cursos) en los niveles de satisfacción.(sujetos y cursos) en los niveles de satisfacción.

((IMPLICACIONES ANALÍTICAS 2).IMPLICACIONES ANALÍTICAS 2).

Page 38: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

38

RESULTADOS ILUSTRATIVOSRESULTADOS ILUSTRATIVOS ANALISIS MULTINIVEL ANALISIS MULTINIVEL

(multivariado)(multivariado)

Page 39: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

39

25577,610log(like)*.2

u4.743β;.277x.232xxβy

u4.802β;.396x.471xxβy

u4.597 β;.156x.411xxβy

u4.333 β;.555x.155xxβy

u 4.612 β;.415x.290xxβy

u4.135β;.373x.102xxβy

u4.721β;.313x.246xxβy

u4.667β;.454x.446xxβy

u3.626β;.242x.263xxβy

u4.506β;.436x.332xxβy

u 4.473 β;.455x.309xxβy

XΒΒ,N~y a y

10jk10j32ijk21ijk10 10jjk11

9jk 9j 31ijk20ijk9 9jjk10

8jk 8j30ijk19ijk8 8jjk9

7jk 7j29ijk18ijk7 7jjk8

6jk6j28ijk17ijk6 6jjk7

5jk 5j 27ijk16ijk5 5jjk6

4jk 4j 26ijk15ijk4 4jjk5

3jk 3j 25ijk14ijk3 3jjk4

2jk 2j 24ijk13ijk2 2jjk3

1jk 1j 23ijk12ijk1 1jjk2

0jk0j22ijk11ijk0 0jjk1

111

ijk

ijk

ijk

ijk

ijk

ijk

ijk

ijk

ijk

ijk

ijk

jkjk

Page 40: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

40

800,24366)log(*2.

;

;

;

;

;

;

;

;

;

;

;

10

9

8

7

6

5

4

3

2

1

0

like

u4.743.277x.231xxy

u4.802.396x.471xxy

u4.597.156x.410xxy

u4.333.554x.154xxy

u4.611.415x.290xxy

u4.134.373x.102xxy

u4.721.312x.246xxy

u4.667.454x.446xxy

u3.625.242x.262xxy

u4.505.435x.331xxy

u4.473.454x.308xxy

,XN~ya y

10jkk10jk32ijk21ijk10 10jkjk11

9jkk9jk31ijk20ijk9 9jkjk10

8jkk8jk30ijk19ijk8 8jkjk9

7jkk7jk29ijk18ijk7 7jkjk8

6jkk6jk28ijk17ijk6 6jkjk7

5jkk5jk27ijk16ijk5 5jkjk6

4jkk4jk26ijk15ijk4 4jkjk5

3jkk3jk25ijk14ijk 3 3jkjk4

2jkk2jk24ijk13ijk 2 2jkjk 3

1jkk1jk23ijk12ijk1 1jkjk 2

0jkk0jk22ijk11ijk0 0jkjk1

111

ijk

ijk

ijk

ijk

ijk

ijk

ijk

ijk

ijk

ijk

ijk

jkjk

ββ

ββ

ββ

ββ

ββ

ββ

ββ

ββ

ββ

ββ

ββ

ΩΒ

001.)66..(81.1210)log(*2(2 plglike

Page 41: La evaluación de la formación en el Secretariado de Formación del P.A.S de la Universidad de Sevilla. Salvador Chacón Moscoso José Antonio Pérez-Gil Francisco

41

•Conclusiones

Evaluación como proceso de programación.

Información para la reflexión: proceso de mejora

continua

Es difícil la programación sin evidencias Evaluación-Programación de la formación: elementos de intervención en la organización