Embed Size (px)
Citation preview
21LA CALIDAD
DE LA FORMACIÓN
1
21LA CALID AD
DE LA FORMACIÓN
2
COLECCIÓN: CUADERNOS DE TRABAJO-FORMACIÓN, EMPLEO, CUALIFICACIONES-
INICIATIVA PROMOVIDA POR ELDEPARTAMENTO DE JUSTICIA,ECONOMÍA, TRABAJO Y SEGURIDAD SOCIAL. GOBIERNO VASCO
NÚMEROS PUBLICADOS
1. EDUCACIÓN Y TRABAJO PRODUCTIVO
2. CAMBIO TECNOLÓGICO Y REPERCUSIONES EN ELEMPLEO
3. PREVER Y FORMAR
4. ANÁLISIS PREVISIONAL DE LOS EMPLEOS DELCOMERCIO MINORISTA EN DONOSTIA
5. EXPERIENCIAS DE FORMACIÓN CONTINUAPARA DIRIGENTES DE PYMES
6. LAS CUALIFICACIONES PROFESIONALES ANTE EL MERCADO ÚNICO
7. LAS MUJERES Y EL MERCADO DE TRABAJO EUROPEO
8. PARO DE LARGADURACIÓN EN EUROPA: ESTRATEGIAS Y ACCIONES
9. INVESTIGACIÓN Y DESARROLLO EN FORMACIÓN CONTINUA
10. FORMACIÓN DE FORMADORES: RETOS Y AVANCES
11. GUÍA 1 FORMACIÓN PARA LA PYME: COMPETENCIAS GENÉRICAS DE LOS FORMADORES Y ORGANI-
ZADORES DE PROGRAMAS DE FORMACIÓN PARA PEQUEÑAS EMPRESAS
12. NUEVO CONTEXTO SOCIOECONÓMICO Y ESTRATEGIAS DE DESARROLLO LOCAL
13. CRECIMIENTO, COMPETITIVIDAD Y EMPLEO. ESTRATEGIAS EN LAUNIÓN EUROPEA. RETOS Y PERS-
PECTIVAS PARA EL PAÍS VASCO
14. MANUAL PARA LA ELABORACIÓN DE PROYECTOS DE DESARROLLO ECONÓMICO LOCALY EMPLEO
15. GUÍA 2 FORMACIÓN PARA LA CREACIÓN DE PYMES. COMPETENCIAS DE LOS FORMADORES PARA
PROMOVER ELESPÍRITU E INICIATIVA EMPRESARIALY LOS PROYECTOS DE CREACIÓN DE EMPRESA
16. ANÁLISIS Y EVOLUCIÓN DE LOS EMPLEOS DELTERCIARIO DE OFICINA
17. ANÁLISIS Y EVOLUCIÓN DE LOS EMPLEOS DE LAINDUSTRIA METALMECANICA
18. FLEXIBILIDAD Y DISTRIBUCIÓN DELTRABAJO
19. NUEVOS YACIMIENTOS DE EMPLEO
20. LA FORMACIÓN EN LOS CENTROS DE TRABAJO
NÚMERO21
TITULO: LA CALIDAD DE LA FORMACIÓN
CIDEC. Centro de Investigación y Documentación sobre problemas de la Economía, el Empleo y las CualificacionesProfesionalesDONOSTIA-SAN SEBASTIÁNAvenida de la Libertad 17-19 Telf: (943) 42 52 57 Fax: (943) 42 93 31D.P. 20004
Impresión: Michelena Artes Gráficas S.L.D.L.: SS-104-91I.S.S.N.: 1135-0989P.V.P.: 1.750 ptas
LA CALID AD DE LA
FORMACIÓN
4
Í N D I C E
HITZAURREA-PREFACIO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
PRESENTACIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1. LA CALIDAD DE LA FORMACIÓN. UNA SERIE DE CONSIDERACIONES PREVIAS . 10
2. ADOPTAR UNA POSICIÓN SOBRE LA CALIDAD DE LA FORMACIÓN. . . . . . . . . . . . 15
2.1 Método basado en un referencial de variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.2 Descripción del método . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.3 Forma de uso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
Referencial de variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3. EVALUAR LA CALIDAD DE LA FORMACIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.1 ¿Qué significa evaluar? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.2 Prácticas evaluatorias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
4. ESTRATEGIAS DINÁMICAS DE EVALUACIÓN EN LA EMPRESA. POSIBILIDADES
DE TRANSFERENCIA AL SISTEMA DE FORMACIÓN PROFESIONAL . . . . . . . . . . . 52
4.1 Parámetros de referencia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.2 Para llevar a cabo la evaluación de la formación en función de
tres niveles de resultados esperados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.2.1 Evaluación de los objetivos de impacto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.2.2 Evaluación de los objetivos profesionales y de las competencias
manifestadas en situación de trabajo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
4.2.3 Evaluación de los objetivos pedagógicos en situación de formación . . . . . . . 75
4.2.4 Dificultades que encierra la simulación de situaciones profesionales reales . . . 78
5. LA EVALUACIÓN DE LOS ORGANISMOS DE FORMACIÓN . . . . . . . . . . . . . . . . . . . . 81
5.1 Evaluación externa e interna de los organismos de formación . . . . . . . . . . . . . . . . . 82
5.2 El concepto de calidad aplicado a los organismos de formación . . . . . . . . . . . . . . . 84
5.3 Modelización de las prácticas evaluatorias de los organismos de formación . . . . . . 84
5.4 Orientaciones para su implementación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
5.4.1 Dispositivo Evaluatorio de la Formación No Reglada en la Comunidad
Autónoma del País Vasco . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
5.4.2 El Modelo Projeval . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
5.4.3 Evaluación de la Calidad de los Organismos de Formación en la
Comunidad Autónoma del País Vasco. Método CEDEO . . . . . . . . . . . . . . . .102
BIBLIOGRAFIA BÁSICA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5
ÍNDICE DE FIGURAS Y CUADROS
Figura 1Cuadro de elementos en la evaluación de acciones formativas . . . . . . . . . . . . . . . . . . . 43
Figura 2Articular el proceso de evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
Figura 3Desde la entrada en formación hasta el impacto en el funcionamiento de la empresa . 61
Cuadro 1Impacto en los parámetros de explotación de la empresa . . . . . . . . . . . . . . . . . . . . . . 65
Cuadro 2Impacto en la orgaización y funcionamiento de la empresa . . . . . . . . . . . . . . . . . . . . . 66
Cuadro 3Impacto en la cultura de empresa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
Cuadro 4Impacto en el entorno próximo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
Figura 4Estructuración del proceso evaluatorio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
Cuadro 5Metodología e indicadores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
6
HITZAURREA
Enpresaren munduan gaur egun ez dago
inolako dudarik kalitateak duen garran-
tziaz. Inork ez du zalantzan jarriko enpre-
saren produkzio prozesuan, antolaketan,
kudeaketan, jendeari eman behar zaion
arretan, e.a. guztietan kalitateak izu-
garrizko garrantzia duela, mundu guztiak
baitaki kalitatea dela enpresen lehiakorta-
suna hobetzeko baliabiderik nagusia.
Alabaina, enpresetan edo prestakuntza
zerbitzuetara dedikatzen diren erakun-
deetan kalitate kontrolerako prozesuak
sartzeko ahaleginak egiten direnean,
errealitateak beste itxura bat erakusten
du, eta gaur egun errealitate horri aurre
egitea zaila gertatzen da benetan.
Zer-nolako laguntza eman digu presta-
kuntzak jada azaldu diren premiei eran-
tzun bat emateko orduan? Zein puntuta-
raino esan dezakegu erabiltzaileak ikasi
duena prestakuntza prozesuaren arabera
dagoela eta ez barne baldintzen (motiba-
zioa, jarrerak, gaitasunak) arabera?
Nolako adostasuna lortu behar da erabil-
tzaile, bezero, hezitzaile eta prestakun-
tzaz arduratzen den erakundearen eta
hori guztia finantzatzen duen Herri-
Administrazioaren artean? Horra hor,
bada, prestakuntza benetan enpresaren
baliabide estrategikoa izatea nahi badugu
edo langabezian dauden kolektiboentzat
enplegua sortu nahi badugu, erantzun
baten premian dauden zenbait galdera.
Lan-Koaderno honetan prozedura eta
metodologia batzuk eskaini nahi dira, bai
PREFACIO
En los tiempos que corren parece
indiscutible, en el ámbito empresarial, el
papel que ha de otorgársele a la calidad
en los procesos productivos, en los nive-
les de organización y gestión, de aten-
ción al público, etc., como herramienta
que contribuye a la mejora competitiva
de las empresas.
Sin embargo, cuando se trata de incor-
porar procesos de control de calidad en
empresas o entidades de servicios de for-
mación, la realidad adquiere una dimen-
sión diferente, difícil de abordar en la
actualidad.
En qué medida satisfacemos con la
formación las necesidades que se han
manifestado, en qué grado podemos
decir que lo que el usuario ha aprendido
depende del proceso formativo y no de
condicionantes internos (motivación,
actitudes, aptitudes...), qué nivel de con-
cordancia puede existir entre la satisfac-
ción del usuario, del cliente, de los for-
madores, del órgano responsable de la
formación y de la administración pública
que lo cofinancia...son diferentes aspec-
tos que tendremos que evaluar si quere-
mos que la formación sea realmente un
instrumento estratégico para la empresa
y un factor clave de ocupabilidad para
los colectivos de desempleados.
En este Cuaderno de Trabajo se reco-
gen distintos procedimientos y metodo-
7
enpresa eta lantegietako prestakuntza
arduradunentzat, bai tokian tokiko enple-
gu politiken antolatzaileentzat, hain
zuzen ere, kalitatearen kontrolerako pro-
zesuak prestakuntza praktiketara eta
prestakuntza erakundeetara gehitzeko.
Ekimen berritzaile batzuk ere aurkeztu
nahi ditugu lan-koaderno honetan, pres-
takuntza erakundeen kalitatea ziurtatze-
ko, hau da, beren zerbitzuen kalitate inte-
grala bermatzeko.
Zailtasunak zailtasun, espero dugu
koaderno honetan aurkezten zaizuen
gai hau didaktiko eta baliagarri gerta-
tuko zaizuela, kalitatearen erronkari
aurre egiteko.
Gasteiz, 1997ko Urtarrila.
Desiderio VICENTE VICENTE
Eusko Jaurlaritzako Justizi, Eko-
nomi, Lan eta Gizarte Segurantzako
Sailaren Enplegu eta Prestakuntza
Zuzendaria
logías que pretenden servir de ayuda
tanto a responsables de formación de
empresas o de centros como a planifica-
dores de políticas de empleo local, para
incorporar procesos de control de calidad
en prácticas formativas y en organismos
de formación. También se presentan
algunas iniciativas innovadoras tendentes
a la certificación de calidad de los orga-
nismos de formación, que garanticen la
calidad integral de sus servicios.
Esperamos que, a pesar de la dificul-
tad del tema, hayamos dado con la mejor
forma de presentar un reto de semejante
envergadura de forma didáctica y útil.
Vitoria - Gasteiz, Enero 1997
Desiderio VICENTE VICENTE
Director de Empleo y Formación
del Departamento de Justicia, Econo-
mía, Trabajo y Seguridad Social del
Gobierno Vasco
8
PRESENTACIÓN
El estudio de la calidad de la formación se viene realizando desde
diferentes perspectivas que cambian y evolucionan con el paso del
tiempo. De hecho, los puntos de vista sobre la calidad de la formación y
las variables en que debe centrarse, difieren cuando se trata de
evaluarla a través de la satisfacción de los clientes-empresas, los
usuarios-alumnado, formadores, organismos de formación o
responsables de la administración.
De todas las cuestiones relativas a la evaluación de las acciones
formativas, la especificación de los criterios de calidad se puede
considerar como la menos avanzada tanto en el terreno de la práctica
como en el de la reflexión metodológica. El primer y segundo capítulo
de este Cuaderno de Trabajo se dedican precisamente a esta cuestión,
abordando diversas consideraciones metodológicas de carácter global
sobre la importancia de la selección de criterios que permitan implicar
a cada actor de la formación, invitándole a convertirse en coproductor
de la calidad de las acciones formativas en las que participa.
El tercer capítulo analiza los diversos significados del término evaluar
y el deslizamiento que en este campo se está produciendo: de un marco
inicialmente centrado en los ¨productores¨ de formación se ha ido
pasando a otro en el que los ¨consumidores¨ constituyen el sujeto
principal.
Volviendo la vista atrás, y aunque pueda resultar paradójico, hay que
señalar que no es en el mundo de las instituciones de formación sino en
el ámbito industrial donde se plantean por primera vez los problemas de
evaluación de las acciones de formación. Los primeros lugares donde se
ejercieron las prácticas evaluatorias de los resultados de la formación
fueron las grandes empresas americanas. Su capacidad para recurrir a
los servicios especializados de investigadores o de psicólogos fue un
elemento decisivo en la institución de dichas prácticas.
Todos los sistemas de educación y formación disponían, naturalmente,
de medios de valoración del dispositivo pedagógico, pero es dentro de
las empresas donde surgieron las demandas de elaboración de medios
nuevos y específicos para estimar los efectos de la formación.
9
El cuarto capítulo del Cuaderno se ha dedicado al análisis evolutivo de
los parámetros de referencia de la evaluación de la formación en la
empresa. En la actualidad parece existir un cierto consenso sobre que
esos parámetros deben referirse a tres niveles de resultados esperados.
El primero se relaciona con la mejora de las condiciones de
funcionamiento y explotación de la empresa o de determinadas áreas de
la misma. El segundo, con la creación o desarrollo de competencias
individuales y colectivas necesarias en las situaciones de trabajo. El
tercero, por último, con la evaluación de los objetivos pedagógicos en
situación de formación. Al igual que en el capítulo anterior se han
elaborado diversas fichas y cuadros sinópticos a modo de ayuda
tutorial.
El último capítulo se ha reservado a la evaluación de los centros de
formación. Como es sabido, el mercado de la formación puede presentar
síntomas de saturación de determinadas ofertas formativas y ausencia
de otras, o resultar poco transparente y fiable, cuestiones que afectan
directamente a las entidades suministradoras de formación.
En este capítulo se incluyen, además de diversas notas metodológicas,
el análisis del dispositivo empleado en la Comunidad Autónoma del País
Vasco para la Formación No Reglada y el Método CEDEO.
Hasta aquí el alcance de este Cuaderno dedicado a la calidad de la
formación entendida, tal y como lo apunta la Norma ISO 8402, como el
“conjunto de propiedades y características que le conf iere la aptitud
para satisfacer necesidades manif iestas o implícitas”
Donostia-San Sebastián, Enero de 1997
Juan José DE ANDRÉS GILS
Presidente de CIDEC
1. La calidad de la formación. Una serie de
consideraciones previas
1. La calidad de la formación.Una serie de
consideraciones previas
E l Comité Europeo de Normalización, en sus textos revisadossobre las normas internacionales de calidad, precisa “...todas las demás normas de la familia ISO 9000 son inde-
pendientes de todo sector industrial o económico particular. Concarácter general proporcionan líneas directrices para la gestión dela calidad y las exigencias generales relativas para asegurar la cali-dad” .
Por otro lado, en los textos relativos a las líneas directrices paralos servicios se presenta la siguiente definición de calidad: “La cali-dad es el conjunto de propiedades y características de un producto ode un servicio que le confiere la aptitud para satisfacer necesidadesmanifiestas o implícitas” (ISO 8402).
En estos textos no se hace distinción entre el producto y el servi-cio, llegando a confundirlos, como si la fabricación y la utilizaciónde cada uno de ellos se realizara de forma comparable. Es cierto que,en estos momentos, domina la tendencia a la industrialización y laracionalización de la formación en una perspectiva de multiplica-ción. Se trata de identificar “productos” eficaces, fácilmente repro-ducibles o adaptables a cada situación particular.
En el caso de la industria, los productores y los consumidores secomunican y negocian, en cierto modo, a través del intermediario delos productos que transitan entre ambos –el estudio y la conquista demercados tiene lugar en feed back–. En la industria, los deseos de losconsumidores se materializan y concretan en un producto. Los bie-nes objetivizan una solución, una forma de respuesta a los deseos delos consumidores. Ahora bien, los bienes inmateriales no se inter-cambian ni tampoco se transmiten como objetos concebidos y fabri-cados. El prestatario de un servicio, por contra, tiene la ocasión deencontrarse con su cliente y de intercambiar opiniones. Al aumentarlas aportaciones de ayuda a la toma de decisiones, los servicios tien-den a convertirse en el resultado de una coproducción entre prestata-rios y usuarios; hasta llegar a la concomitancia perfecta entre la rea-lización del servicio y su uso. Lo señalado es eminentemente ciertoen el caso de la formación.
Por analogía con la producción industrial de bienes materiales, unesfuerzo considerable en términos de “calidad” tiende a transformarla formación en un “producto” estable, utilizable de diferentes mane-ras por cualquier cliente. Ahora bien, si un producto industrial exis-
En estos momentosdomina la tendenciaque trata deidentificar“productos”eficaces, fácilmentereproducibles oadaptables a cadasituación particular
11
12
te antes de ser utilizado, la formación sólo se produce con la colabo-ración activa de la persona que se está formando. La transmisión, losinstrumentos, la programación, los contenidos, las prácticas..., pue-den ser los mismos sin que ello suponga resultados equiparables paratodos los participantes. Se trataría, por tanto, de estudiar la calidadde las situaciones de formación y de sus resultados.
El término formación puede revestir diferentes significados. Sepuede entender como el acto del que aprende o se forma, o como elacto de quien proporciona situaciones favorables a los aprendizajes.En este contexto, las situaciones pedagógicas, los medios técnicos, ellenguaje utilizado, la forma en que los saberes se presentan y setransmiten..., son elementos que influyen en los aprendizajes.
Por tanto, la primera cuestión que se plantea es conocer al usua-rio de la formación. Dicho de otra forma, conocer a la persona queutiliza un servicio en el que ella misma es coproductor puesto que elservicio no se materializa si no hay aprendizaje. En este contexto, losobjetivos del usuario, su proyecto profesional, su motivación paraaprender, sus aptitudes y actitudes, van a condicionar su formación.Además, la autopercepción de sus capacidades, sus competencias, sulugar en la sociedad o su papel social..., resultan igualmente deter-minantes.
Cuando una persona elige libremente formarse, la calidad de laformación recibida quedará condicionada por su satisfacción y apre-ciación personal.
En el caso de una empresa, que como cliente dispone o deman-da formación, se apreciará si quienes la han seguido satisfacen lasnecesidades formuladas por el cliente. Estas normalmente semedirán en términos de competencias, cualificación, tareas a rea-lizar, empleos a cubrir, resultados esperados en términos de com-portamientos–competencias sociales, potencialidades y dinamis-mo personal, adhesión a un sistema de valores y/o cultura deempresa...
En el caso de otros actores/intervinientes igualmente afectadospor la calidad de la formación: formadores/as, responsables de for-mación, organismos de la administración pública, colectividadeslocales..., cada cual puede tener objetivos diferentes y previsionesdistintas, en ocasiones complementarias y en ocasiones divergenteso contradictorias. Cada cual evalúa en función de su papel, de sulógica de actor, de su posición institucional.
Por tanto, no existe una sino múltiples formas de medir la calidadde la formación, lo que a su vez plantea nuevas cuestiones ¿se trata-
La formación sólose produce con lacolaboración activade la persona quese está formando
rá de satisfacer las demandas de un usuario que se considera domi-nante? o ¿se pretende combinar intereses eventualmente diferentes?.La respuesta a este tipo de cuestiones no resulta fácil porque cadaactor/interviniente valoriza cuestiones diferentes y, la calidad pasaráa ser objeto de negociación formal o implícita. En el momento en elque se producen las negociaciones, se establecen los contratos, seefectúan evaluaciones y controles..., se puede decir que surge el mer-cado de la formación.
13
NORMAS ISO 9000
Se pueden definir las normas como “documentos ordenadores de cierta actividad, elaboradasvoluntariamente y con el consenso de las partes interesadas, que conteniendo especificacionestécnicas extraídas de la experiencia y los avances de la tecnología, son de conocimiento públicoy que, en razón de su conveniencia o necesidad de aplicación extensiva, pueden estar aprobadas,como tales, por un organismo acreditado a tal efecto”.
Las normas de la familia ISO (International Organization for Standardization) 9000 se refieren a lagestión de la calidad y al aseguramiento de la calidad. La norma ISO 9000 permite seleccionar unmodelo de aseguramiento entre los que se describen en las ISO 9001/9002/9003.
Los factores clave, según la ISO 9000, que deberán tenerse en cuenta en la selección de lanorma a aplicar son:
• la dificultad presentada por el diseño del producto o los servicios• la profundidad con la que la totalidad del diseño es conocido y aprobado• la complejidad del proceso productivo • las características del producto o los servicios en relación a la complejidad del mismo• la seguridad del producto o servicio y la probabilidad de que se presenten fallos, calibrando las
consecuencias de los mismos• el coste, tanto de los cinco factores anteriores como de la no calidad, que debe considerarse
de forma sistemáticaLa ISO 9001 implica un modelo para el aseguramiento de la calidad en el diseño, desarrollo, pro-
ducción, instalación y servicio postventa, siendo la utilizada habitualmente en los centros de for-mación debido a la inclusión de las fases de diseño y desarrollo.
La ISO 9002 presenta un modelo para el aseguramiento de la calidad en la producción e insta-lación.
La ISO 9003 implica el aseguramiento de la calidad en la inspección y los ensayos finales, cuan-do éstos son los únicos requisitos cuya conformidad debe asegurar el suministrador.
Las ISO 9004 y 9004-2 recogen directrices para la gestión de la calidad, la última referida espe-cialmente a los servicios. Cabe destacar que en esta última norma se señala que, para obtener losbeneficios esperados de la calidad en el servicio, los sistemas deberían responder también a losaspectos humanos involucrados en la prestación del servicio, en especial gestionar los procesossociales del servicio, considerando las interacciones humanas como un elemento esencial de lacalidad del servicio, desarrollando las competencias y aptitudes del personal, motivando al perso-nal para la mejora de la calidad...
14
Evidentemente una definición precisa de los objetivos –en térmi-nos de resultados esperados– es indispensable para llevar a cabocualquier procedimiento de evaluación. La calidad se desprenderádel mayor o menor grado de coincidencia entre objetivos y resulta-dos o efectos producidos. Esto lleva de nuevo a la necesidad de quelas partes expliciten y confronten sus intenciones (es decir, definanqué esperan de la formación), para lo cual tendrán que negociar ybuscar compromisos.
Garantizar la calidad requiere un compromiso de análisis conjun-to y continuado del desarrollo de los proyectos y acciones por partede todos los intervenientes.
El método “referencial de variables” que se describe a continua-ción, permite abordar todas las fases de un proceso formativo. Seconcibe para ayudar a sus usuarios a decidir qué aspectos deseanvalorizar, a formular criterios y aplicarlos, con el fin de verificar elgrado de cumplimiento de sus expectativas.
Garantizar la calidadrequiere uncompromiso deanálisis conjunto ycontinuado deldesarrollo de losproyectos yacciones por partede todos losintervenientes
2. Adoptar una posición sobre la calidad
de la formación
2. Adoptar una posición sobrela calidad de la formación
Cuando se dice que una formación es de calidad, seguramen-te se estará señalando que produce los efectos esperados,pero ¿esperados por quién? ¿Por las personas que se for-
man, por quienes la financian, por los que la produce, por las empre-sas que la demandan para sus empleos…?
Para dar respuesta a estas cuestiones, además de conocer la opi-nión de los diferentes actores implicados en la formación, hay quehacer que se conviertan en coproductores de la calidad, para lo cualdeberá establecerse un consenso sobre el contenido que se asigna ala calidad de la formación.
Para llevar a cabo este ejercicio, se ha seleccionado un métodoque se asienta en una serie de variables interdependientes que amodo de pretest permite conocer los posicionamientos propios y aje-nos y, en última instancia, adoptar criterios y posiciones comunessobre la calidad de la formación.
2.1 MÉTODO BASADO EN UN REFERENCIAL DE VARIABLES
Este método es el resultado de dos investigaciones realizadas enFrancia. Una promovida por la Délégation de la FormationProfessionnelle y dirigida por el IFACE (Institut de Formationd’Animateurs Conseillers d’Entreprises), con el fin de trasladar alterreno de la formación la gestión de la calidad tal y como se lleva acabo en la industria.
La otra, promovida por la Délégation de la Formation Continuede la CCIP (Chambre de Commerce et d’Industrie de Paris), tienepor objetivo la validación experimental del método elaborado en lainvestigación precedentemente señalada y mejorar uno de los pro-ductos resultantes, el referencial de variables.
Resultado de ambas investigaciones, y en relación a la calidad, seconstata que los problemas y las dificultades se refieren principal-mente a los siguientes aspectos: estudio de necesidades, análisis dela demanda, definición de objetivos y evaluación.
La idea de calidad está asociada a la necesidad de criterios. Por suparte, la medida de la calidad de la formación está asimilada a la pro-ducción de indicadores que sean fácilmente manejables y rigurosos:coste/hora persona, superficie de los locales, tasa de colocación,absentismo, etc.
Ahora bien, independientemente del tipo de indicador que se esta-blezca, es necesario que se interprete, es decir, que se de sentido a las
La medida de lacalidad de laformación estáasimilada a laproducción deindicadores quesean fácilmentemanejables yrigurosos:coste/hora persona,superficie de loslocales, tasa decolocación,absentismo, etc.
16
17
informaciones que el indicador traduce. De esta forma, la calidadrequiere de juicios subjetivos pero establecidos a partir de informa-ciones que se trata de objetivizar al máximo.
Los criterios de interpretación variarán según la posición de losactores/intervinientes en la formación y, por extensión, de sus obje-tivos y estrategias (cada uno tiene sus propias referencias). Por suparte, la apreciación colectiva de la calidad se realizará sobra la basede ajustes pactados entre los actores afectados que darán lugar anegociaciones y acuerdos.
Este método no pretende producir indicadores estándar, es deciraplicables en cualquier situación e independientemente de cualessean los públicos destinatarios. Sino que, por el contrario, proponeun método de cuestionamiento que ayude a los formadores/as, res-ponsables, equipos..., a examinar la calidad de una acción, de un dis-positivo, de una política..., antes, durante y después de su ejecución.
Se trata de proporcionar criterios pertinentes y de identificar losindicadores que permiten cuantificar las desviaciones que se consi-deran significativas.
2.2 DESCRIPCIÓN DEL MÉTODO
Cada variable reagrupa un conjunto de cuestiones abiertas que secorresponden con una serie de elementos ordenables. Por su parte, lapersona que las utiliza, adopta una posición desde el momento en queselecciona las variables que considera más representativas y válidas res-pecto a sus objetivos; para de esta forma obtener respuestas valoradas.
Con este método se evidenciarán los criterios que permiten cons-tatar si las condiciones que se valorizan están correctamente previs-tas, o en su caso, si se han llevado a efecto.
A cada criterio se le asignarán sus correspondientes indicadoresque revelarán la existencia y el grado de presencia de factores decalidad y verificarán si las acciones realizadas resultan coherentes yse ajustan a los objetivos establecidos.
Cada usuario/a puede crear un modelo propio. La finalidad que sepersigue no es una definición objetiva de la calidad, sino dar cabidaa la apreciación de los diferentes actores/intervinientes que se con-vertirán en coproductores de la calidad de las acciones formativas enlas que participan.
Este método de trabajo:
• privilegia la investigación de hecho, cuestionando las prácticasformativas;
Cada usuario puedecrear un modelopropio. La finalidadque se persigue noes una definiciónobjetiva de lacalidad, sino darcabida a laapreciación de losdiferentes actores/intervinientes
• posiciona a cada actor como poseedor y coproductor de saberessobre la calidad de la formación;
• propone producir la calidad mediante la concertación y la impli-cación del conjunto de actores/intervinientes.
Y puede utilizarse para diferentes fines, entre los cuales se sitúan:
• esclarecer a un organismo de formación sobre sus prácticas;
• ayudar a definir exigencias mínimas para poner en marchaacciones formativas;
• cohesionar un equipo de formadores/as;
• dotarse de criterios para comprar formación;
• preparar argumentos comerciales para vender formación;
• ayudar a un cliente a clarificar un problema;
• elaborar propuestas de formación;
• analizar necesidades;
• definir objetivos;
• evaluar las acciones realizadas.
Utilizando este referencial los actores de la formación pueden cla-rificar y explicitar sus criterios, sus valores o sus posicionamientosrespecto a la calidad.
Mediante la selección de variables se expresarán sus preferencias,sus concepciones u otro tipo de cuestiones. Y en última instancia,este método les lleva a:
• explicitar el concepto de calidad;
• adquirir conciencia de la forma en la que se actúa para obteneresta calidad;
• recabar informaciones de otros actores.
El posicionamiento respecto a la pertinencia o no de las variablesse ha efectuado:
• en algunos casos, en función de lo que el/la usuario/a deseaconocer en lo que considera es su terreno de acción, su campode competencia;
• en otros, en función de la voluntad de explorar los centros deinterés del cliente y los parámetros a los que es sensible.
El método provoca una investigación propia, que se traduce bienen el cuestionamiento y análisis de las prácticas realizadas o bienen un reforzamiento y legitimación de las mismas y, con frecuen-cia, suscita la necesidad de recoger información de otrosactores/intervinientes.
El método provocauna investigaciónpropia, que setraduce bien en elcuestionamiento yanálisis de lasprácticas realizadaso bien en unreforzamiento ylegitimación de lasmismas
18
19
Además es un instrumento de mediación para:
• conocer las exigencias y criterios del cliente;
• consultar los puntos de vista, las necesidades y las expectativasde los diferentes participantes: empresas, administración, públi-cos destinatarios;
• establecer intercambios en el seno de una comisión pedagógicao de un equipo de trabajo;
• negociar objetivos de formación o contenidos de un pliego decondiciones;
La validez de este acompañamiento “neutro” ha sido ya compro-bada. Se trata de facilitar la adaptación y uso de este instrumento,regular la confrontación y la negociación de los diferentes enfoques,garantizar un marco de gestión. En síntesis, se trata de favorecer laelaboración de un diseño propio mediante un instrumento operativoque permita precisar qué se está privilegiando en el conjunto devariables que inciden sobre la calidad de la formación.
2.3 FORMA DE USO
El referencial se presenta en forma de fichas utilizables por losdiferentes actores de la formación –formadores, formandos, respon-sables de formación, organismos financiadores...– en función de losobjetivos que se plantean.
Las 17 variables del referencial se agrupan en 6 grandes bloques:
Bloque 1. Cuestiones previas a la respuesta formativa
Variable 1.1 Pertinencia de la respuesta formativa en fun-ción de los problemas a resolver
Bloque 2. Resultados
Variable 2.1 Objetivos de la formación según los diferen-tes actores
Variable 2.2 Motivación, implicación y compromiso delas futuras personas en formación
Variable 2.3 Origen y modalidades de definición de objetivos
Variable 2.4 Empleabilidad o adaptabilidad
Bloque 3. Negociación y compromiso
Variable 3.1 La negociación de objetivos
Variable 3.2 Los contratos
Bloque 4. Condiciones materiales
Variable 4.1 Evaluación cuantificada de los elementos deldispositivo
Se trata de facilitarla adaptación y usode este instrumento,regular laconfrontación y lanegociación de losdiferentes enfoques,garantizar un marcode gestión
Bloque 5. Dispositivo pedagógico y formas de aprendizaje
Variable 5.1 Flexibilidad y adaptabilidad del dispositivo
Variable 5.2 Obstáculos al aprendizaje
Variable 5.3 Prácticas pedagógicas
Variable 5.4 Consideración de los errores pedagógicos
Variable 5.5 Tratamiento de los aprendizajes no previstos
Variable 5.6 Influencia de los medios dispuestos en losaprendizajes y su aplicación
Variable 5.7 Eficacia simbólica del dispositivo
Bloque 6. Puesta en marcha, uso y efectos de la formación
Variable 6.1 Ejecución de la formación
Variable 6.2 Objetivos y utilidad de los diferentes proce-dimientos evaluatorios
Como ha quedado dicho, cada cual utilizará este instrumento a sumanera. Se adopta un punto de vista global, en el que las variables noafectan únicamente a las actividades de aprendizaje sino a la situaciónde conjunto; desde las condiciones existentes antes de decidir desarro-llar una acción formativa hasta la aplicación de las competenciasadquiridas, pasando por la concepción y construcción del dispositivo.
El uso y las posibilidades de trabajo individual y en equipo queofrece este método son múltiples. Por ejemplo:
• Como instrumento contribuye a definir las elecciones previas ala construcción de un dispositivo, facilitando la construcción demedios de observación total o parcial.
• Como apoyo para los debates y negociaciones entre las partes,los intercambios y la reflexión colectiva.
• Como memorándum para resolver cuestionamientos y clarifi-car las demandas.
• Como soporte para conocer la posición de los diferentes inter-vinientes en el proceso de formación.
Se puede trabajar con una o varias fichas y en el orden que sequiera. En ocasiones, se señalan algunas de las variables que con másfrecuencia se relacionan entre sí, aunque sin el ánimo de constreñirasociaciones que el usuario/a puede hacer libremente.
Las preguntas que figuran en las fichas de trabajo constituyen unaguía al planteamiento de cuestiones que sirven de soporte para:
• cuestionar y enunciar preferencias, expectativas, lo que deberácumplirse, es decir, establecer los criterios de calidad;
Se adopta un puntode vista global, en elque las variables noafectan únicamentea las actividades deaprendizaje sino a lasituación deconjunto
20
21
• determinar las informaciones que hay que recabar, es decir, losindicadores, con el fin de verificar que las acciones son coherentes yse adecúan a las expectativas enunciadas y a las elecciones realizadas.
El usuario/a dispone de algunos comentarios explicativos y ejem-plos ilustrativos que le permitirán familiarizarse con este método yque podrá utilizar como guía de sus propias elaboraciones.
Referencial de variables
23
CUESTIONES PREVIAS A LA RESPUESTA FORMATIVAVariable 1.1
PERTINENCIA DE LA RESPUESTA FORMATIVA EN FUNCIÓN DE LOSPROBLEMAS A RESOLVER
• ¿Cómo y quién ha planteado el problema?• ¿De dónde parte el conocimiento del problema: estudio de necesidades, deman-
das formuladas...?• ¿En qué medida la formación es la respuesta adecuada?• ¿Se puede afirmar que la respuesta formativa es la única respuesta posible o exis-
ten otro tipo de respuestas que son factibles de abordar?¿Cuáles son las posibles combinaciones que cabría plantear?
• Partiendo de que cualquier persona puede aprender por sus propios medios:estudio, lectura, observación, discusión, experimentación, imitación, ensayo yerror, medios audiovisuales... ¿Cuál o cuáles son las aportaciones que se asignana la acción formativa?
• ¿La formación se combina con otro tipo de respuestas?. En caso afirmativo, ¿cómoestá organizada?
• ¿Cómo se inscribe la formación en el marco general de la gestión de los recursoshumanos?
• ¿Cuál es la percepción, imagen y papel de la formación en la empresa?• ¿Qué tipo de prácticas formativas son las más frecuentes?• ¿Para permitir la puesta en marcha de la acción formativa se ha previsto el entorno
profesional, los medios materiales, la organización y la acogida de los participantes? • ¿...?
Se puede constatar que, en determinadas situaciones, la respuesta-formación a un proble-ma viene planteada antes de que el propio problema esté claramente definido.
Por ejemplo. En un servicio de una empresa se constata la existencia de rechazos y defec-tos, y se llega a la conclusión de que esta situación viene provocada por la falta de compe-tencias del personal. El tema se deriva al servicio de formación; sin embargo, no se ha proba-do si el problema está provocado por la necesidad de un cambio organizativo, es atribuible almaterial utilizado o requiere de nuevas contrataciones.
A veces, la respuesta-formación se combina con otras acciones complementarias que per-miten resolver el problema o los problemas identificados. Antes de poner en marcha una acciónformativa es importante situarla respecto a otro tipo de respuestas.
Consultar variable 6.1 Ejecución de la formación
24
RESULTADOS Variable 2.1
OBJETIVOS DE LA FORMACIÓN SEGÚN LOS DIFERENTESACTORES
• ¿Cuáles son los resultados que se esperan obtener a través de la formación: resolver unproblema técnico, satisfacer un proyecto personal, contribuir al desarrollo profesional,incrementar la eficacia económica, aumentar las posibilidades de obtener un empleo…?
• ¿Existen varios objetivos en función de los diferentes actores: promotores, productores,formadores, formandos...?
• ¿Los objetivos están explícitamente formulados?• ¿Son coherentes o contradictorios?• ¿Se privilegia alguno de los objetivos?
¿Cómo se inscriben y tienen en cuenta los restantes objetivos?• ¿…?
Es importante situar el motivo o motivos que han dado origen a la acción formativa, tanto porparte de los organizadores como de los promotores.
En efecto, la calidad de la formación pasa por la satisfacción de empleadores, participantes,formadores, responsables de formación, administración, colectividad local..., cada uno de loscuales puede tener metas diferentes e incluso contrapuestas.
Cada parte evaluará los resultados en función de su posición, su escala de valores, su per-cepción subjetiva o sus principios éticos.
Por ejemplo, una formación de larga duración viene precedida por un encuentro que duracuatro días a lo largo de los cuales los futuros destinatarios de la formación, 15 personas, sededican a profundizar en el conocimiento de la acción formativa y a exponer sus expectativas.
Al finalizar el encuentro, tres personas deciden no seguir la formación. Para la parte financia-dora de la acción, este último dato, tiene un efecto económico negativo, y debe corregir estasbajas buscando otras tres personas que las sustituyan.
Para los formadores/as, el mismo indicador es interpretado de manera distinta: sus alumnoshan tenido la ocasión de medir y valorar la adecuación de la oferta formativa a sus previsionesy la renuncia de tres personas la valoran como positiva.
Este es un ejemplo de dos lógicas diferentes y opuestas de valoración ante un mismoindicador.
25
RESULTADOS Variable 2.2
MOTIVACIÓN, IMPLICACIÓN Y COMPROMISO DE LAS FUTURASPERSONAS EN FORMACIÓN
• ¿En qué medida los usuarios de la formación han participado activamente en la decisióny en la elaboración de la acción formativa?
• ¿Cuáles son los intereses que mueven a las personas a aprender: curiosidad, certifica-ción, promoción profesional…?
• Independientemente del tipo de formación propuesto: ¿Cuáles son los eventuales obstáculos –económicos, culturales, sociales, sicológicos–que plantean las personas en formación ante la obligación de aprender?
• ¿Cuáles son las formas y plazos establecidos para que la persona que se va a formarconozca el programa –objetivos, métodos...– en el que se ha inscrito?
• ¿Solamente puede aceptar o rechazar la oferta que se le ha hecho?• ¿Existe obligatoriedad-imposición? • ¿La obligatoriedad es un indicador de desmotivación?• ¿Quién elige? • ¿Quién inscribe a quién? • ¿Quién financia?• ¿…?
Si se ha privilegiado la implicación y la motivación de las personas en formación, es impor-tante que contribuyan a la definición de objetivos, bien expresando sus propias expectativaso teniendo la posibilidad de aceptar o rechazar la acción formativa propuesta.
Si está previsto recoger opiniones sobre los elementos que se deberán tener en cuentapara, por ejemplo, adaptar el dispositivo al puesto de trabajo que ocupan, se les convocaráa reuniones previas en las que se ofrecerá información sobre los objetivos y los métodos quese les van a proponer.
26
RESULTADOSVariable 2.3
ORIGEN Y MODALIDADES DE DEFINICIÓN DE OBJETIVOS
• La definición de objetivos es el resultado de: ¿Un trabajo metódico –estudio de necesidades–?¿De una consulta colectiva? ¿De una demanda potencial que se intuye?
• ¿Incide en la definición de objetivos las relaciones privilegiadas que se mantienen condeterminados organismos, instituciones o personas?
• ¿Contribuyen a la definición de objetivos las preferencias por determinados métodos,instrumentos...?
• Una vez que se han fijado los objetivos ¿se ajustan a las personas que seguirán laformación?
• ¿Qué grado de protagonismo e iniciativa ha tenido cada una de las partes en la defini-ción inicial de los objetivos?
• ¿...?
Paralela y simultáneamente a la definición racional, incluso metódica de los objetivos, las pre-ferencias o las costumbres van a orientar las elecciones de los actores.
Estas elecciones vendrán influidas por la confianza que les merecen determinados organis-mos, personas, métodos o instrumentos. Así, el prestigio, la imagen o la opinión transmitidainfluirán en las decisiones.
Si alguien está satisfecho con una acción formativa, tenderá a demandar otra formación almismo organismo o al mismo formador/a, y esto se produce independientemente de que seestablezca una nueva definición de objetivos.
Consultar variables 1.1 Pertinencia de la respuesta formativa en función de los problemas aresolver
27
RESULTADOSVariable 2.4
EMPLEABILIDAD O ADAPTABILIDAD
• ¿La formación privilegia el acceso a un empleo concreto o a un puesto de trabajodeterminado?
• ¿Pretende o se destina a incrementar las posibilidades de encontrar un empleo?• ¿Pretende o se destina a responder a los requerimientos de potenciales empleado-
res?• ¿Existen posibilidades de transferir las competencias adquiridas en formación a otro
tipo de empleos?• ¿La formación trata de favorecer la movilidad profesional mediante el desarrollo de
las capacidades de adaptación a diversos empleos?• ¿Se trata de permitir que las personas que se forman efectúen tareas estrictamen-
te definidas y/o de ampliar sus competencias ante eventuales cambios en los pro-cesos productivos?
• ¿...?
A través de los objetivos fijados se puede tratar de privilegiar el acceso a un empleo con-creto o incluso a un puesto de trabajo o favorecer la movilidad mediante el desarrollo de lascapacidades de adaptación.
En su acepción más común:- La “empleabilidad” es el conjunto de capacidades que permite efectuar una serie de ta-
reas valorizadas en el mercado de trabajo- La “adaptabilidad” define la aptitud de la persona para ocupar puestos de trabajo diferentesSe trata de saber cuál de estos objetivos privilegia la formaciónDetrás de esta cuestión se sitúa la concepción y organización del proceso formativo en
función de la capacidad de los participantes para encontrar y ocupar un puesto de trabajoy en función de las necesidades que tratan de satisfacer los clientes.
28
NEGOCIACIÓN Y COMPROMISOVariable 3.1
LA NEGOCIACIÓN DE OBJETIVOS
• ¿Quiénes negocian los objetivos?• ¿Cuáles son las posturas de cada una de las partes negociadoras?• ¿Cuál es la relación de fuerzas existente entre las partes?• ¿A quién vienen eventualmente impuestos los objetivos?• ¿Es posible negociar los objetivos con todos los actores participantes en la acción
formativa?• Si es posible negociar con todos, ¿cómo se negocia: en conjunto, separada-
mente, sucesivamente?• ¿Qué tiempos se dedican a la negociación?• Independientemente de cómo han quedado definidos inicialmente los objetivos
¿existe la posibilidad de volverlos a negociar o incluso de provocar la negociacióna través del dispositivo pedagógico?
Normalmente se produce una confluencia de objetivos distintos que pivotan sobre aspec-tos relativos a la financiación, el aprendizaje, las competencias profesionales, etc. La cues-tión que se plantea es cómo ajustar las diferentes posturas antes y durante la formación.
Actores que se engloban en una misma categoría pueden tener posturas diferentes y losdeseos iniciales de los diferentes participantes pueden tener una incidencia considerable enla negociación de los objetivos.
Por ejemplo, los participantes en una acción formativa pueden confluir en ella por motivosmuy distintos: adquisición de nuevos conocimientos, promoción profesional, deseo de cam-biar de empleo,... y con finalidades muy dispares, tales como acceder a un puesto de res-ponsabilidad, aumentar su retribución salarial, encontrar otro trabajo, etc.
Hay que confrontar los puntos de vista de manera individual y en grupo. Por ejemplo, sison tres los principales participantes afectados –promotores, formadores, participantes– sepueden plantear negociaciones bilaterales o conjuntas.
Por otro lado, se deberán examinar las necesidades, la demanda, las formas de segui-miento y la implicación de todos los actores, inclusive de los que no se van a formar peroque quedan afectados. Por ejemplo, el hecho de que en una empresa dos o tres personasde un mismo departamento sigan una formación puede resultar ineficaz si no se ha cuestio-nado la estructura organizativa del departamento y las consecuencias o efectos derivadosde la formación de estas personas.
Consultar: Variable 2.1 Objetivos de la formación según los diferentes actoresVariable 2.3 Origen y modalidades de definición de objetivosVariable 5.1 Flexibilidad y adaptabilidad del dispositivo
29
NEGOCIACIÓN Y COMPROMISOVariable 3.2
LOS CONTRATOS
• ¿Entre qué partes se han formalizado relaciones mediante el establecimiento decontratos?
• ¿Existen tipos de contrato diferentes: pedagógico, económico, colocación...?• ¿Los contratos tiene diferentes finalidades? • ¿Los contratos se centran en los medios de puesta en marcha?
¿En los medios de financiación? ¿En los métodos? ¿En los procesos evaluatorios?
• ¿Cuáles son los compromisos adquiridos por las diferentes categorías de acto-res?
• ¿Los actores de la formación han sido informados y pueden anticipar el desarro-llo y, en ocasiones, ajustar su comportamiento?
• ¿Qué tipología de contratos se han establecido?- de adhesión- negociados- escritos
• ¿...?
Por ejemplo, la inscripción a un curso por catálogo se considera como un contrato deadhesión, mientras que la definición de una acción formativa entre un promotor y un orga-nismo de formación es un contrato comercial negociado; el contrato entre el formador/a y elformado/a es un contrato pedagógico y no escrito.
La garantía de la calidad tiende a asegurar los resultados, mientras que un trabajo cons-tante de mejora de la calidad examina el conjunto del sistema.
30
CONDICIONES MATERIALESVariable 4.1
EVALUACIÓN CUANTIFICADA DE LOS ELEMENTOS DELDISPOSITIVO
• ¿Qué tipo de infraestructuras y recursos pueden usar los participantes?• ¿Cuáles son las posibilidades de acceso y tipo de prestaciones que ofrece el
organismo/lugar de formación?• ¿El centro puede ser utilizado fuera de las horas de formación?• ¿Qué tipo de materiales de formación están disponibles?• ¿Qué tipo de documentación e información complementaria se encuentra dispo-
nible?• ¿Número de aulas de formación disponibles?• ¿Número medio de personas que configuran un grupo?• ¿Número medio de formadores? ¿Qué formación poseen? ¿Qué experiencia tie-
nen? ¿Qué titulaciones?• ¿Se ha propuesto una serie de fechas y horarios a los participantes para que los
seleccionen?• ¿Existen zonas o lugares de esparcimiento y encuentro accesibles a los partici-
pantes: cafetería, salas...?• ¿Cuál es el coste de la formación? ¿Cómo se financia?• ¿...?
A continuación se ofrece, a título de ejemplo, algunas de las posibles referencias que inci-den en los aprendizajes para llegar a fijar criterios de calidad, a partir de los cuales se esta-blecerán objetivos, indicadores y estándares.
- La dimensión de los locales destinados a formación (superficie total, superficie media poralumno, superficie destinada a formación, superficie media en formación por alumno…).
- La adecuación de los locales a las modalidades formativas (aulas para clases teóricas,talleres...).
- La continuidad de la actividad formativa (número de horas semanales y anuales que elcentro permanece abierto).
- Ruptura con la organización de cursos tradicionales del centro (número de horas de for-mación no reglada impartidas, porcentaje sobre el total de horas impartidas).
- La mezcla de públicos destinatarios (peso de las formaciones destinadas a personas enparo, ocupadas, con financiación pública o privada).
- La idoneidad desde el punto de vista de las personas que siguen la formación (datos cua-litativos sobre las aulas, talleres, materiales didácticos…).
31
DISPOSITIVO PEDAGÓGICO Y FORMAS DE APRENDIZAJEVariable 5.1
FLEXIBILIDAD Y ADAPTABILIDAD DEL DISPOSITIVO
• ¿El dispositivo presenta una tendencia marcada a reproducir lo que ya se ha com-probado que funciona de forma satisfactoria?
• ¿Los resultados que se deben obtener están previamente fijados, se ajustan inte-ractivamente durante la formación o se validan a destiempo?
• ¿Las observaciones y opiniones de las personas en formación, formadores, admi-nistración pública, promotores..., se toman en consideración y se comentan?
• ¿El seguimiento de la acción y la valoración de resultados dan lugar a negocia-ciones, acuerdos, ajustes?
• ¿La tendencia es la de querer innovar de manera sistemática?• ¿...?
Con lo expuesto se trata de establecer cuestiones que dejen apreciar el interés que seotorga a la estabilidad de un dispositivo o de una acción formativa, a su capacidad de repro-ducir efectos conocidos y esperados.
Por ejemplo, la tendencia a programar idénticamente las mismas acciones, mes tras mesy año tras año, independientemente de las características de los participantes.
O por el contrario, privilegiar dispositivos menos precisos respecto a los resultados quedeberán producir, pero más adaptables a las personas y a las circunstancias.
Consultar:Variable 5.4 Consideración de los errores pedagógicosVariable 5.5 Tratamiento de los aprendizajes no previstosVariable 5.6 Influencia de los medios dispuestos en los aprendizajes y su aplicación
32
DISPOSITIVO PEDAGÓGICO Y FORMAS DE APRENDIZAJEVariable 5.2
OBSTÁCULOS AL APRENDIZAJE
• ¿ Cuáles son los pasos que se aplican para tratar de percibir los obstáculos–materiales, cognoscitivos, afectivos, sociales...– susceptibles de obstaculizar eldesarrollo de la acción formativa?
• ¿Cómo se organizan y presentan los contenidos para que las personas que seestán formando puedan asimilarlos?
• ¿Cómo se tienen en cuenta las dificultades personales –expresión, comunicación,relación, etc.–?
• ¿Se han definido los conocimientos básicos necesarios previos a la formación?• ¿Se ha llevado a cabo una equiparación de niveles eficaz, o una orientación hacia
preformaciones adaptadas?• ¿...?
La variedad de obstáculos que se le pueden presentar a una persona en formación es muyamplia:
- Los saberes se presentan bajo una forma o según una secuencia progresiva que los haceinaccesibles
- No están disponibles en el momento o situación apropiada- El lenguaje que se utiliza no es comprensible- La cultura o el grupo social al que pertenece crean distancias que habrá que reducir- Los bloqueos personales, cognoscitivos o afectivos obstaculizan los aprendizajes- Es necesario reforzar la autoconfianza y cambiar las valorizaciones negativas personales.
Consultar:Variable 2.1 Objetivos de la formación según los diferentes actoresVariable 2.2. Motivación, implicación y compromiso de las futuras personas en formación
33
DISPOSITIVO PEDAGÓGICO Y FORMAS DE APRENDIZAJEVariable 5.3
PRÁCTICAS PEDAGÓGICAS
• ¿El dispositivo se ha diseñado teniendo en cuenta los intereses y las formas deaprendizaje de las personas en formación y/o organizado en función de un pro-grama y de las competencias que detentan los formadores/as ?
• ¿Cuáles son los métodos y medios técnicos aplicados? ¿Se han establecido ejercicios, simulaciones, análisis de casos, prácticas realesen situaciones de responsabilidad, pruebas de control (evaluación formativa ysumativa)? ¿Se apoya el trabajo en grupos o en subgrupos?
• ¿Existe una diversidad de situaciones pedagógicas que se corresponden con lasdiferentes formas de aprendizaje de los participantes?
• ¿Se han previsto, a lo largo de la formación, prácticas en centros de trabajo?• ¿La combinación entre aprendizaje teórico y aplicación práctica es coherente?• ¿Cúal es el valor añadido que ofrecen las prácticas pedagógicas, partiendo de
que cualquier persona puede aprender por sí sola a través de la lectura, obser-vación, discusión, experiencia, imitación...?
• ¿…?
El uso de esta variable permite explorar y adoptar una posición respecto a las dos gran-des tendencias pedagógicas:
- Centrada en la persona que se forma, sus expectativas, motivación y formas de apren-dizaje
- Centrada en la transmisión de saberes, saber-hacer y métodos, y la manera en la que secombinan
Se podrá así llegar a precisar:- El lugar que ocupa la asimilación, el descubrimiento, la elaboración de conocimientos en
las personas que aprenden.- El lugar que ocupa la memorización, la difusión de saberes, el control de su adquisición.- La relación entre teoría y práctica y cuál de ellas se prima.- Los procesos de individualización y seguimiento personalizado, tutorías ocasionales.
34
DISPOSITIVO PEDAGÓGICO Y FORMAS DE APRENDIZAJEVariable 5.4
CONSIDERACIÓN DE LOS ERRORES PEDAGÓGICOS
• ¿Los errores se consideran como una fuente de información para construir nuevosaprendizajes?
• ¿Los errores se consideran como inútiles o perjudiciales? ¿Se evitan o corrigen?
• ¿Cometer errores está mal visto y se considera como una falta?• ¿Cómo se reparan los errores y quién los designa?• ¿...?
La manera en que se tratan los errores es un buen indicador de las concepciones peda-gógicas subyacentes.
Esta variable refleja a los formadores/as, su relación con el saber y sus ideas sobre elaprendizaje.
La hipótesis de "cero errores" en formación evidencia que los errores son pérdidas sin uti-lidad. Ahora bien, se puede adoptar otra posición; los errores son señales de las dificultadesexistentes, sobre las que se debe trabajar, investigar y explorar.
Consultar:Variable 5.1 Flexibilidad y adaptabilidad del dispositivoVariable 5.5 Tratamiento de aprendizajes no previstos
35
DISPOSITIVO PEDAGÓGICO Y FORMAS DE APRENDIZAJEVariable 5.5
TRATAMIENTO DE LOS APRENDIZAJES NO PREVISTOS
• ¿Los objetivos han previsto todo lo que las personas que participan en la forma-ción deben aprender y únicamente esto?
• ¿Se promueven y admiten los aprendizajes no previstos?¿O se evitan, ignoran o suprimen?
• ¿Se consideran los efectos indirectos que tienen, por ejemplo, sobre el clima deconvivencia, sobre las motivaciones o las relaciones de trabajo, incluso cuandoestos no pueden predecirse y orientarse?
• ¿Los aprendizajes no previstos conllevan una redefinición de objetivos?• ¿...?
La referencia a los objetivos es siempre obligada, siendo un medio eficaz para ajustar unaformación a la medida de su desarrollo y, en último término, para apreciar su eficacia, perono el conjunto de sus efectos.
El programa puede estar organizado de forma rigurosa, de manera que se esperan losresultados formalmente previstos. Las personas que se han formado, como "productos" dela formación, se consideran esencialmente como receptores.
Los intereses comunes, las cuestiones que se salen del tema, sus descubrimientos, susasociaciones de ideas..., con frecuencia se tratan como distractores no favorables.
Sin embargo, es cierto que se aprende desde fuera de lo que se está enseñando, en detri-mento o como complemento de esa enseñanza.
De cara a un curso predeterminado, se permitirán o incluso se propiciarán estas desvia-ciones y rodeos, y se tendrán en cuenta, dado que ningún formador/a sabe como aprendesu alumnado.
Consultar:Variable 5.1 Flexibilidad y adaptabilidad del dispositivoVariable 5.3 Prácticas pedagógicasVariable 5.4 Consideración de los errores pedagógicos
36
DISPOSITIVO PEDAGÓGICO Y FORMAS DE APRENDIZAJEVariable 5.6
INFLUENCIA DE LOS MEDIOS DISPUESTOS EN LOS APRENDIZAJESY SU APLICACIÓN
• ¿Qué trabajo pedagógico se ha previsto para permitir la eficacia de los aprendi-zajes teniendo en cuenta los conflictos y las rupturas que la formación entrañanecesariamente en el sistema de valores, el sistema de representación y en oca-siones en la afectividad de las personas en formación?
• ¿Cómo se ha previsto en la organización pedagógica el rechazo a la formacióncomo situación ajena al medio profesional, familiar y de relaciones personaleshabitual? ¿Se han previsto medios para expresar y tratar estos problemas de resistencia?
• ¿Existen medidas de ajuste ante los rechazos a la formación y una tipología deposibles respuestas anticipadas?
• ¿...?
Es sabido que el entorno de procedencia (profesional y privado) condiciona la manera deaprender y lo que se puede aprender.
Formarse es cambiar, enriquecerse, modificar en parte las propias referencias, los valores,el lenguaje, la propia autopercepción...
Determinadas personas pueden vivir mal estos cambios. La cuestión lleva a reflexionarsobre la forma en que estos aspectos pueden o deben tenerse en cuenta, incluso a antici-parlos, a lo largo de la formación.
37
DISPOSITIVO PEDAGÓGICO Y FORMAS DE APRENDIZAJEVariable 5.7
EFICACIA SIMBÓLICA DEL DISPOSITIVO
• ¿El dispositivo engloba pruebas que deben superarse –pruebas de entrada, exá-menes– y una certificación que confiere un valor a las formaciones?
• ¿Se trata de un establecimiento con prestigio?• ¿La existencia de un título o certificación reconocida legitima la inserción en el
mercado de trabajo? ¿Lo anterior es un factor de motivación que favorece el aprendizaje?
• ¿La formación conlleva y garantiza que los participantes se conviertan en actoresdinámicos de su futuro profesional?
• ¿…?
La eficacia simbólica de un dispositivo de formación consiste en la capacidad que tiene deinspirar confianza, movilizar esfuerzos, convencer de su valor, independientemente de su efi-cacia real.
La eficacia simbólica combina dos factores que confieren al dispositivo una parte esencialde su poder educativo-formativo:
- Su prestigio, su imagen como garantía de éxito, el valor reconocido de las personas quetrabajan en el centro, el deseo manifiesto de recibir formación en ese establecimiento.
- Su posición institucional, su poder social de legitimación.Cuando una formación está poco o mal reconocida, se desconfía de sus resultados y pier-
de toda su eficacia.Si se tienen en cuenta criterios de calidad tales como la obtención de un empleo, la inser-
ción o la promoción, sin lugar a dudas, hay que considerar los aspectos simbólicos del dis-positivo como factores de éxito determinantes.
El número de nuevos candidatos o la evolución anual del número de alumnos son algunosindicadores apropiados para medirlos.
38
PUESTA EN MARCHA, USO Y EFECTOS DE LAFORMACIÓN
Variable 6.1
EJECUCIÓN DE LA FORMACIÓN
• ¿La formación adquirida se utiliza, total o parcialmente, en la actividad profesio-nal o en otro tipo de actividades?
• ¿Cuál ha sido el grado de inserción en el mercado de empleo de las personas quehan seguido una formación especializada?
• ¿Se constata que se aplican los procedimientos, técnicas y saberes que se impar-ten?
• ¿Se reúnen la condiciones técnicas que permiten aplicar los conocimientos de laformación? Por ejemplo, ¿los medios y equipos que se utilizan en formación se correspondencon las situaciones reales de trabajo?
• ¿La organización del entorno de trabajo es compatible con la aplicación de lascapacidades adquiridas en formación?
• ¿Las reacciones de rechazo y de resistencia al entorno formativo son suscepti-bles de hacer ineficaz la formación?
• ¿...?
La calidad de un producto o de un servicio depende de su valor de uso. Una formación que no puede utilizarse –por razones diversas– es como si no hubiera exis-
tido o permanece en un estado de potencialidad. Su utilización puede ser exclusivamenteintelectual, pero, en cualquier caso, si no se aplica se pierde rápidamente –salvo los apren-dizajes gestuales o motrices–.
La calidad de una formación se puede apreciar en el momento de su aplicación, y no deotra forma. Por ejemplo, se constata que formaciones que resultan muy satisfactorias paralos participantes no se utilizan porque no se adecúan a las condiciones de trabajo –condi-ciones técnicas o sociales–. Existen normalmente diferencias significativas entre las situa-ciones de trabajo y las que se construyen en formación –objetivos de producción por unlado, objetivos de formación e incluso de desarrollo cultural por otro–. Aquí caben diversasopciones: elegir alguno de ellos, distinguirlos, aproximarlos, mezclarlos.
Consultar:Variable 1.1 Pertinencia de la respuesta formativa en función de los problemas a resolverVariable 5.6 Influencia de los medios dispuestos en los aprendizajes y su aplicación
39
PUESTA EN MARCHA, USO Y EFECTOS DE LAFORMACIÓN
Variable 6.2
OBJETIVOS Y UTILIDAD DE LOS DIFERENTES PROCEDIMIENTOSEVALUATORIOS
• ¿Se pretende verificar la aplicación de las capacidades adquiridas? ¿Quién efec-túa la verificación, de qué manera y cuándo?
• ¿Se contempla la medición de su impacto en el medio profesional?• ¿Se trata de recoger manifestaciones verbales de satisfacción? ¿De verbalizar los
aprendizajes? ¿De cumplimentar un listado de capacidades que se aplican? ¿Deuna evaluación del clima del grupo y/o la eficacia de los formadores/as?
• ¿Se trata de evaluar al organismo de formación?• ¿Los formadores/as pueden expresar libremente su apreciación sobre la eficacia
de su actividad?• ¿ Muestran una percepción de utilidad? ¿Señalan las dificultades y los fracasos
respecto al ideal nunca alcanzado?• ¿Quién es el destinatario de la evaluación?• ¿Se confunden evaluación y certificación?
¿La función de formar y evaluar las desempeña la misma persona? ¿Los formadores/as son, en principio, los aliados de las personas en formación omás bien sus jueces?• ¿...?
Hay que preguntarse qué se espera de una evaluación formal y los motivos por los cualesse evalúa. Esto, evidentemente, remite de nuevo a la forma en que se han definido los obje-tivos y a los medios establecidos –o no establecidos– para verificar si se han cumplido y enqué medida.
Sólo así se puede examinar el papel que desempeñan los procedimientos de evaluaciónen el juego de actores de la formación (posición y estrategia aplicada).
Con frecuencia se recoge la opinión de los diversos actores, sin duda importante comoindicador de un juicio, pero ésta debe someterse a contraste con datos objetivos que pue-den ser recabados.
Por ejemplo, la satisfacción de las personas que han seguido una determinada acción for-mativa no indica gran cosa sobre su capacidad para poner en práctica las posibles capaci-dades adquiridas.
También es necesario tener en cuenta, la satisfacción de los formadores/as, es decir, laopinión y percepción de la utilidad de sus acciones.
3. Evaluar la calidad de la formación
41
3. Evaluar la calidad de la formación
La primera cuestión que se plantea al abordar esta cuestión esla de tratar de acotar, de una manera lo más exacta y, almismo tiempo, amplia y flexible, el campo que cubren las
dinámicas evaluatorias.
3.1 ¿QUÉ SIGNIFICA EVALUAR?
El término evaluar puede tener muchos significados, tomados alazar entre otros, los siguientes:
• Verificar lo que se ha aprendido, comprendido, retenido. Verificarlas adquisiciones en un contexto dinámico.
• Juzgar un trabajo en función de las consignas dadas; juzgar el nivelde un alumno respecto al resto del grupo; juzgar según normaspreestablecidas.
• Estimar el nivel de competencias de un alumno o de un trabajador.
• Situar al alumno/trabajador respecto a sus posibilidades; o en rela-ción a los restantes alumnos/trabajadores; situar la producción deun alumno/trabajador respecto al nivel general.
• Representar mediante un cifra el grado de cumplimiento de unatarea en función de criterios previamente establecidos.
• Dar una opinión sobre los saberes que domina una persona; daruna opinión sobre el valor de un trabajo.
En este abanico de definiciones se puede ver que la pluralidad de ver-bos que designan el acto de evaluar se acompaña de una multiplicidadde términos que designan el objeto de este acto, que pueden focalizarsesobre los conocimientos, los saberes, las competencias, las tareas, etc.No se puede representar un grado de consecución mediante una cifra sinque antes no se haya juzgado o apreciado esta consecución. La cuantifi-cación es la expresión de un juicio que, lógicamente, preexiste. Decirque un ejercicio merece una puntuación de 16 sobre 20, es expresar eljuicio que se tiene sobre su “valor”. Para poder opinar sobre el valor deun trabajo, es preciso que antes se disponga de los medios para apre-hender (captar) este valor. En sentido estricto, en esto consiste la eva-luación, y tres son las ideas claves a retener: verificar, situar y juzgar.
• verificar las presencia de algo esperado (conocimiento o compe-tencia);
• situar (a un individuo, a un producto) respecto a un nivel, a ungrupo;
• juzgar (el valor de...).
No se puederepresentar ungrado deconsecuciónmediante una cifrasin que antes no sehaya juzgado oapreciado estaconsecución. Lacuantificación es laexpresión de unjuicio que,lógicamente,preexiste
42
Esta acepción testimonia en cierta medida la dificultad que encie-rra el concepto de evaluación. ¿Cómo se puede juzgar el valor de untrabajo o el de una persona? El término valor es particularmenteambiguo y mezcla lo cuantitativo (medida) y lo cualitativo (normaideal), lo real (el universo de los objetos) y lo ideal. Mérito y/o pre-cio, calidad, cantidad, otorgan a la evaluación un carácter polisémico(pluralista en sus significados) y multidimensional (comporta un tra-bajo que se desdobla en varios registros y en diferentes campos).
Pero, precisamente, la pluralidad de significados del términovalor permite nuevos cuestionamientos y funciona como un signo oun indicio que abre la vía de importantes descubrimientos. El con-cepto mezcla y entrecruza significados y aspectos. Desde este puntode vista, evaluar conlleva establecer relaciones, pasarelas, entre dife-rentes niveles de la realidad marcando la distancia que los separa.Independientemente del valor adoptado sólo se puede evaluar bajo lacondición de adoptarlos; es decir, de constituir una idea o un con-junto de ideas como referente y en función del mismo será posibleapreciar la realidad.
La esencia de la evaluación consiste en establecer relaciones:
❍ Relacionar lo que existe y lo que se esperaba que existiera. Porejemplo: el alumno tal y como es a través de sus trabajos y elalumno ideal que domina los conocimientos y los saberes.
❍ Relacionar un comportamiento dado y un comportamiento degrupo: un resultado real y un resultado esperado.
❍ Relacionar, en definitiva, un realidad y un modelo ideal. La pues-ta en relación se efectúa a través de unas normas de juicio o cri-terios.
Tras estas precisiones se puede definir la evaluación como laacción mediante la cual se formula un juicio de valor sobre un obje-to determinado (individuo, situación, acción, proyecto, etc.) median-te la confrontación de dos series de datos, serie real y serie ideal, quese ponen en relación.
El referente de la evaluación, es decir, “aquello en relación a locual se efectúa el juicio de valor”. El referente pertenece al orden delos objetivos. Las operaciones de constitución del referente se pue-den situar en dos subconjuntos:
❍ La identificación de los objetivos perseguidos independientemen-te de la evaluación.
❍ La especificación de normas o de criterios.
Independientementedel valor adoptadosólo se puedeevaluar bajo lacondición deadoptarlo; es decir,de constituir unaidea o un conjuntode ideas comoreferente y enfunción del mismoserá posibleapreciar la realidad
43
1. Formar . Cambios previstos, significados que reviste, momentos, contextos..
2. Evaluar . Finalidad que se confiere a la acción de evaluar: informar, regular, formar...Criterios eindicadores.
3. Objeto . Cuales son los campos de investigación: acción global, terrenos concretos, tipo deefectos que se quiere apreciar, cómo se asegura que los efectos observados son consecuenciade la acción formativa.
4. Herramientas . Cuáles son las herramientas que se deberán utilizar para producir la informacióny como deberán aplicarse, conveniencia de establecer herramientas específicas para diferentestipos de acciones.
5. Quién evaluará . Qué partes de la evaluación corresponderá a los responsables de formación,a los formadores, a los formados, a los expertos externos, a las empresas, etc.
6. Cuándo . Cuales son los momentos oportunos para recoger información: antes, durante (encaliente) al finalizar (en frío) o transcurrido un tiempo (diferida). Qué peso se otorga a la informaciónrecabada en los diferentes momentos.
7. Destino . Quién recibirá y explotará la información.
8. Para adoptar qué tipo de decisiones . Sobre qué recaerá la evaluación y en que dinámica seinscribe, quién detenta el poder de decisión y en qué terrenos.
9. Utilidad . Cómo poner la evaluación al servicio de una mejora de la calidad de la formación,cómo conseguir su verdadera eficacia, y cómo se define esta eficacia.
Figura 1
CUADRO DE ELEMENTOS EN LA EVALUACIÓN DE ACCIONES FORMATIVAS
1. FORMAR 2. EVALUAR
9. UTILIDAD
3. OBJETO8. TIPO DE DECISIÓN
7 DESTINO
6 CUÁNDO 5 QUIÉN 4 HERRAMIENTAS
SIGNIFICADO DE LA OPERACIÓN
SENTIDOS
FORMAS Y HERRAMIENTAS
44
Los datos de referencia de la evaluación se corresponden con el
conjunto de elementos observables que se consideran significativos
y a través de los cuales se capta lo real/concreto y se realiza el juicio
de valor. Se construyen con la ayuda de instrumentos de observación
(herramientas de evaluación) que producen la información necesaria
para evaluar (indicadores). La referencia corresponde a lo que será
retenido de un objeto a través de su lectura y testimonia la presencia
de las características que se pretenden (objetivos).
El proceso de evaluación vendrá caracterizado por una doble arti-
culación:
• Articulación, en primer término, entre el dato de referencia y el
referente, puesto que evaluar consiste en atribuir un valor (o una
acepción más amplia, un sentido) a una situación real en función
de una situación deseada, confrontando de esta forma la realidad
y las expectativas.
• Pero también, articulación entre el dato de referencia y referente y
las realidades que en última instancia constituyen un modelo
reducido.
Otras dificultades de la evaluación son la variedad de métodos y
funciones que se le asignan: diagnóstica o predictiva, formativa y
sumativa; la variedad de campos de aplicación y actores: formado-
res, formandos, responsables políticos, usuarios y expertos. Tratar de
ordenar e identificar las variables evaluatorias de una acción forma-
tiva, conduce a distinguir nueve elementos y sus correspondientes
cuestiones, que surgen y se plantean cuando se aborda la puesta en
marcha de una operación evaluadora.
Estos cuestionamientos son susceptibles de organizarse, tal y
como se recoge en el siguiente esquema donde las cuestiones enun-
ciadas se relacionan, se articulan y se organizan en un cuestiona-
miento global. Pero su principal interés reside en el hecho de que
permitir entrever cómo las cuestiones de orden metodológico se fun-
den y desembocan al mismo tiempo en cuestiones relativas al senti-
do de la evaluación. Así cabe distinguir:
• Cuestiones de orden técnico, que conciernen a las posibles for-
mas de evaluación, los procedimientos a aplicar, las operaciones con-
cretas a realizar. Todas estas cuestiones pueden agruparse bajo el tér-
mino dispositivo, que conlleva determinar una metodología aportan-
do respuestas concretas a las cuestiones relativas a los objetos, for-
mas y herramientas (cuestiones 3 a 6).
Otras dificultadesde la evaluación sonla variedad demétodos yfunciones que se leasignan: diagnósticao predictiva,formativa ysumativa; lavariedad de camposde aplicación yactores:formadores,formandos,responsablespolíticos, usuarios yexpertos.
45
Cuestiones que conciernen al sentido de la operación y que son
al mismo tiempo el punto de inicio y llegada de los cuestionamien-
tos técnicos. Para construir una metodología evaluatoria de las
acciones de formación hay que cuestionar qué se entiende por for-
mar y evaluar. Y las elecciones que implica la construcción de un
dispositivo vendrán guiadas, aparte de consideraciones puramente
técnicas (no sólo por esta primera toma de posición general sobre
el sentido de las operaciones), por el sentido particular de la ope-
ración de evaluar en la cual se inscribe concretamente. La infor-
mación a recabar dependerán de lo que se entienda por formación
eficaz, del sentido que se otorgue a la acción de evaluar, pero tam-
bién de la función precisa de la evaluación (destino). Las cuestio-
nes técnicas obtienen respuesta en el marco de reflexión sobre el
sentido y los objetivos de la evaluación.
Las elecciones queimplica laconstrucción de undispositivo vendránguiadas, aparte deconsideracionespuramente técnicas,por el sentidoparticular de laoperación deevaluar en la cual seinscribeconcretamente
Confrontando
Aplicación
ContrastePuesta en correspondencia
JUZGAR:Atribuir
Un valor Un sentido
EVALUAR
REALIDAD(Situación concreta observada)
INFORMACIÓN REAL(Producción concreta)
Figura 2
ARTICULAR EL PROCESO DE EVALUACIÓN
PROYECTO(Intención de cambio)
INFORMACIÓN SITUACIÓN IDEAL(Lo que, en términos ideales,
se espera obtener)
REFERENCIAConjunto de elementos
considerados representativos
REFERENTEConjunto de intenciones
consideradas significativas
Normasy Criterios
IndicadoresCategorías de medición
de la realidad
A partir deuna situación real
En función deuna situación deseada
46
3.2 PRÁCTICAS EVALUATORIAS
Las políticas tendentes a mejorar la calidad de la enseñanza y aseguir de cerca el funcionamiento de los sistemas de educación y for-mación a través de su medida y evaluación, se desarrollan en parale-lo. La razón de este hecho es evidente: no se puede juzgar la efica-cia de las políticas y las acciones en este terreno sin basarse en unacuantificación sistémica y en una valoración científica de sus resul-tados. Todas las políticas, todas las reformas, comportan su propiaevaluación, que tendrán un nuevo impacto sobre las futuras prácticas.
Las prácticas evaluatorias se han ampliado y se ha producido undeslizamiento: de un cuadro evaluatorio centrado en los “pro-ductores” –administración, enseñantes...– se ha pasado a un cua-dro centrado en los “consumidores” –públicos destinatarios,demandantes–. En el contexto de este nuevo modelo, el proceso eva-luatorio viene participado por los propios consumidores, para permi-tirles realizar un diagnóstico de la situación y de las medidas que sedeben adoptar. Si bien este cambio no es todavía total, se ha produ-cido ya una tendencia manifiesta hacia la confluencia entre los dosmodelos “productor” y “consumidor”.
Por otro lado, conviene subrayarlo, no existe un cuerpo de cono-cimientos teóricos coherente y unánimemente aceptado para lasprácticas evaluatorias. De hecho, la teoría se ha construido a partir delas acciones llevadas a cabo. La evaluación de los sistemas como lade las políticas es relativamente reciente, sin embargo, hay que cons-tatar que, a pesar de las deficiencias, los avances en este terreno hansido y están siendo importantes, y la magnitud de su alcance esincuestionable por la incidencia que tienen a nivel de decisión y deinnovación de los propios sistemas y acciones.
El papel que se atribuye a la evaluación y al control de la calidadse integra en el proceso de creciente racionalización que viven lossectores público y privado. Dar cuenta de los resultados, de los avan-ces o de los fracasos producidos, forma parte de este proceso. Laevaluación responde en primer lugar a la necesidad interna de cual-quier organización de cuantificar sus actividades y sus resulta-dos, puesto que este seguimiento permite identificar las causas con-cretas que provocan un mal funcionamiento o unos resultadosmediocres, y actuar sobre ellas para corregirlas y mejorarlas.
La complejidad de las sociedades actuales ha hecho que el mapade intereses en juego se densifique y aumente el número de clientes–directos e indirectos– de la formación. En este contexto de evolu-
Todas las políticas,todas las reformas,comportan supropia evaluación,que tendrán unnuevo impactosobre las futurasprácticas. Pero noexiste un cuerpo deconocimientosteóricos coherente yunánimementeaceptado para lasprácticasevaluatorias
47
ción cabe situar la tendencia creciente a la privatización de activida-des o establecimientos, total o intermedia –ni completamente públi-cos ni totalmente privados–y el notable incremento del número depersonas e instituciones interesadas y afectadas por el funciona-miento y los resultados de la formación.
Por otra parte, el estilo de la gestión pública ha cambiado; lasadministraciones públicas se dirigen a los consumidores, introdu-ciendo criterios de mercado para la satisfacción inmediata de necesi-dades y aspiraciones de sus diferentes clientes.
Otro tipo de factores, como la exigencia de transparencia yapertura que afecta de manera especial a determinados servicios–públicos y privados–, exigen la producción permanente deinformación valorada.
Estos factores de evolución han afectado a los sistemas de ense-ñanza y formación, pero siempre con una intensidad más baja y conun cierto retraso, si se compara con otros servicios, lo que ha permi-tido, acotar, atenuar y escalonar sus efectos.
Si bien la importancia que se asigna al tema de la calidad no es lamisma en todos los países europeos, numerosos informes al respec-to coinciden en señalar que esta cuestión debe pasar a ocupar un
Si bien laimportancia que seasigna al tema de lacalidad no es lamisma en todos lospaíses europeos,numerosos informesal respectocoinciden enseñalar que estacuestión debe pasara ocupar un lugarmás importante
LA EVALUACIÓN EN EL REINO UNIDO
La reforma de la enseñanza y la formación profesional en el Reino Unido ha dado lugar a la imple-mentación de nuevos sistemas de cualificación profesional; el NVQ (National VocationalQualifications) concebido para confirmar la competencia profesional de un individuo mediante nor-mas nacionales y el denominado GNVQ (General National Vocational Qualifications) concebidopara confirmar si un individuo está preparado para asumir un empleo en una gama de actividadesconexas.
Esta reforma ha sido impulsada por el Gobierno mediante la determinación de los objetivosnacionales de formación (inicial y continua), medidos en términos de porcentajes de jóvenes y adul-tos que deberán alcanzar, al horizonte del año 2000, niveles de cualificación específicos.
En este contexto, la evaluación de los resultados de los alumnos se convierte en el referente fun-damental de la política formativa, inscrita en un marco de valoración que prima la eficacia (aplica-da a todos los ámbitos de intervención estatal) y que emplea como criterio el concepto “Value forMoney”, es decir, los resultados obtenidos en función del gasto efectuado.
Surgen así iniciativas de difusión de los resultados de los alumnos de los centros, la compara-ción de los costes por cualificación obtenida o la financiación parcial de la formación en función delos resultados alcanzados; propiciando un importante debate en torno al reduccionismo de estetipo de enfoques y el sesgo que provocan hacia la formación de las personas con más posibilida-des de obtener buenos resultados.
48
lugar más importante. No se produce una unanimidad, ni entre losdiferentes países ni en el interior de los mismos, sobre el sentidoexacto del concepto calidad ni sobre las actuaciones a las que éstadeberá dar lugar. Sin embargo, se constata que una definición dema-siado limitada resultaría contraproducente y plantearía conflictos ycontroversias ideológicas.
En contrapartida, se produce un cierto consenso en torno a la ideade que las economías y las sociedades modernas exigen aprovecharal máximo la potencialidad de los recursos humanos, y que se debe-rán poner en marcha todos los mecanismos necesarios para mejorarla calidad de su formación.
El término calidad se utiliza en ocasiones con un sentido diferencia-dor: las políticas educativas en sus diferentes niveles –primario, secun-dario, profesional, superior– deberán centrarse en los aspectos “cualita-tivos” y dejar de considerar exclusivamente los aspectos “cuantitati-vos”. En el marco de estas políticas se inscribe la determinación de unnivel mínimo de resultados, el establecimiento de programas específi-cos para grupos concretos, la organización de sistemas eficaces deinformación y orientación, la reorganización de las inspecciones... y,por último y sobre todo, la creación de nuevos organismos, instrumen-tos y dispositivos para el seguimiento, control y evaluación.
Se ha producido además un cambio que resulta significativo: laeducación y la formación han pasado a ser consideradas actividadeseconómicas y, en consecuencia, sometidas a las leyes de la oferta yla demanda y a entrar en competencia de mercado. Bajo esta con-cepción, los centros de enseñanza y formación son empresas que,en función de los recursos disponibles, deberán producir de laforma más eficaz posible los mejores resultados.
Por el momento, esta descripción corresponde de forma muy par-cial a determinadas realidades educativas y formativas. El “consu-merismo” en esta forma extrema es todavía un fenómeno excepcio-nal. Probablemente la confrontación entre el modelo “economicista”y el modelo “servicio público” no ha hecho más que empezar.
Otros cambios importantes que se han producido en la adminis-tración de los sistemas de enseñanza y formación son: por un lado,la delegación y/o descentralización, y por otra parte, el reforzamien-to de la autonomía de los centros formativos. Más concretamente,Bélgica y España se destacan, por razones diferentes, en la transfe-rencia y descentralización de poderes en favor de las administracio-nes regionales y locales.
Se ha producidoademás un cambioque resultasignificativo: laeducación y laformación hanpasado a serconsideradasactividadeseconómicas y, enconsecuencia,sometidas a lasleyes de la oferta yla demanda y aentrar encompetencia demercado
49
Este desplazamiento de los centros de decisión genera, por simismo, la necesidad de la evaluación, independientemente delimpacto de otros factores que como ha quedado expuesto inciden enel mismo sentido.
Si bien se ha producido una toma de conciencia generalizada res-pecto a la necesidad de realizar una evaluación sistémica para todoslos niveles educativos, esta toma de conciencia no es aún sinónimode actuación práctica.
La reorganización y el reforzamiento de los dispositivos de eva-luación tienen como fin, no sólo el seguimiento y control de los sis-temas y las prácticas educativo-formativas, sino la reorientación yreforma de las mismas.
Con carácter general, reforzar los medios de evaluación ha consis-tido en mejorar y, en ocasiones, ampliar la evaluación de los resulta-dos del alumnado, de la utilización de recursos, de los programasespeciales y de las reformas específicas, gracias a destacados avancesproducidos a nivel de metodologías, a la definición más precisa deobjetivos, a la mejora de los estudios de resultados y de su difusión.
La tendencia hacia los modelos consumeristas de evaluación hainfluido en la metodología y llevado a adoptar modelos menos sofis-ticados y más fácilmente utilizables por un amplio abanico de perso-nas. Los métodos se han hecho más transparentes y accesibles den-tro y fuera de los sistemas educativos y de formación.
En el terreno de la evaluación individual, del grupo destinatario odel establecimiento, se asiste a una ampliación de las variables deevaluación, incluyendo, por ejemplo, los aspectos no cognoscitivos–actitudinales, comportamentales, etc–, o la adquisición de compe-tencias en la enseñanza técnica y profesional.
La importancia que reviste la medida de los resultados del alum-nado varía mucho; mientras que en algunos casos adquiere un papelsecundario, en otros es la base y la finalidad del proceso evaluatorioy mediante la agregación de resultados individuales se pasa a evaluarel grupo, el establecimiento, el ámbito local.
La evaluación está llegando a un momento crucial, focalizadasobre los resultados individuales (programas de alcance nacional) osobre el conjunto del sistema educativo-formativo, aborda las accio-nes a nivel local y de los centros que las imparten. En cada caso, seincluyen nuevos campos y las técnicas y métodos se renuevan. Sinembargo, algunos problemas de base no están resueltos. Por ejemplo,aunque el interés se está desplazando de lo cuantitativo a lo cualita-
La evaluación estállegando a unmomento crucial,focalizada sobre losresultadosindividuales(programas dealcance nacional) osobre el conjuntodel sistemaeducativo-formativo,aborda las accionesa nivel local y de loscentros que lasimparten.
50
tivo, la relación entre ambos no está claramente establecida, por otrolado, importantes sectores de la enseñanza y de la formación escapana los procesos que requiere una verdadera evaluación y la elabora-ción de métodos de evaluación o autoevaluación de los centros deformación está en sus inicios.
Entre las nuevas aproximaciones metodológicas, se constata laemergencia de prácticas evaluatorias “multidimensionales” que utili-zan una gama más amplia de instrumentos cuantitativos, encuestas,análisis, estudios longitudinales, criterios más sutiles y observacio-nes sistemáticas.
El objetivo ideal a alcanzar consistiría, naturalmente, en que estepuzzle desembocara en un cuadro evaluatorio sistemático y com-prensible. Para ello hay que resolver los problemas existentes en elcampo de la evaluación formativa:
• Cada método se aplica normalmente en un nivel concreto del siste-ma y muchas veces a una situación concreta.
• La necesidad de un trabajo de investigación y desarrollo que eviteel recurso a métodos complejos.
• Lo señalado conlleva la toma de nuevas decisiones en materia deevaluación y plantea problemas conocidos: dónde deberá llevarsea cabo la evaluación, quiénes son sus productores...
Las modalidades prácticas y las técnicas evaluatorias difieren engran medida (pero no exclusivamente) en función de las finalidadesque se les asignan y de las diferentes categorías de destinatarios.
Existe una relación entre el saber que se desprende de la evaluacióny los responsables institucionales. El modelo de evaluación varía, asímismo, en función del grado de control; si este control es estricto, laevaluación será externa, “objetiva” y adoptará la forma de un balance–evaluación sumativa–. Si este control es interno, la evaluación seráinteractiva, formativa y revestirá la forma de un autoanálisis.
El tipo de evaluación no será el mismo si se desea promover unmodelo positivo de cambio o garantizar la continuidad de las prácti-cas pedagógicas. La evaluación pone en juego diversos sistemas devalores y conduce a plantearse la naturaleza de los objetivos que seasignan a las acciones formativas: si se desea obtener “productos”medibles o si se desea ofrecer posibilidades de desarrollo a los recur-sos humanos –formantes, formandos–.
Las diferencias entre las diversas modalidades de evaluación pue-den aclararse recurriendo a las dicotomías.
El modelo deevaluación varía, asímismo, en funcióndel grado decontrol; si estecontrol es estricto,la evaluación seráexterna, “objetiva” yadoptará la formade un balance–evaluaciónsumativa–. Si estecontrol es interno, laevaluación seráinteractiva,formativa y revestirála forma de un autoanálisis
51
Primera dicotomía: evaluación interactiva o con carácter de ins-pección. La segunda viene conducida por un cuerpo de inspectores yse dirige a quienes tienen la misión de gestionar y controlar el siste-ma educativo-formativo, y si es interactiva, tendrá la finalidad deconducir el proceso de mejora (del profesorado, por ejemplo).
Segunda dicotomía: evaluación formativa o evaluación sumativa.La primera tiene por objeto ayudar a las personas evaluadas a mejo-rar sus competencias, permitiéndoles aprovecharse, poco a poco, deun proceso continuado de apreciaciones sobre ellas. La evaluaciónsumativa consiste en manifestar un juicio e intervenir a posteriori.
Tercera dicotomía: evaluación externa o interna. Una evaluaciónexterna puede ocasionalmente ser encargada a evaluadores que pue-den no partir de los mismos valores que detentan las personas/orga-nismos evaluados, pero que privilegian los criterios objetivables.Respecto a la autoevaluación, ésta es llevada a cabo por el propioindividuo (o en su caso, organismo de formación).
El tipo deevaluación no seráel mismo si sedesea promover unmodelo positivo decambio o garantizarla continuidad delas prácticaspedagógicas
52
4. Estrategias dinámicas deevaluación en la empresa.
Posibilidades de transferencia al sistema de formación profesional
4. Estrategias dinámicas deevaluación en la empresa.
Posibilidades de transferencia al sistema de formación profesional
La competencia tanto individual como colectiva se afirma deforma manifiesta como el elemento fundamental sobre elque reposa la productividad y la competitividad de las
empresas de nuestro tiempo.
La formación, desde luego, no es la única vía para adquirir compe-tencias profesionales, y habitualmente se subestima el papel de laexperiencia y la práctica profesional en la transferencia espontánea decompetencias. Las ocasiones de aumentar las capacidades y de for-marse son múltiples y variadas a lo largo de la vida profesional; unnuevo proyecto, un problema de difícil resolución, un período de tra-bajo acompañado por personas que tienen más experiencia, un cambiotemporal a otro departamento, son ocasiones propicias para ello.
Es frecuente encontrar en las grandes empresas, reconocidas porla calidad de la gestión de sus recursos humanos, responsables deformación que estiman como un éxito que las personas que hanseguido una acción formativa apliquen a su actividad el 50% de loque han aprendido. El coste de la “no calidad” del 50% restante,resultaría, sin embargo, inaceptable en otras áreas de la empresa.
Aunque las disposiciones normativas han sido un formidable ace-lerador de la formación en las empresas, han dado lugar, en ocasio-nes, a ciertas derivaciones que se ilustran bajo determinados bino-mios, tales como formación-recompensa, formación-subterfugio,formación-moneda de cambio del diálogo social, etc. Aunque lasprácticas de las empresas han cambiado con la generalización de lascondiciones y procedimientos de compra de la formación, no siem-pre se actúa ante la persistencia de ciertas formaciones que el senti-do común desaconsejaría llevarlas a cabo.
Por otro lado, se ha extremado la consideración de la formacióncomo la salvadora en el terreno económico y social. Si bien, con elpaso del tiempo se han acotado los límites de la formación y se haextendido la concepción de la formación como inversión.
Resulta, por tanto, esencial valorar la contribución de la forma-ción al desarrollo de las actividades de la empresa. Esta evaluaciónpermitirá, en primer término, visualizar su aportación a la resoluciónde problemas concretos y se constituye en un instrumento para poderarbitrar el nivel de esfuerzo financiero empresarial necesario.
Aunque lasprácticas de lasempresas hancambiado con lageneralización delas condiciones yprocedimientos decompra de laformación, nosiempre se actúaante la persistenciade ciertasformaciones que elsentido comúndesaconsejaríallevarlas a cabo
53
54
Normalmente las reducciones drásticas de inversión en forma-ción se producen en las formaciones no operativas; por ejemplo lasdel tipo “cultura de empresa”, cuyo rol es importante cara a los cam-bios de imagen que realizan las empresas, son a menudo las prime-ras en verse afectadas y cabe aquí cuestionar si alguna vez se ha eva-luado su impacto.
La evaluación de la eficacia de la formación debe permitir preci-sar las inevitables reducciones y conservar las formaciones realmen-te útiles. Al mismo tiempo, y mediante un análisis objetivo de lascausas de fracaso, debe facilitar la adopción de los necesarios ajus-tes durante su transcurso y la obtención de las conclusiones útilesque mejoren la calidad del sistema de producción de competencias y,en particular, del sistema de formación.
La evaluación de laeficacia de laformación debepermitir precisar lasinevitablesreducciones yconservar lasformacionesrealmente útiles
LA FORMACIÓN Y LA EVALUACIÓN EN UNA EMPRESA DEDISTRIBUCIÓN - FRANCIA
Docks de France Centre es la filial de un gran grupo del sector de la distribución que emplea entorno a 2.500 trabajadores. En 1994 se inicia un programa formativo con un doble objetivo: esta-blecer una formación completa, de 3 o 4 semanas para los candidatos a directores de Tiendas deProximidad y de Servicios, y utilizar la misma formación, pero en módulos de dos días, para losdirectores en funciones.
Las competencias necesarias para el ejercicio de las funciones y las necesidades de formacióncorrespondientes fueron elaboradas con la colaboración de los directores de tienda. Cada módu-lo define sus objetivos en términos de saber-hacer, y se compone de una parte teórica y otra prác-tica. Toda la formación se desarrolla en el lugar de trabajo y la imparte el director/formador, quepreviamente ha seguido una formación pedagógica.
En el transcurso de la formación se utilizan tres instrumentos de evaluación. - En primer lugar, al final de cada día el director/formador cumplimenta una ficha de seguimien-
to, que permite guiar la formación facilitando el desarrollo de la acción.- Al final de cada semana, se completa una ficha de evaluación individual y muy precisa que
recoge las “adquisiciones” que se producen en cada módulo formativo. Esta ficha sirve y se utili-za como base de diálogo para programar los ajustes necesarios.
- Al finalizar la formación se realiza un balance completo de la misma, mediante la cumplimen-tación de cuestionarios dirigidos a formadores y formados. Seguidamente los formadores, forma-dos y responsables del sector se reúnen para profundizar sobre la acción formativa.
La evaluación del conjunto de las acciones está garantizada por el servicio central de formacióny los responsables del sector. Este dispositivo privilegia los aspectos operativos. El servicio de for-mación de la organización tiene como funciones asegurar la formación pedagógica de los direc-tores y responsables del sector, elaborar las herramientas que permiten impartir la formación yfavorecer el mayor grado de autonomía posible.
La evaluación del valor añadido de la formación permite pasar deuna lógica de gestión de la formación a una lógica de dirección estra-tégica, dando respuesta a las cuestiones siguientes:
• La formación es una solución a los problemas de actividad plan-teados, pero ¿es la mejor de las respuestas posibles?
• ¿Contribuye a los objetivos estratégicos de la empresa?
• ¿Satisface las necesidades reales de los puestos de trabajo?
• ¿La formación por sí sola produce los resultados esperados?¿Qué otro tipo de factores contribuyen a ello? ¿Cuál es el gradode dependencia del éxito de la formación respecto a esos facto-res, especialmente en relación a la organización del trabajo y lagestión de la empresa?
• ¿En qué proporción, cualitativa y cuantitativa, aumenta la for-mación el stock de competencias disponibles en la empresa?
Estas y otras cuestiones, si se abordan con buen criterio, rigor ycon cierto grado de flexibilidad, hacen que la cuestión de la evalua-ción de la formación expresada en términos de contribución al desa-rrollo empresarial, se constituya en un tema central de su diagnósti-co. Para dar respuestas en este sentido se ofrecen a continuaciónalgunos avances.
4.1 PARÁMETROS DE REFERENCIA
❍ La evaluación debe concebirse en relación al resultado esperado
Existen muchas formas de definir el concepto de evaluación dela formación. Sin entrar en una exposición exhaustiva o en unadisquisición teórica, el común denominador de dichas definicio-nes se asienta en el resultado que se espera obtener de la acciónformativa.
Este resultado esperado se formula a través de los objetivosasignados a la acción o plan formativo. Evaluar es afirmar si losobjetivos se han cumplido o no, y en qué medida. Definida de estaforma, la evaluación permitirá apreciar la eficacia de la formaciónen la empresa.
La naturaleza de los objetivos asignados a la formación se pue-den clasificar en dos grandes grupos; según se apliquen a las per-sonas destinatarias o a los resultados de sus actividades profesio-nales. De hecho, se puede optar por formar a un determinadonúmero de personas para que adquieran nuevos conocimientos,generales o específicos, capacidades que no poseen, comporta-
La evaluación delvalor añadido de laformación permitepasar de una lógicade gestión de laformación a unalógica de direcciónestratégica
55
56
mientos diferentes a los habituales... pero además, y sobre todo,para que las relaciones internas mejoren, los resultados de la pro-ducción aumenten, se registre una inflexión en las curvas de cali-dad y/o se materialicen las ventajas competitivas de la empresa.
❍ Resultados esperados de una acción formativa
De forma esquemática se distinguen tres niveles diferentes deresultados, a los que corresponden tres niveles sucesivos de evalua-ción de la formación.
• Mejorar las condiciones de funcionamiento y explotación dela empresa o de determinadas áreas de la misma. Este nivelestá participado por los responsables, los decisores y quienesdiseñan la política formativa de la empresa. Los parámetros dereferencia son las formas de organización y funcionamiento, losresultados económicos o sociales y las condiciones de explota-ción de la empresa.
• Crear o desarrollar competencias individuales y colectivasnecesarias en las situaciones de trabajo. Este resultado com-pete directamente a los responsables de producción, jefes deproyecto u otros responsables de líneas de productos; es decir,los responsables de alcanzar los objetivos productivos a travésde la movilización de una serie de competencias.
•Adquirir conocimientos, saber-hacer e imágenes útiles paramejorar y hacer que evolucionen las competencias profesio-nales individuales o construir competencias colectivas. Estenivel de resultados esperados interesa principalmente a los for-madores, preocupados por aportar los elementos necesarios parala aplicación de las competencias, y a la empresa, en una pers-pectiva de evolución a largo plazo de las competencias de susrecursos humanos. Por ejemplo, si el nivel de conocimientosgenerales de un sector del personal es insuficiente impedirá suparticipación en un proceso de formación cualificante.
➪ La contribución que se espera en relación a la mejora del fun-cionamiento y la explotación de la empresa
Se adopta aquí una óptica múltiple: económica, social, cultural. Losobjetivos asignados a la formación se denominan “objetivos de impac-to” para subrayar el hecho de que la formación no es nunca el únicorecurso para alcanzarlos. Representan los efectos derivados de laacción formativa sobre las condiciones de funcionamiento y explota-ción de la empresa, y se refieren a la traducción de las nuevas prácti-cas profesionales en resultados de funcionamiento y de producción.
Se puede optar porformar a undeterminadonúmero de personaspara que adquierannuevosconocimientos,generales oespecíficos,capacidades que noposeen... Peroademás, y sobretodo, para que lasrelaciones internasmejoren y losresultados de laproducciónaumenten
Las referencias se expresan como resultados esperados de cali-dad, cifra de negocio, plazos de entrega, cuota de mercado... perotambién en términos de resultados esperados a nivel de mayor segu-ridad, mejora de las relaciones interdepartamentales, etc. Estas refe-rencias tienen un carácter activador colectivo, incluso cuando losresultados provienen de una sola persona. Por eso se les ha asigna-do este nombre genérico de condiciones de funcionamiento y explo-tación de la empresa.
Los objetivos de impacto interesan a las instancias superiores.Aunque habitualmente se busca la mejora de los resultados, es obli-gado constatar que, salvo excepciones, no se formula en términos deobjetivos, si bien las prácticas evolucionan en este sentido –porejemplo, cuando la formación se encuentra comprendida en un pro-yecto de inversión superior–.
Los “objetivos de impacto” normalmente se entienden como“implícitos”. Clarificar la naturaleza de su contribución permitepasar de una apreciación subjetiva sobre “el avance positivo “ a unaevaluación real, incluso si la relación entre formación efectuada yresultados constatados no es inmediata.
De forma más concreta, en una empresa se pueden distinguir cua-tro tipos de objetivos de impacto:
• Objetivos de cambio cultural, que se caracterizan por hacerreferencia a las evoluciones profundas y de largo plazo: cambiode las imágenes habituales que se perciben de la realidad, desa-rrollo del “sentido cliente”, evolución hacia formas de “relaciónmás directa”.
• Objetivos socio-organizativos: producen su impacto a nivelorganizativo, a nivel relacional entre las entidades que confi-guran la empresa y a nivel social. Se medirán a través de indi-cadores dinámicos del tipo: número de niveles jerárquicossobre un puesto, carácter de las funciones delegadas, númerode cooperaciones emprendidas entre departamentos, grado desatisfacción del personal, número y gravedad de los acciden-tes laborales, etc.
• Objetivos que se expresan a través de parámetros de explo-tación de la empresa: plazo medio de respuesta a los clientes,número de reclamaciones, tasa de disponibilidad de las instala-ciones, productividad horaria, etc. Son por naturaleza objetiva-bles, puesto que reflejan los resultados de la actividad empresa-rial y se traducen en ganancias o pérdidas económicas.
Aunquehabitualmente sebusca la mejora delos resultados, esobligado constatarque, salvoexcepciones, no seformula en términosde objetivos
57
58
• Objetivos de carácter social: participación en la vida y el desa-rrollo del territorio, ayuda a la lucha contra la exclusión, aplica-ción de una política de igualdad de oportunidades, etc. Reflejanla voluntad de la empresa de contribuir a la cohesión de la socie-dad en la que se inserta. Estos indicadores serán de tipo cuanti-tativo y cualitativo.
➪ La contribución esperada en términos de competencias refle-jadas en la actividad profesional
La contribución afecta al cambio de las competencias profe-sionales individuales y de los equipos de trabajo. La perspectivaque se adopta se centra en el individuo o en el equipo en situaciónde trabajo. Y la competencia profesional hace referencia al ejerci-cio eficaz de las capacidades que permiten el desempeño de unaocupación.
Esta concepción engloba a las capacidades requeridas para el ejer-cicio de una actividad profesional y, además, a un conjunto de com-portamientos, facultad de análisis, creatividad, toma de decisiones,transmisión de información... y a su puesta en relación con un entor-no de trabajo concreto.
Para poder evaluarlas, deben establecerse con precisión los obje-tivos profesionales y traducirlos en términos operativos. Para llegara describir estos objetivos profesionales se deben cumplir lassiguientes condiciones:
• Concebir un comportamiento que pueda ser observado en lapersona que se está formando;
• Formularlo de manera unívoca, es decir, que no de lugar a dife-rentes interpretaciones;
• Expresarlo bajo un término (por ejemplo, un verbo) que precisela actividad profesional a la que hace referencia; y
• Establecer un indicador de medida de los resultados.
➪ La contribución esperada de la formación en términos decambios en las personas participantes durante y al finalizar laformación pedagógica
Se corresponde con las adquisiciones acumuladas por las perso-nas que se forman a lo largo del proceso de aprendizaje: nuevasrepresentaciones de la realidad, conocimientos, nuevos comporta-mientos, etc., que se pueden agrupar bajo el término genérico decapacidades. Es conveniente apuntar dos elementos necesarios parala transferencia de estas adquisiciones en situación profesional:
La perspectiva quese adopta se centraen el individuo o enel equipo ensituación de trabajo.Y la competenciaprofesional hacereferencia alejercicio eficaz delas capacidades quepermiten eldesempeño de unaocupación
• La anticipación positiva de las situaciones a las que tendrá quehacer frente al finalizar su formación la persona que se está for-mando; que le llevará a pensar que existirán las condicionesnecesarias para que los aprendizajes acumulados a lo largo de suformación se apliquen. Es decir, una representación positiva,una predicción favorable sobre el hecho de que la situación detrabajo es transformable.
• Autoconfianza y autoimagen positiva para actuar y transformarsu situación de trabajo.
Estos dos aspectos se descuidan con frecuencia y, sin embargo, seconsideran de forma implícita por los formadores/as y los responsa-bles de formación cuando efectúan evaluaciones en caliente, muyabiertas y genéricas.
Se plantea así implícitamente a la formación el reto de contenertodos los elementos y recursos necesarios para, mediante una com-binación adecuada, traducirse en competencias profesionales siem-pre que el entorno lo permita.
Las adquisiciones en términos de conocimientos, saber-hacer ycomportamientos, pueden determinarse a priori a través de los obje-tivos pedagógicos. Con el fin de evaluarlos, en la medida de lo posi-ble, deben ser formulados en términos operativos, utilizando lasreglas señaladas en el epígrafe anterior.
Sin embargo, una formulación operativa no siempre es posible, loque hace que la evaluación sea incierta o subjetiva. Por ejemplo, losobjetivos comportamentales son especialmente difíciles de definir.Se tiende a considerar que este hecho marca sus límites a la pedago-gía “por objetivos”, pero sería más apropiado entender que estoslímites, de hecho, están resaltando las zonas de mayor incertidumbreen las que se incurre cuando no se han podido definir los objetivosoperativos con claridad.
❍ Relaciones entre los diferentes niveles de resultados esperados
La identificación de los tres diferentes tipos de contribucionesesperadas muestra que éstas se inscriben en campos específicos:
1. El campo del funcionamiento y de los resultados de lasorganizaciones o departamentos empresariales.
La consecución de los resultados previstos depende de variablespropias de este nivel: “masa crítica” de personas formadas y“umbral de efecto” de sus resultados colectivos, posibilidad dereconocimiento en la empresa de las personas o equipos forma-
Las adquisicionesen términos deconocimientos,saber-hacer ycomportamientos,puedendeterminarse apriori a través de losobjetivospedagógicos. Con elfin de evaluarlos, enla medida de loposible, deben serformulados entérminos operativos
59
60
dos, posibilidades de encadenarse con otras competencias pre-sentes en los diferentes departamentos de la empresa, dispositi-vos de pilotaje y medida de los resultados esperados.
2. El campo de las competencias profesionales individuales ycolectivas que ponen en juego tanto las personas como lassituaciones profesionales que las mismas experimentan.
Sistema compuesto por capacidades-recursos individuales ycolectivos (anteriores y posteriores a la acción formativa), ima-gen propia de la persona o del equipo, posibilidades de enlazarcompetencias individuales o de equipo con otras personas oequipos, características sociales y organizacionales del contex-to de trabajo.
3. El campo de las capacidades, es decir, de las adquisicionesde cualquier tipo de formación que pertenecen esencial-mente a la persona.
Esta campo viene caracterizado por las condiciones personalesde acceso y entrada a la formación (requisitos, saberes, actitu-des...), su propia imagen, su nivel de confianza y motivación,las adquisiciones y capacidades-recursos acumulados durantela acción formativa, las características de las situaciones for-mativas (formadores, grupo, métodos...)
Cada tipo de contribución esperado posee su propia lógica y cuan-do se advierten zonas de solapamiento o de acoplamiento interesasobre todo reconocer la autonomía relativa de cada uno de ellas, o loque es lo mismo, de cada tipología de resultados susceptible de serproporcionada por la acción formativa.
En la práctica, lo normal es que se produzcan pérdidas entre losdiferentes campos, en parte por la multiplicidad creciente de facto-res en juego a medida que se distancian –en el tiempo y en el espa-cio– de la situación de formación. La figura 3 que se presenta a con-tinuación, ejemplifica el encadenamiento cronológico y esquemáticode los efectos.
4.2 PARA LLEVAR A CABO LA EVALUACIÓN DE LA FORMA-CIÓN EN FUNCIÓN DE TRES NIVELES DE RESULTADOSESPERADOS
4.2.1 Evaluación de los objetivos de impacto
Aunque en casos extremos la formación de una única personapuede traducirse directamente en una mejora de los resultados de laempresa, habitualmente será necesario introducir la noción de “masa
Capa tipo decontribuciónesperado posee supropia lógica ycuando se adviertenzonas desolapamiento o deacoplamientointeresa sobre todoreconocer laautonomía relativade cada uno deellas
crítica”, que remite a la siguiente cuestión: ¿A partir de que númerode personas formadas se puede hablar de un impacto significativo dela acción formativa en los resultados empresariales?
Para ello deberán tenerse en cuenta los siguientes parámetros dereferencias:
• Un impacto significativo dependerá de las formas de organiza-ción del trabajo, de los procesos colectivos y del “acoplamiento
Aunque en casosextremos laformación de unaúnica personapuede traducirsedirectamente en unamejora de losresultados de laempresa,habitualmente seránecesario introducirla noción de “masacrítica”
61
Punto de partida de los/lasparticipantes en formación
Adhesión a un proyecto
Objetivos pedagógicos y profesionales
Grupo que se forma
Motivación de la persona en formación
Formadores/as
Contenidos
Métodos pedagógicos
Medios
Capacidades adquiridasal concluir la formación
Competencias aplicadasen situación profesional
Motivación de la persona formada
Entorno de relaciones
Organización de trabajo
Rol de la jerarquía del tutor
Medios materiales, equipamiento
Aplicaciones individualesy colectivas
Acoplamiento interno de competencia
Contexto, ambiente del servicioMotivación individual y colectiva
Impacto sobre elfuncionamiento de la empresa
Implicación del gestor
Cooperación interdepartamental Efecto masa
Entorno y resultados de la empresa
Desde la entrada en formación hasta el impacto en el funcionamie nto de la empresaFigura 3
62
interno de las competencias”. En este contexto cabe plantearse,entre otras, las siguientes cuestiones:
- ¿Pueden responder los restantes servicios de la empresa a losnuevos requerimientos de las personas que se han formado?
- ¿Pueden las nuevas competencias adquiridas desarrollar todosu potencial teniendo en cuenta el sistema de relaciones y decomunicación interna existente en la empresa?
- El grado de cooperación interna existente, ¿favorece o impideque se manifieste este impacto?
• La cultura de empresa va a jugar igualmente un papel impor-tante, principalmente en la legitimación que otorgue a la nuevasformas de actuar que introduce la formación.
• La magnitud del impacto será mayor cuando afecta a las zonasestratégicas del cambio, a los nudos de confluencia de unaempresa-red, o incluso a los líderes.
• El impacto, así mismo, va a depender del eventual carácter mul-tiplicador de la formación. Así, se puede formar a los jefes detaller en base a una metodología de análisis de la situación o dediagnóstico con una perspectiva de “difusión espontánea” a losoperadores a su cargo.
El seguimiento de un cuadro de indicadores de impacto (a vecesreducido a un único indicador) permitirá apreciar el efecto real.Normalmente dicho seguimiento estará en manos de los nivelesestratégicos de dirección. El nivel jerárquico inmediatamente supe-rior a la persona formada y el responsable de la formación deberánproporcionar los datos necesarios y garantizar el seguimiento dedicho cuadro.
❍ Modalidades e instrumentos de evaluación de los objetivos deimpacto
Por lo que se refiere a los objetivos que se expresan a través deparámetros de explotación, la mayoría de las veces provienen deun problema claramente definido en un contexto económico.Cuando se plantean como acciones correctivas –no se ha alcanza-do el nivel fijado por la propia empresa o el establecido por elmercado y la competencia–, se produce una expectativa de reduc-ción de costes. Si se encuadran en el marco de una acción preven-tiva –adquirir ventajas competitivas, preparar el futuro o evitarposteriores problemas–, se plantean en una perspectiva de obten-ción de beneficios.
El seguimiento de uncuadro deindicadores deimpacto permitiráapreciar el efectoreal. Normalmentedicho seguimientoestará en manos delos nivelesestratégicos dedirección
Los restantes objetivos de impacto –organizativos, culturales,sociales– en realidad se enlazan indirectamente con un problemaplanteado en términos económicos. No obstante se tratará de eva-luarlos mediante indicadores cuantificables, admitiendo que la inter-pretación de resultados será, en ocasiones, difícil.
Por ejemplo, el objetivo de cambio cultural de una formacióndestinada a profundizar en el conocimiento de los clientes, puedeexpresarse de la siguiente forma: “mejora del conjunto delempleo en sus prácticas cotidianas, tomando en consideración lasnecesidades específicas de cada cliente”. Esto, en la práctica, seevaluará a través de indicadores, tales como: el porcentaje anualde productos realizados a la medida, el número de colaboracio-nes concluidas, la cantidad de encuestas anuales dirigidas a losclientes, etc.
Otra de las características de los objetivos de impacto es que, paraalcanzarlos, la mayoría de las veces es necesario combinar la acciónformativa con otros medios, acciones e inversiones. Por ejemplo,para implantar una nueva organización de la producción hay queintervenir sobre la propia estructura, sobre los recursos humanos quela componen a través de la formación y sobre el conjunto de laempresa mediante la información. Así mismo, para mejorar los resul-tados de productividad hay que efectuar inversiones materiales,modificar los procedimientos y desarrollar las competencias de losrecursos humanos.
La formación no es la única variable y su contribución específicaa la consecución de los objetivos de impacto debe ser siempre eva-luada con prudencia, evidenciando las restantes variables que inci-den en los resultados obtenidos.
Para completar esta evaluación, se observará la situación profe-sional con el fin de verificar en qué medida la formación ha “produ-cido” las competencias profesionales esperadas.
En los cuadros siguientes se ilustra cómo se pueden seleccionarlas acciones formativas y cómo se combinan con otras interven-ciones para obtener diferentes tipos de impacto en la empresa,tanto en términos de funcionamiento como de resultados. Se ofre-cen, a modo de ejemplo, indicadores que caracterizan el impactodeseado y que pueden convertirse en instrumentos de evaluaciónde la formación.
La formación no esla única variable ysu contribuciónespecífica a laconsecución de losobjetivos deimpacto debe sersiempre evaluadacon prudencia,evidenciando lasrestantes variablesque inciden en losresultadosobtenidos
63
64
Cuadro 1IMPACTO EN LOS PARÁMETROS DE EXPLOT ACIÓN DE LA EMPRESA
Tipos de formación Impacto en los parámetros de explotación de la empresa Ejemplos de indicadores de medida
1. PARÁMETROS DE PRODUCTIVIDAD
- Formación técnica- Calidad- Re-ingeniería- Gestión de producción
Optimización de medios y recursos - Plazos: tiempo de tratamiento depedidos, expedición, solución dereclamaciones, lanzamiento denuevos productos
- Precio de reventa- Rapidez de rotación de stocks- Energía utilizada- Materias primas consumidas- Coste de incumplimientos internos
- Formación técnica- Formación en técnicas
relacionales y comportamentales- Calidad- Conocimiento del entorno
Calidad de los productos y de losservicios al cliente
- Fiabilidad de los productos- Competencia del personal- Disponibilidad del personal- Calidad en el trato y relación con
el cliente- Plazos de entrega- Tratamiento de las reclamaciones- Defectos
- Seguridad- Mantenimiento preventivo- Legislación sobre seguridad
laboral
Prevención de la integridad de laspersonas y de los bienes
- Frecuencia y gravedad de losincidentes y accidentes laborales
- Legislación sobre la protección yrespeto del medio ambiente
- Formación técnica específica sobrelos medios de prevención y pro-tección
- Conocimiento del proceso produc-tivo, materias primas utilizadas
Prevención de los efectos nocivos,insalubres y peligrosos
- Volumen de emanaciones/desechos
- Volumen de productos reciclados- Número de plantas externas- Tasa de utilización de materiales
reciclados
4. PARÁMETROS DE SEGURIDAD LABORAL
2. PARÁMETROS DE CALIDAD DEL SERVICIO
3. PARÁMETROS DE MEDIO AMBIENTE
65
Cuadro 2 IMPACTO EN LA ORGANIZACIÓN Y FUNCIONAMIENTO DE LA EMPRESA
1. ORGANIZACIÓN FORMAL
- Organización (industrial,administrativa...)- Dirección de proyectos- Gestión (delegación...)
1.1. Estructura organizacional (fun-ciones, grado de centraliza-ción/descentralización, estruc-tura piramidal, matricial, porproyectos...)
- Número de niveles jerárquicos- Número de grupos de proyecto- Nueva configuración de los
servicios- Naturaleza de las
responsabilidades delegadas a losservicios descentralizados
- Calidad- Análisis de valor- Análisis de procesos- Organización- Re-ingeniería
1.2. Configuración de los procesos - Productividad- Plazos para tomar en cuenta las
demandas de los clientes- Plazos de producción de los
productos/servicios
- Calidad Total- Proyecto de establecimiento- Dirección de proyecto
1.3. Relaciones clientes/proveedores internos y cooperaciónentre servicios, unidades, células,etc.
- Número y naturaleza de losproyectos gestionados encooperación
- Número de proyectos formalizadosinterservicios
- Índices de satisfacción de losclientes internos
- Aseguramiento de la Calidad- Certificación de calidad- Análisis de los procesos- Mantenimiento
1.4. Formalización, actualización yrespeto a los procedimientos
- Número de procedimientos o modosoperativos, formalizados, actualiza-dos, verificados, respetados
- Acuerdos, labels, certificados obte-nidos
- Resultados del seguimiento de lapuesta en marcha
- Gestión- Delegación- Decisión- Organización del trabajo
1.5. Circuitos de decisión - Plazos medios de la toma de de-cisiones
- Distribución de las decisionesentre los niveles jerárquicos
- Organización del trabajo- Trabajo en equipo- Gestión de tiempos- Formación en el oficio- Formación técnica
1.6. Reparto del trabajo, polivalencia,funcionamiento de los equipos(equipos semi-autónomos, distri-bución del trabajo indivi-dual/trabajo en equipo)
- Reparto de la carga de trabajo,de los pedidos, etc.
- Porcentaje de operadores querealizan diversas tareas, intervie-nen en diferente tipo de maquina-ria...
- Tasa de rotación del personal- Tiempos dedicados a la transfe-
- Condiciones de trabajo- Seguridad- Calidad Total- Formación técnica- Formación en el empleo
1.7. Condiciones de trabajo - Percepción del personal relativaa sus condiciones de trabajo(recogida por sondeo)
- Frecuencia y gravedad de losaccidentes de trabajo
66
Cuadro 2IMPACTO EN LA ORGANIZACIÓN Y FUNCIONAMIENTO DE LA EMPRESA
- Informática- Documentación- Información/Comunicación- Formación en el empleo
2.3. Tratamiento informático - Actualización de archivos y basesde datos
- Fiabilidad de los datos- Número de errores- Tasa de utilización de las
herramientas informáticas- Volumen de papel en circulación
- Conocimiento del mercado y dela competencia
- Conocimiento de la empresa y susproductos
- Marketing, estrategia- Benchmarking- Economía de empresa
2.1 Información sobre el entorno dela empresa
- Volumen y naturaleza de la infor-mación recogida
2. CIRCUITOS DE INFORMACIÓN
- Dirección de proyecto- Dirección por objetivos
3.2. Definición de los objetivos,pilotaje
- Número de objetivos formalizados:número de objetivos evaluados
- Gestión- Comunicación- Desarrollo personal
3.1. Estilo de gestión y modo deanimación de los servicios
- Número de entrevistas anuales,de reuniones de servicios, dedecisiones adoptadas trasconsulta previa
- Número de soluciones, adoptadasy puestas en marcha, propuestaspor grupos de trabajo
3. DIRECCIÓN Y GESTIÓN DE PERSONAL
- Gestión- Calidad- Circuitos de información- Comunicación- Informática- Expresión escrita- Conocimiento de la empresa
2.2. Circulación de la información - Rapidez, adecuación, pertinenciade la información en circulación
- Despliegue de la información enla organización
- Legibilidad de las notas internas
67
Cuadro 2IMPACTO EN LA ORGANIZACIÓN Y FUNCIONAMIENTO DE LA EMPRESA
- Todo tipo de formación,especialmente: gestión,conocimiento de la empresa y delos servicios y entidades,comunicación, calidad
4.2. Ambiente y clima social
- Todo tipo de formación, especial-mente: formación sobre la culturade la empresa y obtención de nivelbásico
4.3. Integración de todo el personal - Porcentaje de personas que hanconseguido alcanzar un nivelaceptable
- Número de reconversionesinternas realizadas con éxito
4. COHESIÓN SOCIAL
5. UTILIZACIÓN DE EQUIPOS
- Formaciones técnicas- Formaciones para alcanzar el nivel
básico, de contenido técnico
5.1. Utilización del material, de lamaquinaria, etc.
- Diversidad de los usuarios- Número de funcionalidades
empleadas según los usuarios- Número de averías y fallos debidos
a una mala utilización
- Formación comportamental 4.1. Movilización del personal, auto-nomía, iniciativa
- Satisfacción del personal, gradode adhesión a los objetivos de laempresa medidos mediante son-deos internos
- Frecuencia y naturaleza de losconflictos sociales
- Absentismo- Marcha no deseada del personal
de la empresa- Número de sugerencias de mejora
recibidas
68
Cuadro 3
IMPACT O EN LA CULTURA DE EMPRESA
1. UNA VISIÓN COMÚN DE LA REALIDAD
- Gestión (team building)- Conocimiento de la empresa- Formación en el empleo
Proyecto e identidad de la empresa - Tasa de adhesión del personal alproyecto de la empresa, víasondeo
- Tasa de satisfacción en relacióna la jerarquía
- Tasa de reconocimiento delpersonal de la calidad de losproductos/servicios de la empresa
- Estrategia- Métodos de análisis de la situación
(resolución de problemas..)- Formación en técnicas
comportamentales y relacionales
Postura frente a los problemas enel seno de la empresa
- Número de nuevos productos- Distribución de las inversiones
entre corto, medio y largo plazo- Reactividad percibida por los
clientes- Tasa de asunción de riesgos
- Gestión- Formación en técnicas
comportamentales y relacionales
Regulación interna - Tiempo dedicado por los directivosa los encuentrosformales/informales con el personal
- Frecuencia de las manifestacionesde convivencia
- Número y naturaleza de las formasde comunicación
- Calidad- Recepción- Conocimiento de los clientes/
proveedores
Apertura de la empresa - Tiempo dedicado a los contactospersonalizados con clientes/proveedores, según categoríasde personal
- Tasa de renovación de clientes yproveedores
- Número de colaboracionesclientes/proveedores
- Tasa de reclamaciones de laclientela
4. COMPORTAMIENTO INTERNO
2. FORMA DE REACCIÓN FRENTE A LOS ACONTECIMIENTOS
3. COMPORTAMIENTO FRENTE AL EXTERIOR
69
Cuadro 4
IMPA CTO EN EL ENTORNO PRÓXIMO
1. LA INSERCIÓN EN EL ENTORNO LOCAL
- Seminarios para directivos- Conocimiento de la empresa, de
su empresa, de su responsabilidadsocial (especialmente en laformación en el empleo o deinducción)
- Formación en la técnicasrelacionales y comportamentales
- Calidad Total
Política de relaciones públicas - Frecuencia de las relaciones conlos actores locales
- Número de artículos de la prensalocal en los que aparece reseñadala empresa
- Número de jornadas de "puertasabiertas", de recepción deestudiantes...
- Número de trabajadores queparticipan o animan estosacontecimientos
- Número de reuniones deinformación sobre las actividades
- Formación en capitalización ytransmisión de saber-hacer
- Gestión- Perfeccionamiento técnico
Política social de la empresa - Frecuencia de las relaciones conlos agentes locales para lainserción de jóvenes enaprendizaje, formación en centrosde trabajo...
- Tiempo dedicado a la transmisióndel saber-hacer en beneficio delos aprendices...
- Número de tutores- Aportación de experiencia a los
proyectos locales- Tiempo acordado para que los
colaboradores de la empresapuedan desarrollar una inversiónsocial
- Contribución a coloquios,formación fuera de la empresa
2. LA CONTRIBUCIÓN AL DESARROLLO SOCIAL DEL ENTORNO
- Condiciones de trabajo- Desarrollo personal- Formación en cultura de la
empresa y sensibilización- Gestión
Política de desarrollo del personalen el seno de la empresa
-Tasa de trabajo a tiempo parcial,horarios especiales, "a la carta"...
- Número de proyectos personalesapoyados
3. EL DESARROLLO HUMANO DE SUS MIEMBROS
70
4.2.2 Evaluación de los objetivos profesionales y de lascompetencias manifestadas en situación de trabajo
En este nivel se trata de evaluar la consecución de los objetivosprofesionales, verificando que los formados poseen las competenciasprofesionales que se pretendían ver aplicadas en el lugar de trabajo.
Es importante considerar cuidadosamente dos aspectos principa-les: el modo de realización (“saber actuar en una situación”) y losresultados obtenidos.
Las modalidades que permiten realizar esta evaluación son:
• la observación de los comportamientos profesionales
• el análisis de los resultados de la actividad
• la interpretación del nivel alcanzado en la actividad individual
• el análisis crítico de las “situaciones problemáticas”
❍ La observación de los comportamientos profesionales
Se admite comúnmente que la competencia profesional debe“probarse” en un entorno laboral y, por tanto, que la misma puede serobservada a través de los correspondientes comportamientos labora-les. Es igualmente cierto que esta observación no siempre resulta nitécnica ni prácticamente posible.
Para que pueda considerarse válida, la observación de los com-portamientos debe cumplir algunas condiciones:
• Información previa a la persona que se va a evaluar. Esta condi-ción, además de ser una exigencia deontológica, está motivada por elclaro riesgo de rechazo en caso de incumplimiento.
• La observación debe ser efectuada por una persona capaz deidentificar claramente los objetivos procurados y que no pretendaextraer juicios relativos a la persona observada. Ello exige la forma-ción, o al menos la preparación, de la persona que va a realizar laobservación.
• La observación debe situarse, desde el principio, en una pers-pectiva de coevaluación entre el observador y el observado, tantopara garantizar en lo posible la objetividad de los resultados comopara permitir una mejor asimilación de los mismos por parte de lapersona observada.
• Debe contarse con los medios necesarios para realizar la obser-vación: disponibilidad de observadores que permitan un ratio “razo-nable” de personas evaluadas por cada observador (aunque dependedel tipo de observación a realizar, se estima en torno a 8 personaspor evaluador).
Se admitecomúnmente que lacompetenciaprofesional debe“probarse” en unentorno laboral y,por tanto, que lamisma puede serobservada a travésde loscorrespondientescomportamientoslaborales
Este tipo de observaciones vienen limitadas por una serie de fac-tores, entre los que cabe destacar:
• La persona observada reacciona inevitablemente ante la presen-cia del observador, de forma que su comportamiento durante laobservación refleja de forma imperfecta su comportamiento “habi-tual”. Esta desviación puede ser tanto de carácter positivo comonegativo.
• El observador debe proceder con la máxima objetividad, lo queno siempre resulta fácil. Requiere separar los tiempos de observacióny los de interpretación, con el fin de evitar el efecto “halo” (tenden-cia a dejarse influir por la impresión general causada por el observa-do) y el efecto “contaminación” (tendencia a “ver” e interpretar enfunción de resultados previos).
• No todos los comportamientos son observables, especialmenteen el desarrollo de actividades intelectuales, lo que obliga a utilizarotros medios de evaluación.
• Los comportamientos profesionales son raras veces “normaliza-bles”, existiendo a menudo un importante grado de autonomía queimpide reducir dichos comportamientos a una serie de gestos clara-mente identificables.
En lo relativo a las competencias observables, las herramientasmás utilizadas son:
• La guía de observación, llamada también protocolo de observa-ción para subrayar su carácter contractual.
• El cuestionario de evaluación de los comportamientos: cuandola observación resulta difícil, se puede aproximar esta realidad “noobservable” mediante un cuestionario dirigido a hacer reflexionartanto a la persona formada como a su responsable. En este caso, lafiabilidad de la información recogida se verá incrementada si se uti-lizan dos o más fuentes de información (formado, superior jerárqui-co, cliente interno, compañero de trabajo...).
❍ El análisis de los resultados de la actividad
Cuando las actividades presentan dificultades en su observación,resulta conveniente ampliar la evaluación a los productos o serviciosderivados de la actividad profesional.
Debe tenerse en cuenta que, en este caso, pueden también inter-venir factores que perturben el análisis. Así, el saber que va a serobjeto de evaluación puede hacer variar el comportamiento de la per-sona evaluada. Además, se puede haber utilizado la ayuda de algúncompañero en la realización del producto, etc. Todo ello implica la
Cuando lasactividadespresentandificultades en suobservación, resultaconveniente ampliarla evaluación a losproductos oservicios derivadosde la actividadprofesional
71
72
necesidad de aplicar también en esta modalidad los principios detransparencia y coevaluación. La realización de una entrevista deseguimiento entre el formado y su superior jerárquico puede permi-tir reflexionar conjuntamente sobre la calidad de los productos y, ensu caso, discutir la forma de mejorarlos.
❍ La interpretación del nivel alcanzado en la actividad individual
Para que las competencias adquiridas en la formación se traduz-can en una mejora (cuantitativa y/o cualitativa) de la actividad delformado deben cumplirse ciertas condiciones:
• Condiciones relativas a la propia persona formada: es posible serperfectamente competente y al mismo tiempo estar desmotivado pordiversos factores, internos o externos a la empresa. Pueden igual-mente darse características o limitaciones que frenan la ejecución dela actividad en unos niveles determinados (lentitud, incapacidad degestionar simultáneamente diferentes tareas, de situarse frente a unobjetivo demasiado preciso, etc) o que la favorecen (organización per-sonal...). La transformación de las competencias en un determinadocomportamiento laboral mantenido en el tiempo exige tanto el deseode aplicar las competencias como un carácter perseverante y unascaracterísticas personales favorables (o al menos no limitadoras).
• Condiciones relativas al entorno relacional o logístico de la per-sona. La imposibilidad de ejercer eficazmente la competencia profe-sional puede derivarse de la carencia del apoyo necesario o de la ine-xistencia de unas condiciones materiales mínimas para su realización.
Así pues, la utilización de indicadores de “resultados” debe hacer-se con precaución, teniendo en cuenta los factores que pueden influiren los resultados obtenidos (también factores externos favorables,por ejemplo en el caso de un incremento en las ventas que coincidecon una mejora de las condiciones del mercado).
❍ El análisis crítico de las “situaciones problemáticas”
Este tipo de evaluación es, por naturaleza, no programable.Consiste en el análisis de los comportamientos laborales ante pro-blemas o disfuncionamientos. Cada situación problemática se anali-za de la siguiente forma:
• Análisis objetivo del problema que se ha producido: en qué con-siste y por qué se ha originado;
• Comportamientos profesionales que no han sido adecuados yque han provocado, al menos parcialmente, el problema.
• Investigación de las causas de esta inadecuación de los compor-tamientos (ritmo de trabajo, acontecimientos imprevistos, factores
La utilización deindicadores de“resultados” debehacerse conprecaución,teniendo en cuentalos factores quepueden influir en losresultadosobtenidos
individuales –desmotivación, falta de interés–, otros factores relacio-nados con el olvido o la falta de dominio de los conocimientos trans-mitidos en la formación).
• Capacidades adquiridas durante la formación que no han sidoutilizadas o han sido mal empleadas en esta ocasión.
Además de estas modalidades, la entrevista de seguimiento supo-ne una modalidad transversal que permite reducir los costes de la “nocalidad” de la formación. Para que sean eficaces, las entrevistas entreel responsable jerárquico y la persona formada deben realizarse antesy después de la formación, y estarán sistematizadas.
Estas entrevistas permiten obtener un balance de la formación ysu aplicación en el lugar de trabajo. Deben servir al formando paraabordar las posibles dificultades de transferencia planteadas y, en sucaso, para solicitar medios complementarios. Además, la confronta-ción con un tercero le permitirá situar con mayor precisión sus nue-vas competencias. El seguimiento del formado permitirá al superiorjerárquico consolidar las observaciones que haya podido realizar,validarlas e integrar los objetivos profesionales de la formación.
Tanto si la entrevista se apoya en datos objetivos como si se basaúnicamente en las declaraciones de los participantes, debe desarro-llarse en una perspectiva de coevaluación, permitiendo expresarse alformado con entera libertad, independientemente de la pertinenciade su diagnóstico.
Para que la entrevista resulte productiva, el responsable jerárqui-co deberá respetar las siguientes normas de conducta:
• manifestar un interés permanente por el exformado, demostrán-dole una plena confianza;
• evitar actitudes de enjuiciamiento, especialmente de carácternegativo;
• no establecer comparaciones con otros colaboradores;
• incentivar a la persona para que precise y profundice sobre aque-llos aspectos que aborda de forma espontánea;
• adoptar una actitud de escucha y comprensión;
• reformular, en caso necesario, lo que se ha dicho, realizando sín-tesis parciales;
• enfocar los problemas señalados por la persona desde su puntode vista, y no desde la perspectiva del responsable jerárquico;
• interesarse más por la persona que por las situaciones que éstamenciona, manifestando la intención de ayudarle a superarlas;
Tanto si la entrevistase apoya en datosobjetivos como si sebasa únicamente enlas declaraciones delos participantes,debe desarrollarseen una perspectivade coevaluación
73
74
• aceptar ser puesto en cuestión como responsable jerárquico,aceptar estudiar los medios facilitados, las eventuales ayudas nece-sarias, los problemas de puesta en marcha debidos a la organizacióndel servicio, a los procedimientos, a las relaciones internas, etc.
❍ Aspectos temporales de la evaluación en situación profesional
Una de las cuestiones que deben estudiarse en las evaluacionesrealizadas en situación profesional es el momento de realización delas mismas, teniendo en consideración los siguientes factores:
• El plazo debe ser suficientemente dilatado para permitir que lascompetencias se expresen en comportamientos continuados en eltiempo;
• Habrá transcurrido el tiempo necesario para que el “efecto entu-siasmo” haya desaparecido;
• Debe ser posible analizar los resultados del desempeño de laactividad.
Asimismo, es necesario tener en cuenta el plazo de “rodaje” de lascompetencias, específico para cada tipo de formación y que depen-derá del grado de novedad de la formación, de su dificultad y dura-ción, así como de su aplicabilidad.
Otro punto clave es la periodicidad de la evaluación. Tampocopara esta cuestión existe una regla de aplicación general, si bien habi-tualmente se tiende a considerar suficiente un único momento deevaluación. Sin embargo, en algunos casos puede ser especialmenteconveniente realizar la evaluación en dos o más ocasiones:
• Cuando las formaciones son de amplio alcance y comportanmúltiples objetivos.
• En el caso de formaciones difíciles que requieren acompaña-miento y seguimiento.
• Cuando la evaluación de los efectos es difícil de registrar o losresultados deben ser interpretados con precaución debido a la multi-plicidad de factores que intervienen. En este caso, la repetición de laevaluación tiene como objetivo neutralizar la influencia de factoresperturbadores.
La situación de coevaluación (formado/superior jerárquico) indu-ce una dinámica en la que, si el formado no ha superado con éxito elprimer momento de evaluación, solicitará normalmente una segundaevaluación para registrar sus progresos.
Los períodos de evaluación se establecerán de forma que semaximice su objetividad. Para ello se deberán tener en cuenta:
Es necesario teneren cuenta el plazode “rodaje” de lascompetencias,específico paracada tipo deformación, quedependerá delgrado de novedadde la formación, desu dificultad yduración, así comode su aplicabilidad
• Las condiciones habituales de trabajo (situación normal odegradada).
• Los fenómenos de sobrecarga de trabajo relacionados con un acon-tecimiento coyuntural o con efectos de estacionalidad de la actividad.
• Los fenómenos relativos a la conexión con las competencias delresto del personal.
• Los medios puestos a disposición por la empresa: nuevos proce-dimientos, utilización de material de mayor calidad, etc.
4.2.3 Evaluación de los objetivos pedagógicos en situaciónde formación
La finalidad de la evaluación es, en este caso, verificar que losformados han adquirido las “capacidades” (término que aquí englo-ba los conocimientos, representaciones, actitudes, comportamientos,saber-hacer cognoscitivos, habilidades, etc.) previamente estableci-das como objetivos formativos.
La utilización del término “capacidad”, pretende resaltar su refe-rencia a un entorno formativo frente a las competencias profesiona-les que se inscriben en un marco laboral.
Los dos elementos principales que diferencian la evaluación en uncentro de formación de la realizada en situación profesional son:
• Por un lado, la evaluación en el centro de formación implicaunas características que, de forma general, son más favorables a losformados que las situaciones profesionales reales: presencia del for-mador y de los compañeros, memorización reciente del aprendizaje,número reducido de parámetros a tener en cuenta, neutralización deelementos perturbadores habituales en las situaciones cotidianas.Este hecho se mantiene aunque una parte de la formación se desa-rrolle en el puesto de trabajo.
• Por otro lado, las pruebas de evaluación en el centro de forma-ción tienen un alcance forzosamente restringido debido a condicio-nantes temporales.
Sin embargo, estas limitaciones no disminuyen el interés de estetipo de evaluación, necesario tanto para el formador como para elformado, ya que permite medir los progresos realizados durante laformación y el “nivel obtenido al final de la misma”.
En este campo coexisten evaluaciones muy próximas a situacionesde trabajo reales con la verificación de la obtención de objetivos pura-mente pedagógicos. Estos últimos son generalmente objetivos inter-medios, necesarios para la progresión pedagógica de la formación.
La utilización deltérmino“capacidad”,pretende resaltar sureferencia a unentorno formativofrente a lascompetenciasprofesionales quese inscriben en unmarco laboral
75
76
La evaluación durante la formación debe ser diseñada por los for-madores como un instrumento de apoyo al aprendizaje.
❍ Modalidades de evaluación
En este nivel se presentan una gran variedad de herramientas ymodalidades de evaluación, que reflejan la multiplicidad de las acti-vidades pedagógicas, la heterogeneidad de los saberes a adquirir y ladiversidad de las aportaciones que se pueden producir.
La mayor dificultad estriba, generalmente, en determinar con pre-cisión qué se quiere evaluar. La utilización del concepto de objetivoes condición necesaria pero no suficiente, ya que la evaluación debepermitir verificar la obtención de dicho objetivo, sin que se produz-can perturbaciones que obliguen a poner en juego otros conocimien-tos, capacidades..., diferentes de los que quieren evaluarse.
Normalmente se distinguen tres dominios de aprendizaje:
• El campo cognoscitivo, que concierne a los saberes teóricos y alos procedimientos, así como al saber-hacer con ellos relacionados;
• El campo psicomotor, relativo a los saberes-hacer manuales ygestuales;
• El campo relacional, que comprende esencialmente los saberes-hacer sociales.
A dichos campos corresponden diferentes técnicas y herramientasde evaluación:
Cognoscitivo: cuestionarios tipo de respuesta abierta o de elec-ción múltiple; prueba oral; test de razonamiento lógico, test de inte-ligencia; test de dominio de los procedimientos; resolución de pro-blemas; estudio de casos; desarrollo de un proyecto; desarrollo deinvestigaciones; redacción de informes o síntesis; simulación desituaciones reales.
Psicomotor: test de psicomotricidad; trabajos prácticos, manipu-laciones; simulación de situaciones reales.
Relacional: Juegos de rol; simulación de situaciones reales.
A medida que la formación se desarrolla, se adquieren diferentestipos de capacidades. Progresivamente se irán produciendo los tiem-pos de aplicación y, para las formaciones más complejas, losmomentos de integración y combinación de los diferentes saberes.
Sin embargo, normalmente no se prevén situaciones de evalua-ción que permitan verificar esta capacidad de integración. Fre-cuentemente se da por supuesto que un módulo de legislación másun módulo sobre redacción de informes permitirá a un agente de
En este nivel sepresentan una granvariedad deherramientas ymodalidades deevaluación.La mayor dificultadestriba,generalmente, endeterminar conprecisión qué sequiere evaluar
contenciosos comprender mejor las situaciones y posicionarsemás favorablemente ante sus interlocutores gracias a una mejorargumentación.
La inclusión de pruebas sobre la capacidad de integración, tiene unmarcado carácter formativo ya que sitúan frente a un problema nuevo:utilizar en el momento oportuno saberes de naturaleza diferente.
El desarrollo de las pruebas de evaluación debe enlazarse con laadecuada progresión pedagógica, cubriendo el conjunto de los sabe-res adquiridos y permitiendo validar las integraciones parciales ytotales realizadas por el formado. Si la formación es particularmen-te larga o difícil para los participantes, será necesario prever “tareaso actividades integradoras”, que permitan realizar conexiones par-ciales.
Es igualmente importante tener en cuenta el momento en el quese realiza la evaluación. Una evaluación efectuada al final de la for-mación imposibilita la adopción de medidas correctoras. Si el for-mador desea mantener e incrementar la eficacia de su acción, debeaprender de los resultados obtenidos en cada etapa. Debe igualmen-te hacer reflexionar a los participantes en una perspectiva de auto-evaluación. El desarrollo de la capacidad de autoevaluación de losformados es fundamental para el aprendizaje. Por ello, el mero con-trol final es insuficiente, y puede decepcionar al formado o conducira divergencias de opinión entre el formador y el formado.
Conviene así favorecer la reflexión del formado en torno a losresultados obtenidos, de modo que llegue a conocer progresiva-mente la naturaleza de lo adquirido, lo que no ha conseguido y loque le falta aún para cumplir los objetivos fijados, así como el pro-ceso de aprendizaje, las causas de los errores cometidos y las difi-cultades encontradas.
La evaluación permanente, informal, se asemeja a la evolucióncronológica de los procedimientos de calidad en las empresas, fun-damentalmente industriales, en los que se produce un cambio; delcontrol final a la salida de fábrica al autocontrol de su propia activi-dad por parte de los/las trabajadores/as.
Las pruebas realizadas al acabar la formación tienen como finevaluar la integración completa de los diferentes saberes que reflejanla consecución de los objetivos finales. Esto puede lograrse única-mente mediante la simulación, total o parcial, de situaciones profe-sionales reales. No se trata sólo de relacionar un saber técnico y laaplicación de una metodología, sino de integrar en la prueba la
El desarrollo de laspruebas deevaluación debeenlazarse con laadecuadaprogresiónpedagógica,cubriendo elconjunto de lossaberes adquiridosy permitiendovalidar lasintegracionesparciales y totalesrealizadas por elformado
77
78
mayoría de los componentes y características habituales de la situa-ción profesional.
Si la situación profesional real es demasiado compleja para sersimulada adecuadamente o si la formación procura objetivos muyamplios, puede ser necesario desarrollar varias pruebas para situa-ciones diferentes.
4.2.4 Dificultades que encierra la simulación de situacionesprofesionales reales.
La mencionada reforma de los Sistemas de FormaciónProfesional, derivada básicamente de un progresivo acercamiento dela formación a las necesidades del mundo productivo (empresas), hasupuesto el surgimiento de un nuevo enfoque en la evaluación de laformación.
Si hasta la realización de la reforma, la evaluación se correspon-día de forma bastante clara con lo que se ha identificado comoEvaluación de los Objetivos Pedagógicos en Situación de Formación,la generalización del concepto “Competencia Profesional” como ele-mento central en torno al cual se articula la formación ha originadouna tendencia hacia la evaluación en “Situación de Trabajo”.
Sin embargo, incluso en los casos en los que esta tendencia se hadesarrollado con mayor intensidad, resulta difícil su consecución, sur-giendo de manera aparentemente inevitable el recurso a la simulación.
• Simulación
La necesidad de utilizar la simulación en la realización de la eva-luación viene determinada por diversos factores:
• Factores de acceso: la evaluación en el centro de trabajo nosiempre resulta accesible para todos los/las formandos. Lasempresas pueden considerar que el coste del seguimiento esexcesivo, no contar con los equipos necesarios para el desarro-llo de las pruebas, etc.
• Factores de diseño de las pruebas, entre los que se encuentran:
- La posibilidad de que se exijan condiciones de futuro, queraramente existirán en muchos centros-entornos de trabajo(nueva normativa de seguridad e higiene, nuevas tecnologías,nuevas formas de organización y relaciones laborales)
- Que las pruebas elaboradas encierren condiciones de peligro,con alto riesgo para el evaluado/a y para el entorno (procedi-mientos de limpieza en caso de contaminación química, rea-lización de la respiración artificial a una persona que se estáasfixiando, etc)
Si la situaciónprofesional real esdemasiadocompleja para sersimuladaadecuadamente o sila formaciónprocura objetivosmuy amplios, puedeser necesariodesarrollar variaspruebas parasituacionesdiferentes
- Que incluyan acontecimientos poco frecuentes: ocurren tanraramente que no es razonable esperar a que sucedan para rea-lizar la evaluación (cierre de ejercicio contable a fin de año)
- Que los resultados no sean inmediatos: los resultados se espe-ran en un futuro lejano, siendo poco práctico demorar tantotiempo la evaluación
- Que afecten al mantenimiento de sistemas de proceso conti-nuo: los resultados requerirían la interrupción o cierre de pro-cesos continuos complejos (reparación y mantenimiento deuna planta química o nuclear)
- Que los resultados sean críticos: un error en la realizaciónpodría ser peligroso, y se requiere un elevado grado de con-fianza para su desempeño (detección y reparación de unafuga de gas)
- Que la observación o registro de la actividad resulte inacepta-ble por motivos de confidencialidad, etc (asesoramiento a uncliente en situación crítica).
El término simulación puede abarcar diferentes realidades, comopor ejemplo:
• Modelos: simulan la apariencia y funcionamiento de equipos ysistemas reales. Algunos son generados por ordenador (simulador devuelo, etc).
• Equipos de simulación: con herramientas, sistemas, materialesy métodos de trabajo reales, pero empleados generalmente enambientes no laborales. Los evaluados generan productos físicas y losevaluadores pueden observar partes del proceso (colocación de tejas,utilización de extintores, selección de equipos...).
• “Ensayos”: que pretenden reproducir un entorno de trabajo. Seutilizan con frecuencia durante el proceso de aprendizaje pero pue-den utilizarse también para la evaluación. En los ensayos se incluyenla mayoría de los aspectos de un entorno laboral real (rescate aire-mar, ensayo de una obra, centro de formación-restaurante, etc.).
• Juegos de rol: constituyen la forma más habitual de simulación.Se simulan interacciones entre una persona (evaluador, conductor...),que estimula las respuestas de la persona evaluada (entrevistas deselección de personal, tratamiento de reclamaciones de clientes, res-puestas de emergencia...).
• Proyectos: que implican normalmente la recogida de datos,investigación, análisis, cálculo, interpretación, síntesis, presentaciónde resultados y elaboración de informes. Los proyectos realizados en
Si hasta larealización de lareforma, laevaluación secorrespondía deforma bastanteclara con lo que seha identificadocomo Evaluación delos ObjetivosPedagógicos enSituación deFormación, lageneralización delconcepto“CompetenciaProfesional” haoriginado unatendencia hacia laevaluación en“Situación deTrabajo”
79
80
los centros de trabajo emplean las instalaciones, procesos, datos einformación de la empresa. Los proyectos efectuados fuera del lugarde trabajo implican generalmente la utilización de datos e informa-ción hipotética (plan de empresa, estrategia de márketing, plan dereducción de personal).
• Ejercicios escritos: pruebas escritas (o empleando herramientasinformáticas) sobre un resultado específico, a menudo basado en unasituación concreta. Se diferencian de un proyecto porque este últimoimplica un mayor número de actividades complejas e interrelaciona-das. Se emplean profusamente en ocupaciones en las que se elaborandocumentos (cálculo de pérdidas y ganancias, cálculo de los factoresde riesgo de las estructuras, realización de diseños manuales o porordenador).
El aspecto principal que debe tenerse en cuenta para la validez dela simulación es el realismo, cuyos principales factores críticos son:
• herramientas, equipos e instrumentos;
• materiales
• contingencias (rupturas en los procedimientos, seguridad e hi-giene);
• especificaciones de calidad;
• tiempos;
• cantidades;
• condiciones físicas (condiciones meteorológicas, lugar de trabajo)
• relaciones con otras personas (compañeros, clientes, respon-sabilidad);
• tipo de interacción (trabajo en equipo, trabajo sin supervisión);
• métodos y medios de comunicación;
• información y datos (disponibilidad de referencias, estadísticas).
Los proyectosrealizados en loscentros de trabajoemplean lasinstalaciones,procesos, datos einformación de laempresa. Losproyectosefectuados fuera dellugar de trabajoimplicangeneralmente lautilización de datose informaciónhipotética
5. La evaluación de la calidad de los organismos
de formación
5. La evaluación de la calidad de los organismos
de formación
L os centros educativos-formativos, como organizaciones através de las cuales se implementan las políticas educativasy de formación, son objeto de una evaluación que tiene
como fin determinar el cumplimiento de los objetivos y la eficacia yefectividad en la utilización de los recursos que les han sido asigna-dos (disponibles).
5.1 EVALUACIÓN EXTERNA E INTERNA DE LOS ORGANIS-MOS DE FORMACIÓN
Acompañando la evolución tanto de los modelos educativos-for-mativos como del propio concepto y herramientas evaluatorias, se handesarrollado diferentes estrategias y sistemas evaluatorios adaptados alos propios objetivos y a los diversos tipos de enseñanza-formación.
Sin embargo, además de esta evaluación “externa”, los centros,como cualquier otro tipo de organización, necesitan conocer cómoestán realizando su actividad y que resultados están obteniendo. Laevaluación les permitirá dotarse de instrumentos de intervención y,en caso necesario, de corrección de los disfuncionamientos, y supo-ne, por tanto, un medio para incrementar su autonomía.
Acompañando laevolución de losmodeloseducativos-formativos se handesarrolladodiferentesestrategias ysistemasevaluatoriosadaptados a lospropios objetivos ya los diversos tiposde enseñanza-formación
82
LA EVALUACIÓN EN EL NUEVO SISTEMA EDUCATIVO
El cambio operado en este sentido se refleja en España en la nueva concepción evaluativa de laLOGSE, que exige la inclusión de la actividad docente, la estructura organizativa del centro, el pro-yecto curricular y la participación de los sectores de la Comunidad Educativa en la gestión de loscentros, además de la tradicional evaluación de los resultados de los alumnos.
Los rasgos más característicos de la evaluación propugnada por la Ley son:• consideración de la dimensión cualitativa de la evaluación dentro del sistema educativo• se convierte en componente básico del currículum• su finalidad fundamental es la adecuación permanente del Sistema Educativo a las demandas
sociales y educativas• su ámbito de aplicación se amplía a los niveles ya señalados• cada Administración Educativa evaluará el Sistema Educativo en el ámbito de sus competen-
cias• la evaluación general del Sistema Educativo se llevará a cabo por el Instituto Nacional de
Calidad y Evaluación• la Inspección participará en la Evaluación del Sistema Educativo
83
La evaluación es por naturaleza diferente del control y sus meca-nismos. Si bien las estadísticas y las cifras favorecen la reflexión, esnecesario proporcionar un sentido a las mismas, interpretarlas, sur-giendo así los sistemas de valores que subyacen en toda evaluación.
Estos sistemas de valores son por naturaleza subjetivos, pero lavalidación del proceso evaluatorio exige un intento de objetivación,que debe iniciarse con la identificación de dichos sistemas.
La idea de evaluar no sólo a los participantes (el alumnado) enformación, sino a todo el establecimiento, se extiende, pero no esuna tarea que resulte fácil de llevar a cabo. Los centros son orga-nizaciones complejas, y se produce una cierta resistencia a losprocesos analíticos.
Aunque los centros-organismos de formación no son unidadeshomogéneas, deben dar respuesta a cuestiones comunes que, en últi-ma instancia, hacen referencia a la calidad de sus servicios. Frente ala multiplicidad de enfoques presentados en el primer capítulo, sepretende ahora ofrecer pautas específicas a través de un instrumentode consulta para llevar a cabo el diseño de un plan de autoevaluaciónde los centros-organismos de formación; mediante un modelo con-creto –aunque flexible– y a través de procedimientos e instrumentosde aplicación determinados.
Además y de forma ilustrativa, se incluyen algunos ejemplos delos nuevos enfoques y herramientas evaluadoras aplicadas en casosconcretos.
La idea de evaluarno sólo a losparticipantes (elalumnado) enformación, sino atodo elestablecimiento, seextiende, pero noes una tarea queresulte fácil dellevar a cabo
CERTIFICACIÓN DE LA CALIDAD DE LOS ORGANISMOS DEFORMACIÓN
Principalmente las empresas-clientes de los organismos de formación exigen proveedores cua-lificados y reconocidos y están generando la necesidad de que los organismos de formacióngaranticen la calidad integral de sus servicios.
Al igual que otras organizaciones, y dado su reconocimiento internacional, se procuran cer-tificaciones relacionadas con el cumplimiento de las normas ISO 9000 o sus equivalentesnacionales.
Se trata normalmente de organizaciones con una fuerte sensibilización hacia la calidad y cerca-nas al mundo empresarial que procuran la sistematización de los procesos en un sector caracte-rizado por la heterogeneidad de sus prácticas y comportamientos.
Los principales beneficios obtenidos por los organismos de formación mediante estas cer-tificaciones hacen referencia al desarrollo y fortalecimiento de los equipos de trabajo, a lasmejoras en términos de productividad, al grado de satisfacción del cliente así como a la ima-gen del centro.
5.2 EL CONCEPTO DE CALIDAD APLICADO A LOS ORGA-NISMOS DE FORMACIÓN
Aunque ya se ha mencionado la creciente importancia de la cali-dad en formación y la multidimensionalidad del concepto, se seña-lan aquí brevemente algunas consideraciones específicas de la cali-dad referida a los centros-organismos de formación.
Así, la problemática de la calidad puede quedar planteada en fun-ción de las diferentes necesidades a cubrir, tales como:
• seguir la evolución de su mercado, clientes y sus necesidades;
• disponer de recursos internos (formadores, intervinientes cuali-ficados) capaces de desarrollarse e incrementar sus capacidadesde forma permanente;
• asegurar la adecuación de los recursos a las necesidades, en un con-texto de fuertes fluctuaciones de la demanda, de escasa fidelidadde los clientes, de contratos de duración generalmente breve, etc.
Por ello, los organismos deberán diseñar su organización en tornoa tres aspectos básicos:
• apertura al mercado, disponibilidad casi permanente y una cul-tura de “servicio al cliente” llevada a su máxima expresión;
• fiabilidad de la organización, tanto a nivel de los medios emplea-dos como a los mecanismos de apoyo (pedagogía, recursos didác-ticos, logística, planificación, circulación de la información...);
• estrechas relaciones internas que permitan adaptarse a cualquiersituación.
5.3 MODELIZACIÓN DE LAS PRÁCTICAS EVALUATORIASDE LOS ORGANISMOS DE FORMACIÓN
La necesidad de valorar la efectividad de la acción o gestión peda-gógica ha dado lugar, en los últimos años, al surgimiento de diversasteorías que centran su atención en las intervenciones de los docentes.
Aunque coexisten diferentes modelos dependiendo, en gran medi-da, de los posicionamientos ideológicos, las nuevas tendencias en laevaluación de los organismos de formación subrayan los siguientescambios1:
• El marco conceptual tiende a modificarse, centrándose en unmodelo contextual en el que los fenómenos se relacionan de formainteractiva y procesual, abandonando los modelos causales anterior-mente utilizados.
La necesidad devalorar laefectividad de laacción o gestiónpedagógica ha dadolugar, en los últimosaños, al surgimientode una serie deteorías diversas quecentran su atenciónen lasintervenciones delos docentes
84
1 Adoptados en el Proyecto International School Improvement promovido por la OCDE.
85
• El objetivo de la evaluación se amplía y deja de limitarse a losresultados del alumnado, permitiendo el diagnóstico de los proble-mas internos de los centros y su capacidad de resolución. En estecontexto se sitúa el cuestionamiento de la utilización del resultadode los exámenes como único criterio de eficacia, y su sustituciónpor otros que permitan medir la capacidad diagnóstica del organis-mo respecto a los problemas y necesidades de su entorno y el esta-blecimiento de dispositivos y acciones específicas para tratar deresolverlos.
Estos enfoques favorecen la autonomía de los centros-organismosde formación poniendo en relación evaluación e innovación.
El proceso evaluatorio propuesto contempla estos aspectos, inte-grándolos en una dinámica de desarrollo y mejora permanente delcentro-organismo de formación.
❍ Estructuración del proceso
En una perspectiva de búsqueda de la calidad en la formación, laevaluación llega a convertirse en una función más del centro, cuyaactividad puede esquematizarse en un proceso que exige la defini-ción de objetivos, la elaboración de estrategias y toma de decisiones,la implementación de las mismas, la evaluación y la revisión.
• La definición de objetivos dependerá en gran medida del tipode centro-organismo y su entorno y, en su caso, deberán sercompatibles con los objetivos generales de las políticas educa-tivo-formativas.
La evaluación llegaa convertirse en unafunción más delorganismo, cuyaactividad puedeesquematizarse enun proceso queexige la definiciónde objetivos, laelaboración deestrategias y tomade decisiones, laimplementación delas mismas, laevaluación y larevisión.
Evaluación
ImplementaciónRevisión
Definiciónde objetivos
Elaboración deestrategias y planes
Figura 4ESTRUCTURACIÓN DEL PROCESO EVALUATORIO
• La elaboración de estrategias y planes para alcanzar los obje-tivos fijados incluirá la determinación del personal y los recur-sos necesarios, el diseño de cursos, la política de selección yevaluación del alumnado, el diseño de otras actividades, la defi-nición de las relaciones con el entorno, etc.
• La implementación, es decir, la realización de los planes con-lleva el desarrollo de las actividades del centro.
• La evaluación, se articula en torno a las siguientes fases:
- Planificación: incluye una etapa de acuerdo previo entre losdiferentes intervinientes acerca de la necesidad de realizar laevaluación. Además, deberán delimitarse los objetivos, crite-rios..., definir funciones, responsabilidades y programar elproceso en el tiempo.
- Implementación: tras elaborar las herramientas de recogida dela información y definir su utilización, se pondrá en marchael proceso de obtención de datos y registro.
- Explotación/valoración: en esta etapa se realiza el tratamien-to e interpretación de la información recogida, contrastandolos resultados obtenidos con los objetivos fijados.
• La revisión supone la utilización de los resultados y conclusio-nes de la evaluación para la mejora permanente del centro-orga-nismo. Permite retroalimentar el proceso, a la par que facilita lamodificación de aspectos concretos de las diferentes fases.
❍ Definiciones básicas
El proceso de autorrevisión de un centro formativo se centrará entorno a cinco áreas principales:
• Definición de principios y objetivos que van a orientar sus inter-venciones.
• Eficacia de la organización de los recursos.
• Consecución de los objetivos fijados en un período de tiempodeterminado: comparación entre previsiones y resultados.
• Desarrollo organizativo y procesos de mejora.
• Relación del organismo con su entorno: cobertura de las nece-sidades y favorecimiento del desarrollo económico y social.
Estos objetivos generales se desglosarán en otros específicos, enfunción de la realidad concreta de cada organización. En cualquiercaso, los objetivos deberán ser coherentes con los principios del sis-tema educativo-formativo como con la filosofía del propio centro.
La revisión suponela utilización de losresultados yconclusiones de laevaluación para lamejora permanentedel centro-organismo. Permiteretroalimentar elproceso y lamodificación deaspectos concretosdel mismo
86
87
Una vez definidos los objetivos, se determinarán los criterios a
emplear, es decir, los “medios para juzgar”, que deberán explicitar
las normas que se utilizarán para emitir juicios de valor acerca del
nivel de consecución de los objetivos fijados.
Sin embargo, dado que el término criterio es un tanto impreci-
so y susceptible de distintas interpretaciones, habitualmente se uti-
lizan indicadores de medida, como señales objetivas de una reali-
dad (por ejemplo, si el criterio es el trabajo en equipo del personal
docente, uno de los indicadores podría ser el número de reuniones
de trabajo en equipo que se realizan).
A pesar de los problemas que puede plantear reflejar criterios a
través de indicadores, su utilización permite obtener, de forma sis-
temática, medidas que pueden aplicarse tanto en la valoración y
mejora interna de los centros como en la comparación con el resto
del sistema.
La construcción de un sistema de indicadores exige trasladar los
factores seleccionados a un conjunto de variables observables, o sea,
operativizar los campos objeto de evaluación.
Dado que el enfoque planteado presenta un marcado carácter
formativo, los indicadores no se reducen a simples datos esta-
dísticos, por lo que es importante que las partes interesadas deci-
dan el tipo de indicadores concretos que se van a utilizar en cada
caso.
Para llevar a cabo la elaboración y la implementación de un
conjunto de indicadores coherentes cabe plantear el siguiente pro-
ceso de trabajo:
Una vez definidoslos objetivos, sedeterminarán loscriterios a emplear,es decir, los“medios parajuzgar”
CONCATENACIÓN ENTRE PRINCIPIOS-OBJETIVOS-CRITERIOS.
El siguiente es un posible modelo que la ejemplificaPrincipio: Promover el acceso de la población a la formación en condiciones de igualdadObjetivos: 1. Suprimir las dificultades de acceso de los grupos territorialmente más alejados
2. Facilitar el acceso de las personas más desfavorecidas3. Igualdad de oportunidades para formarse
Criterios: 1. Localización del centro y servicios disponibles para acceder al mismo2. Porcentaje de alumnos según niveles socioeconómicos3. Subvenciones y ayudas disponibles según niveles
- Delimitar los aspectos directamente relacionados con los objeti-vos de la evaluación;
- Determinar los indicadores que se van a utilizar para recogerinformación sobre cada uno de los aspectos fijados;
- Definir el tipo de variables concretas que se emplearán pararecabar dicha información;
- Decidir el procedimiento de tratamiento para que las infor-maciones –tanto cuantitativas como cualitativas– resultenoperativas.
Para que constituyan un instrumento adecuado de selección yorganización de la información, en su construcción deben tenerse encuenta las siguientes pautas:
- Deben mantener relación con aspectos concretos del centro-organismo y, en consecuencia, medir las características especí-ficas del mismo para poder así realizar comparaciones.
- Deben centrarse en aspectos importantes y permanentes parapoder analizar tendencias y cambios.
- La información que aportan debe ser fácilmente comprensible yútil para un abanico amplio de usuarios.
- La información que se debe recabar exigirá de personas experi-mentadas, tiempo y costes, que se tratarán de reducir al máxi-mo, aprovechando todas las fuentes de información disponibles.También los procedimientos de elaboración se simplificarán almáximo.
- Los indicadores deben estar consensuados, aceptados y contem-plados como estimaciones válidas, fiables y relevantes para lavalorización de la calidad del centro-organismo y la toma dedecisiones.
- No suponen el único método de evaluación, por lo que tambiéndeben emplearse otros procedimientos de evaluación comple-mentarios.
❍ Modelo agrupado de factores objeto de evaluación de loscentros de formación
Aunque existen diversos modelos teóricos, la necesidad de consi-derar todos los aspectos que configuran el centro-organismo de for-mación hace conveniente la utilización de enfoques multidimen-sionales, como el contenido en el modelo Contex-Input-Process-Product (Stufflebeam).
La información quese debe recabarexigirá de personasexperimentadas,tiempo y costes,que se tratarán dereducir al máximo,aprovechando todaslas fuentes deinformacióndisponibles
88
89
❍ Aplicación
Se proponen a continuación, con carácter flexible, una serie deáreas contempladas habitualmente en la evaluación de los organis-mos, agrupadas según el modelo anteriormente propuesto y desagre-gadas en algunos casos a nivel de indicadores.
Hay que tener en cuenta que se trata de un proceso de revisión delcentro, por lo que incluye una serie de informaciones iniciales (his-toria, instalaciones, etc.) que –actualizadas en su caso– servirán paraevaluaciones posteriores.
➪ CONTEXTO
La obtención/valoración de información en este área exigiránormalmente la participación del personal directivo, la utilizaciónde documentación administrativa del propio centro y relativa alentorno, que puede provenir de las autoridades educativas, ayun-tamientos, agencias de desarrollo, etc. La determinación de lascaracterísticas socioeconómicas del alumnado requerirá el uso decuestionarios.
• Características del centro
- Historia: fecha de creación, evolución del tipo de enseñanza/for-mación impartida, destino inicial de las instalaciones.
- Niveles, opciones, tamaño.
- Relaciones con el entorno: relaciones con los medios de comu-nicación, iniciativas de aproximación/información al entorno,utilización de las instalaciones por terceros (conferencias,
Hay que tener encuenta que se tratade un proceso derevisión del centro,por lo que incluyeuna serie deinformacionesiniciales serviránpara evaluacionesposteriores
PRODUCCIÓN
. Instalaciones y recursos materiales
. Recursos humanos
. Servicios que ofrece
. Otros recursos
PRODUCTO
. Desarrollo
. Rendimiento
. Satisfacción de los clientes
. Proyección/Prestigio
CONTEXTO
. Características del centro
. Clima socio-educativo
. Características del alumnado
PROCESO
. Estructura organizativa
. Funcionamiento
. Clima/Comunicación/Cultura
deportes, etc.), relaciones con otros organismos, otras entidades
a distintos niveles, relaciones con empresas.
• Clima socio-educativo
- Población: número, tasa de paro, principales sectores de activi-
dad, categorías profesionales, etc.
- Recursos culturales: bibliotecas, teatros, cines, centros cultura-
les, instalaciones deportivas (distancia, accesibilidad).
Características socioeconómicas del alumnado
- Tipología de las familias, procedencia, nivel educativo de los miem-
bros de la unidad familiar, nivel económico, hábitos culturales.
➪ PRODUCCIÓN
Este tipo de información será normalmente evaluada por el per-
sonal directivo, empleando datos procedentes de la administración
del propio centro-organismo.
• Instalaciones y recursos materiales
- Dimensión y número de aulas de formación, espacios culturales
y recreativos, de administración-gestión, talleres y laboratorios,
otros servicios; condiciones térmicas, acústicas, de iluminación,
seguridad e higiene.
- Material formativo y de administración, equipamiento deporti-
vo, material de información y documentación.
• Recursos humanos
- Personal docente: número, titulación, experiencia, residencia,
movilidad-estabilidad del cuerpo educativo, formación conti-
nua, adscripción, tipología y características de los contratos.
- Personal no docente: número, adecuación a las tareas, experien-
cia, tiempo de trabajo en el centro, tipología y características de
los contratos.
- Alumnos: número de alumnos totales, por curso, aula y profe-
sor; expediente académico del alumnado, procedencia; distancia
vivienda-centro formativo; horarios.
• Servicios que ofrece
- Servicios de orientación e información, seguros escolares, be-
cas, servicios de transporte, servicios de cafetería, comidas.
La informaciónrelativa a laproducción seránormalmenteevaluada por elpersonal directivo,empleando datosprocedentes de laadministración delpropio centro-organismo
90
91
• Otros recursos
- Recursos procedentes de la administración educativa: asesora-miento, orientación a profesores y alumnos, formación perma-nente del profesorado.
- Recursos procedentes de otros organismos/entorno: recur-sos culturales y educativos ofrecidos al centro, orientaciónsobre el mercado de trabajo –necesidades de cualificación yotras–.
➪ PROCESO
Requiere fundamentalmente la participación del equipo directivoy del personal docente, de forma individual y en grupos a diferentesniveles: departamentos, equipos, comités.
• Estructura organizativa
- Órganos de gestión: elección, constitución, definición formal defunciones y desempeño real, planificación, seguimiento de laplanificación.
- Organización del personal docente: comisión de coordinaciónpedagógica, departamentos, tutores, equipos de ciclo-nivel, gru-pos específicos, programación de la actividad.
• Funcionamiento
- Proyecto educativo: cómo se planifican y desarrollan los pro-gramas formativos, grado de adecuación al entorno.
- Actividad docente: grado de autonomía y participación de losprofesores en el diseño de las programaciones didácticas, adap-tabilidad a las características del alumnado.
- Mejoras e innovación: sistemas de normalización, rapidez en laadopción de innovaciones.
- Tareas administrativas y auxiliares: eficacia, cumplimiento de laprogramación y horarios, grado de colaboración con el personaldocente.
• Clima/Comunicación/Cultura
- Grado de participación del personal docente en la toma de deci-siones que afectan a la actividad del organismo.
- Asunción de los principios y objetivos del centro por parte detodo el equipo.
- Definición y aceptación de las normas de convivencia.
Valorar lainformación del áreade proceso requierefundamentalmentela participación del personaldirectivo y delpersonal docente
- Relaciones entre el personal del centro: colaboración, apoyomutuo, distribución de los recursos.
- Canales de comunicación: información descendente, ascenden-te y horizontal entre el personal directivo y el resto del personal;documentos, reuniones formales e informales (frecuencia, quiénlas convoca); lugares informales de circulación de la informa-ción; información de y hacia los padres, alumnos, empresas,entorno.
- Símbolos propios del centro (logotipos, objetos), valores com-partidos por el alumnado y/o el personal docente.
➪ PRODUCTO
Es el área más frecuentemente evaluada, especialmente en lo relativoa los resultados del alumnado, siendo la satisfacción de los clientes con-siderada cada vez en mayor medida. Los cuestionarios aplicados a alum-nos, formadores y padres, junto con las calificaciones y la obtención detítulos, son los instrumentos básicos para efectuar esta valoración.
• Desarrollo
- Adaptación de la organización del centro a los modelos partici-pativos y de corresponsabilidad, eficacia en el cumplimiento delas funciones.
- Capacidad del personal docente para adaptar el diseño, desarro-llo y evaluación de los programas para los diferentes alumnos ygrupos.
• Rendimiento
- Resultados de los alumnos en las evaluaciones internas y/oexternas, obtención de certificaciones, continuación de la ense-ñanza/formación en otros centros, inserción laboral, promociónlaboral, etc.
• Satisfacción de los clientes
- Clientes externos e internos: valoración de la organización yfuncionamiento del centro, de la calidad y utilidad de la forma-ción recibida, de la orientación e información.
• Proyección/Prestigio
- Entre el alumnado, profesorado y la comunidad en general:valoración de la calidad de la formación, de la transmisión denormas de convivencia y sistemas de valores.
La concerniente alproducto es el áreamás frecuentementeevaluada,especialmente en lorelativo a losresultados delalumnado, siendo lasatisfacción de losclientesconsiderada cadavez en mayormedida
92
93
5.4 ORIENTACIONES PARA SU IMPLEMENTACIÓN
Dispositivos de recogida de información
Con el fin de proporcionar orientaciones, que deberán ser valida-das por cada organismo según sus características e intereses particu-lares, se proponen a continuación algunas de las formas más habi-tuales de recogida y tratamiento de los datos necesarios para la rea-lización de la evaluación.
Existe una gran variedad de datos a disposición de los centros,distribuidos en diferentes lugares y emitidos por fuentes diversas.Además, generalmente, proporcionan visiones parciales y, en oca-siones, yuxtapuestas, lo que exige un esfuerzo inicial de racionaliza-ción y estructuración.
Es necesario cuestionarse en primer lugar acerca de los datos que sequieren obtener y su finalidad, y una vez enfocados estos aspectos sepasarán a estudiar los instrumentos más apropiados: entrevistas, cuestio-narios, sondeos, explotación de documentos, observación directa, etc.
Las principales fuentes escritas serán generalmente documentosadministrativos, ficheros, etc., relativos tanto al alumnado como a lasituación financiera, las instalaciones y equipamiento, materialesdidácticos, etc.
Normalmente la evaluación requerirá la utilización de cuestiona-rios (alumnos, padres, empresas, personal docente...) y/o entrevistasmás o menos formalizadas o estructuradas.
La complejidad de estos procedimientos y su creciente generali-zación han llevado a la elaboración de diversas herramientas, especí-ficas para determinados grupos de centros (elaboración de guías,diseño de indicadores de calidad determinados...), programas infor-máticos para una gestión integral de la formación, etc.
Aunque la visión que se procura en este documento es la de unaevaluación interna realizada por cada centro educativo-formativo, laexistencia de otro tipo de evaluaciones, de ámbito superior, permiti-rá normalmente sinergias si se utilizan, al menos parcialmente, losdatos recogidos por los centros para la realización de evaluaciones“externas” (ver punto 5.4.1).
Dada la extensión de la utilización de los cuestionarios comomedio para conocer las dimensiones más cualitativas de la evalua-ción así como la inclusión del punto de vista de los “clientes”, tantointernos como externos, se esbozan algunas consideraciones respec-to a la elaboración y uso de cuestionarios.
Normalmente, laevaluación requerirála utilización decuestionarios(alumnos, padres,empresas, personaldocente...) y/oentrevistas más omenos formalizadaso estructuradas
En primer lugar, es conveniente elaborar un documento de baseque respete siempre el mismo plan, lo que permitirá obtener eco-nomías de escala en la realización del documento. Su consolida-ción con el transcurso del tiempo facilitará enormemente la reco-gida de información. Es igualmente conveniente que sean anóni-mos, para favorecer la fiabilidad de las respuestas, y una buena ca-lidad visual y un formato breve facilitarán su cumplimentación.Deberán incluir una nota sobre el objetivo de la evaluación y estarredactados con lenguaje accesible.
Puede resultar conveniente utilizar escalas de valores pares,con el fin de evitar que las respuestas se concentren en la zonaintermedia, y dejar así una posibilidad de abstención (algunosevaluadores prefieren no contemplar esta posibilidad si bien hayotros que consideran preferible una mayor fiabilidad de las res-puestas aunque su número pueda resultar inferior). A partir deestas respuestas se elaborarán los instrumentos de análisis paraidentificar:
• la distribución de los resultados
• la dispersión
• la frecuencia
Es convenienteelaborar undocumento de baseque respete siempreel mismo plan, loque permitiráobtener economíasde escala en larealización deldocumento
94
ELABORACIÓN DE HERRAMIENTAS DE EVALUACIÓN DE LACALIDAD PARA LOS CENTROS GRETA-PICARDIE
Los instrumentos de evaluación diseñados por el grupo AQR (Red de Aseguramiento de laCalidad) para los GRETA (Grupo de Establecimientos Públicos de Formación Continua) de Picardiese aplican al comienzo, durante y al finalizar la formación.
En primer lugar, se ha diseñado una Guía de aplicación interna que recoge, organiza y explicitalos puntos que garantizan una acción de calidad: incorporar los objetivos, constituir el equipo,organizar la programación de la formación, prever el seguimiento y control de la acción, prever laforma de reconocer las “adquisiciones” de la formación y organizar la acogida. Al mismo tiempo,se ha elaborado un “contrato de intervención en la formación de adultos”, que refleja contractual-mente el compromiso entre el formador y el centro, relativo a la realización de una prestación decalidad que satisfaga al cliente.
En el transcurso de la formación se emplea una “agenda de la calidad”, que se va cumplimen-tando en cada fase por los formadores y alumnos, con sus percepciones sobre diferentes aspec-tos (pedagógicos, materiales, organizativos, etc.).
Al finalizar, se emplean dos indicadores: un índice de calidad elaborado a partir de unas fichasde evaluación que deben cumplimentar los responsables pedagógicos, formadores, alumnos y“clientes finales”; y un “indicador” de calidad, que emplea únicamente criterios objetivos fácilmen-te identificables.
95
• la evolución en el tiempo
• la correlación
La aplicación previa de los cuestionarios a grupos representa-tivos puede permitir la detección de posibles errores y/o impreci-siones, y su posterior corrección en la realización de los cuestio-narios definitivos.
5.4.1 Dispositivo Evaluatorio de la Formación No Regladaen la Comunidad Autónoma del País Vasco
Como ejemplo de lo que se ha denominado “evaluación externa”,se incluye en este anexo la experiencia desarrollada por el Gobierno
Vasco a través del Departamento de Trabajo y Seguridad Social y ges-tionada en la actualidad por Egailan –Sociedad Pública de Promoción
de la Formación y el Empleo–, respecto a la evaluación de laFormación No Reglada (F.N.R.) impartida en los centros de formacióndel País Vasco.
El dispositivo de evaluación establecido a principios de los 90 haido evolucionando en el tiempo. Se ha producido una simplificaciónde los cuestionarios que son básicamente de tres tipos 2. El primero deellos se dirige a las directores de la formación y cuenta con 32 items,agrupados en torno a los siguientes capítulos: organización de loscursos –concepción, programación, condiciones de desarrollo yprofesorado–; desarrollo de los cursos; y evaluación y supervisión.
El cuestionario que debe cumplimentar el profesorado que inter-
viene en el proceso de formación consta de 26 items, incluyendo
HERRAMIENTAS INFORMÁTICAS
La Fundación Laboral de la Construcción de Navarra ha diseñado recientemente una herra-mienta informática de evaluación que facilita la mejora permanente de la formación mediante la uti-lización de indicadores de calidad. Dichos indicadores se agrupan en niveles diferentes e incluyenlas áreas de innovación, flexibilidad, gestión, satisfacción del cliente externo y del cliente interno,así como indicadores específicos para determinados tipos de formación. Cada nivel se desagre-ga en otros inferiores, y los datos se obtienen básicamente mediante cuestionarios a los diferen-tes intervinientes en la formación.
Este programa informático permite una mayor eficacia y rapidez en la utilización de los indica-dores y proporciona un importante grado de adaptabilidad a un entorno cambiante y cada vez másselectivo en materia de formación.
2 Inicialmente se distinguían diferentes tipos de cuestionarios en función de la duración de loscursos.
datos del propio profesor, del proceso de selección de los alum-nos, de la preparación y organización del curso, las condicionesespacio-temporales y recursos de que han dispuesto, la metodo-logía, la evaluación y la valoración personal.
Por su parte, los alumnos valoran su satisfacción con el curso
mediante un cuestionario que se desarrolla a lo largo de 23 pregun-tas acerca de su motivación para la realización del curso, sobre elproceso de selección, las condiciones espacio-temporales y losrecursos, los objetivos, contenidos, metodología, funciones delprofesor, valoración personal y procedimientos de evaluación uti-lizados durante el curso.
Con los resultados de dichos cuestionarios se elabora una ficharesumen por cada curso y cada centro, en las que se recogen los
datos de identificación del curso, incluyendo información sobre el
número de alumnos previsto, real, presencia del alumnado y dura-
ción del curso en horas.
La ficha contiene un cuadro global de la evaluación en el que se
incluyen los valores medios de los indicadores obtenidos a través
de las respuestas de los cuestionarios, utilizando una escala del 1 al
4. Se presentan en forma de cuatro columnas, tres correspondien-
tes a cada tipo de cuestionario efectuado y una última con la media
de las cifras anteriores. El capítulo de preparación y organización
del curso se valora únicamente por el profesorado y el responsable
de la formación.
La disposición conjunta de los resultados permite realizar una
verificación inmediata de las similitudes o diferencias entre las
valoraciones de los distintos intervinientes en la formación,
variaciones que se recogen en otro cuadro con los valores extre-
mos y el grado de sintonía entre las respuestas del profesorado y
del alumnado.
Se presenta a continuación un esquema de las fichas resumen
de cada curso/centro, en el que se señalan los diferentes indicado-
res empleados.
Esta herramienta se complementa con un seguimiento que seefectúa al alumnado seis meses después de finalizar la formación,
con objeto de conocer su situación/expectativas laborales y su
satisfacción en relación al curso recibido. En el caso de los Parados
de Larga Duración (PLD) el seguimiento se difiere realizándose
once meses después de terminar la formación.
Con los resultadosde los tres tipos decuestionariosutilizados, seelabora una ficharesumen por cadacurso y cada centro,que contiene uncuadro global de laevaluación ypermite realizar unaverificacióninmediata de lassimilitudes odiferencias entre lasvaloraciones de losdistintosintervinientes en laformación
96
97
DATOS DE IDENTIFICACIÓN DEL CURSO
CUADRO GLOBAL DE EVALUACIÓN
Centro:
Curso:
Expediente:
Alumnado Previsto:
Índice Confirmación de
Alumnado:
Duración Prevista del Curso:
Código:
Alumando Real:
Índice Presencia de Alumnado:
Comarca de Impartición:
PREPARACIÓN/ORGANIZACIÓNActitud del Responsable de F.N.R.Objetivos, Contenidos MetodologíaSelección Profesorado
RECURSOS y MATERIALESCondiciones Espacio-TemporalesRecursos
ACTIVIDADES y MET ODOLOGÍAObjetivos y ContenidosMetodología
FUNCIONES DEL PROFESORClaridad de ExposiciónDominio y CompetenciaRelación Alumnado
CLIMAClima
VALORACIÓN PERSONALSatisfacción GlobalContenidos
EXPECTATIVAS DE FUTUROExpectativas
Alumnado ProfesoradoResponsable
de F.N.R. Global
98
ENTIDAD DOCENTE
Dirección:
C. Postal:
Comarca:
Teléfono:
Representante legal:
Responsable F .N.R.:
Municipio:
Territorio Histórico:
Fax:
DETECCIÓN/RESUMEN DE VALORES EXTREMOS
RECURSOS y MATERIALES
Condiciones Espacio-Temporales
Recursos
ACTIVIDADES y MET ODOLOGÍA
Objetivos y Contenidos
Metodología
FUNCIONES DEL PROFESOR
Claridad de Exposición
Dominio y Competencia
Relación Alumnado
CLIMA
Clima
VALORACIÓN PERSONAL
Satisfacción Global
Contenidos
Valores Extremos
ModasExtremas
SintoníaProfesorado/
Alumnado
* * *
99
CONVENIOS ASPECTOS INFORMATIVOS
• Ámbito de Actividad Cursos Alumnado Real Duración prevista
TOTAL
Global Mínimo Máximo
• Alumnado
Índice de Presencia (Evaluación)
Índice de Confirmación
1. CUADRO GLOBAL DE EVALUACIÓN
Preparación-Organización Actitud del Responsable de F.N.R.
Objetivos, Contenidos, Metodología
Selección Profesorado
Recursos y MaterialesCondiciones Espacio-Temporales
Recursos
Actividades y MetodologíaObjetivos y Contenidos
Metodología
Funciones del profesorClaridad de Exposición
Dominio y Competencia
Relación Alumnado
ClimaClima
Valoración personalSatisfacción Global
Contenidos
Expectativas de futuroExpectativas
EVALUACIÓN DIAGNÓSTICA GLOBAL
Alumnado ProfesoradoResponsable
de F.N.R. Global
100
2.VALORACIÓN GLOBAL
AlumnadoValoraciónCursos ProfesoradoResponsable
de F.N.R.Sintonía
Centro/Alumno
Í N D I C E S
5.4.2 El Método Projeval.
Entre las acciones desarrolladas por las MAFPEN (Missiones
Academiques pour la Formation des Personnels de la Education
Nationale) en el marco de la mejora de los centros escolares se han
desarrollado diversas metodologías y herramientas que incluyen la
elaboración de los proyectos de centro y los planes de formación, así
como la evaluación de los centros.
La metodología Projeval ha sido creada por un colectivo pertene-
ciente al grupo de pilotaje de “renovación de los centros” de la aca-
demia de Grenoble, Francia.
Su objetivo es facilitar la revisión del funcionamiento interno de
los centros educativos para, posteriormente, presentar a sus colabo-
radores los elementos para una evaluación externa.
Corresponde a una concepción de la evaluación en su doble ver-
tiente de certificación sumativa (control externo) y regulación for-
mativa (control interno).
Incluye como criterios de calidad de una evaluación los
siguientes:
Pertinencia: las informaciones recopiladas y difundidas deben
facilitar la toma de decisiones del receptor del informe. En lo
posible, todos los intervinientes (profesores, padres, alumnos)
El objetivo de lametodologíaProjeval es facilitarla revisión delfuncionamientointerno de loscentros educativospara,posteriormente,presentar loselementos para unaevaluación externa
101
deben reconocer y aceptar los métodos utilizados y las interpre-taciones presentadas.
Sensibilidad: los métodos empleados deben incluir el estudio delas representaciones subjetivas de los intervinientes en el pro-yecto. Deben tener en cuenta la multiplicidad irreductible de lospuntos de vista y las expectativas.
Transparencia: las elecciones efectuadas deben ser explicitadas,justificadas y correctamente documentadas, de forma que per-mitan su verificación, confrontación y revisión.
Variedad y complementariedad metodológica: el grupo de eva-luación debe trabajar en paralelo con diferentes metodologías yconfrontar diferentes opiniones y fuentes de información. Laintuición resulta tan necesaria como el rigor, la apertura hacialos demás y la capacidad de distanciarse.
Credibilidad: la evaluación debe reflejar el acuerdo entre las par-tes o traducir las posiciones contrarias. Los intervinientes debenreconocer y aceptar la autenticidad de los resultados y de lasinterpretaciones presentadas.
Revisabilidad: toda conclusión es provisional y puede ser cues-tionada en todo momento.
Objetividad: el grupo encargado de la evaluación debe informarde la manera más completa posible, insistiendo en las limitacio-nes derivadas de su propia subjetividad.
Valor formativo: la evaluación debe ser considerada desde unaperspectiva positiva como factor de progreso por todos losintervinientes. Incluso si los puntos débiles prevalecen sobrelos puntos fuertes, el tono general del informe debe mante-nerse constructivo. Siempre que sea posible, la evaluacióndebe acompañar al proyecto, desde su concepción hasta suutilización, y las informaciones deben ser rápidas y propor-cionar un diagnóstico adecuado. Debe permitir la evoluciónde los conocimientos y las opiniones mediante la presentaciónde hechos pertinentes.
De forma resumida, la evaluación pretende estudiar tanto el fun-cionamiento del proyecto como sus efectos esperados (que deberáncubrir al menos los principales objetivos asignados al proyecto) oimprevistos (positivos y negativos).
El siguiente cuadro recoge la metodología y los indicadoresempleados en el proceso.
La evaluación debeser consideradadesde unaperspectiva positivacomo factor deprogreso por todoslos intervinientes.Incluso si los puntosdébiles prevalecensobre los puntosfuertes, el tonogeneral del informedebe mantenerseconstructivo
5.4.3 Evaluación de la calidad de los organismos deformación en la Comunidad Autónoma del País Vasco.Método CEDEO.
El método CEDEO se viene utilizando en los Países Bajos desde1989 y en Bélgica desde 1992. Más de 300 organismos de forma-ción en Holanda, y de 70 en Bélgica, reconocen su interés y han sidoevaluados con este método. Por su parte, muchas empresas y orga-nismos de la Administración Pública lo han adoptado como referen-cia para la compra y financiación de formación, y para la elección ycalificación de programas formativos.
La principal razón del éxito alcanzado radica en el enfoqueempresarial que adopta este método, con una altísima probabilidadde que se verán satisfechas las expectativas y alcanzando los objeti-vos, si se adquiere o se contrata formación a los organismos reco-nocidos por CEDEO.
La evaluaciónpretende estudiartanto elfuncionamiento delproyecto como susefectos esperados(que deberán cubriral menos losprincipales objetivosasignados alproyecto) oimprevistos(positivos ynegativos)
102
METODOLOGÍA
EntrevistasCuestionarios
Just i f icac iones espontáneas de los co laboradoresinternos y externosLógica de funcionamiento existenteLógica de funcionamiento deseadaHistoria del centro
Observación partici-pativa: recogida deinformación y trata-miento
Las prácticas observadas: lógica de funcionamiento observada.Las redes, las personas, las lógicas de actuación en diferentessituaciones, es decir:- dossieres con los datos disponibles sobre la historia, naturaleza,dispositivos y objetivos del centro- las reuniones institucionales y de otro tipo- situaciones diversas: horarios de clase, tiempos libres, bibliotecas,espacios de ocio..- los documentos producidos por el centro: circulares, folletosdivulgativos, boletines, proyectos, contratos, etc.- otros documentos: dirigidos a los padres, instituciones, etc.;artículos de prensa, etc.
Análisis de los datoselaborados
Pistas para una sínte-sis
Grado de desajuste entre los principios invocados y:- las lógicas de las prácticas observadas- los objetos y dispositivos establecidos
Elementos a partir de los cuales se puede basar el acuerdo:- qué clase de dispositivo es factible- en razón de qué interés común
Reservado al propiocentro
Qué proyecto se va a realizar¿Por qué?, ¿Por quién?, ¿Cómo?, ¿Cuándo?Evaluación-Evolución
INDICADORES
Cuadro 5
103
Puesto que el Programa Europeo Leonardo se refiere reiterada-mente a la calidad de la formación como una de sus prioridades prin-cipales, la Sociedad Pública Vasca de Promoción de la Formación yel Empleo –EGAILAN–, se encuentra participando en un grupo detrabajo transnacional en el proyecto denominado Q*FOR, que inves-tiga sobre la validez del método CEDEO y su viabilidad en nuestropaís.
Se ha partido de un sistema que ha demostrado ser válido en otrospaíses y después de un estudio detallado, se ha adaptado una meto-dología de evaluación de la garantía de la calidad de los centros deformación que se ha aplicado con el objeto de validarla.
❍ Procedimiento evaluatorio
La evaluación del organismo de formación se desarrolla en cincofases.
Fase 1. Estudio previo
En esta primera fase se reúne información general y específicasobre el organismo de formación. Para ello, éste facilita sus catálo-gos de presentación y cumplimenta un cuestionario3 sobre aspectosrelativos a:
Consistencia empresarial: perfil de la empresa, actividades yservicios desarrollados, tipo de clientes, cursos y seminarios, fac-turación y gestión comercial, infraestructura, disponibilidad.
Información técnico-profesional: especificación de las caracte-rísticas profesionales de sus técnicos y formadores; metodologías,procedimientos y herramientas utilizadas; productos y servicios;innovación.
Lista completa de clientes del último año (o últimos seismeses).
Fase 2. Encuesta calificativa
Conocer la opinión de los clientes de la entidad formadora es fun-damental. Para ello EGAILAN establece contacto telefónico conlos clientes, seleccionados al azar de la lista completa –seis o doceúltimos meses–, facilitada previamente por el organismos, ysiguiendo una lista de doce variables4 se recoge su grado de satis-facción por los servicios recibidos.
Se obtiene, de este modo, información de carácter cualitativo ycalificativo referida a distintos aspectos: la etapa de preparación,
La principal razóndel éxito alcanzadopor el métodoCEDEO radica en elenfoque empresarialque adopta estemétodo, con unaaltísimaprobabilidad de quese verán satisfechaslas expectativas yalcanzando losobjetivos
3 Con carácter ilustrativo, se incluye más adelante este cuestionario4 Con carácter ilustrativo, se incluye más adelante este cuestionario
el programa de formación, las relaciones con la empresa, la orga-nización y gestión de las instalaciones, la satisfacción global, asícomo, las mejoras posibles.
Fase 3. Entrevista con el organismo
Tras el estudio preliminar y la encuesta cualificativa, el organis-mo de formación recibe la visita de un experto evaluador deEGAILAN, que transmite el resultado del estudio sobre satisfac-ción de los clientes, contrasta la información transmitida ante-riormente por la propia institución y recoge aclaraciones o datoscomplementarios.
Fase 4. Elaboración del informe
El conjunto de informaciones recogidas es estructurado y elabo-rado de acuerdo a criterios de consistencia empresarial, calidad ysatisfacción de los clientes. Según el criterio establecido en elmétodo CEDEO, para que el informe resulte positivo y el orga-nismo sea reconocido como de calidad, al menos un 80% de losclientes contactados deben mostrarse satisfechos o muy satisfe-chos de los servicios recibidos.
El informe tiene un carácter descriptivo y técnico, y es transmiti-do a la empresa de formación, que cuenta con un plazo de quincedías para advertir de eventuales errores.
Fase 5. Comité de expertos: opinión de los expertos
Contrastado el informe de evaluación con la empresa, se remite aun grupo o comité de expertos en formación y desarrollo deRecursos Humanos (RR.HH.).
Este Comité tiene la función de emitir opinión sobre los criteriosy metodología de evaluación de los centros de formación. Deforma operativa, el informe de evaluación que resulta despuésde la fase de análisis de la información se pone a disposición delComité de Expertos. Este comité está formado por personasrepresentativas en el mundo de la formación. Se les pide su opi-nión sobre la aplicación de la metodología y sobre el informeresultante del organismo evaluado. En definitiva, aportan credi-bilidad y legitiman el modelo de evaluación y sus resultadosante terceros.
Estos expertos pueden provenir de las asociaciones profesionalesde Formación y Desarrollo de RR.HH., de organismos públicoscon competencias en formación, de asociaciones empresariales(preferiblemente PYME) y sindicales, organismo de formación, yde departamentos de formación de empresas.
El informe tiene uncarácter descriptivoy técnico, y estransmitido a laempresa deformación, quecuenta con un plazode quince días paraadvertir deeventuales errores.
104
105
❍ Utilidad y beneficios de la evaluación Cedeo-Egailan
Para los organismos de formación
• Les permite ver reconocida formalmente su imagen de calidady reforzar sus actividades comerciales mediante una utilizaciónadecuada del informe de evaluación o la difusión de su infor-mación a través de EGAILAN.
• Les permite conocer mejor lo que opinan de sus clientes y dis-poner de una referencia para la mejora continua de sus métodosformativos.
• Les permite acceder a nuevas oportunidades de contratos o con-vocatorias a medida que estos criterios de calidad y transparen-cia vayan siendo reconocidos por las empresas o las institucio-nes públicas como referencia para la compra o la financiaciónde la formación.
Para las empresas y entidades clientes de formación
• Pueden disponer de información completa y fiable sobre la cali-dad y características de los organismos de formación, así comode sus programas y servicios.
• Pueden identificar fácilmente, para cada tipo de necesidad, losmejores proveedores según los criterios establecidos por el sis-tema CEDEO.
• En el momento de hacer una elección, saben que tienen una pro-babilidad muy alta de que van a quedar satisfechos si eligen uncentro formador con un informe favorable evaluado en el pro-yecto Q*FOR.
• Es un camino para asegurar la rentabilidad y eficacia de losrecursos y esfuerzos en formación.
La evaluaciónCEDEO-EGAILANes un camino paraasegurar larentabilidad yeficacia de losrecursos yesfuerzos enformación.
1. Datos generalesNombre del organismo:Dirección:Población: D.P.:Teléfono(s): Fax: Email:Director (General), Presidente, Consejero Delegado...:Persona de contacto:Cargo o función:
***
Delegaciones1:1)2)Campo o áreas de actividad de formación2:Servicios o programas de consultoría en RR.HH.3:Forma parte de4:Asociaciones de que es miembro:Colabora con5:Reconocida por6:Creada en el año: en7
Año de implantación en España (si es de origen extranjero):
2. Perfil del organismo de formaciónSocios o promotores:Filosofía y misión del organismo:
A qué tipo de clientes está orientado el organismo?• Administración Pública %• Empresas: %, diferenciado:
• de > 100 personas: % del total de empresas• de < 100 personas: % del total de empresas
106
1 Añadir más información aparte, si es necesario.2 Gestión, Comercial, Idioma, Finanzas, Informática, RR.HH., Tecnología, Servicios, otros.3 Selección, Estudios, Organización, Remuneración, Desarrollo, Evaluación…4 Si el organismo forma parte de una organización más importante.5 Si colabora habitualmente con otros organismos, universidades…6 Si la formación o actividad es reconocida por Instituciones, Federaciones…7 Indicar localidad o Estado.
CUESTIONARIO PARA EL ESTUDIO PREVIO DEL ORGANISMO
107
• Actividades no lucrativas …%
Tipo o modalidades de formación que lleva a cabo (marcar):
Formación presencial
Formación a distancia
Multimedia
Otros8
Tipos o modalidades de consultoría en RR.HH.9 :
Historia del organismo (Fechas clave de la institución):
Estructura interna de la empresa/organigrama básico:
3. Cifras de negocio (Facturación)
Ejercicio Formación Consultoría Otros Servicios10
Ejercicio 1993
Ejercicio 1994
Ejercicio 1995
Del tiempo dedicado a formación, indicar la dedicación a las diferentes etapas oaspectos, en porcentajes:
• Desarrollo ...%
• Adaptación al cliente ...%
• Ejecución/impartición ...%
• Evaluación y seguimiento ...%
• Informe al cliente al final del proceso ...%
• Reciclaje de formadores ...%
• Gestión comercial ...%
• Gestión administrativa ...%
Tiempo dedicado a otras actividades de apoyo o consultoría en RR.HH.:
• Tipo de servicio: ...%
• Tipo de servicio: ...%
• Tipo de servicio: ...%
• Tipo de servicio: ...%
Otro tipo de proyectos o servicios singulares o específicos:
8 Especificar: Elaboración de material de software formativo, gestión de planes formativos, ventas de licencias, etc.9 Selección, estudios, remuneraciones, organización, directivos…10 En esta columna pueden incluir, por ejemplo, la elaboración de material didáctico, venta de licencias, soporte logístico, soporte
de apoyo, etc.
4. Cursos/Seminarios
¿Cuál es su visión de la formación?
Datos de los cursos o programas del último año:
• Cursos a medida o intra-empresa (una sóla empresa)
Número por año11 :
Duración media12 :
Número medio de participantes:
• Cursos abiertos o inter-empresa (varias empresas)
Número por año:
Duración media:
Número medio de participantes:
¿Qué proporción de la formación del último año ha sido adaptada o creada a requeri-miento de los clientes? %
¿Diseñan y preparan los programas de formación los propios formadores, o lo hacentécnicos o profesionales diseñadores?
¿Imparte la formación en fechas determinadas?
Una vez terminada la formación, ¿entrega un diploma a los participantes?
¿Utiliza cuestionarios para que los participantes evalúen los programas?13
Formación inter-empresa y formación intra-empresa (a medida):
TÍTULO DE LOS PROGRAMAS DESARROLLADOS Número de participantes
Inter-empresa
Intra-empresa
¿Qué nuevos cursos o programas tiene previsto poner en marcha el próximo año?
¿Qué etapas y procesos siguen cuando una empresa le dirige una petición de formación?
¿Con qué persona(s) de la empresa solicitante abordan, y cómo, la planificación ydiseño del programa a desarrollar?
¿Puede describir la metodología seguida para el diseño y adaptación de sus cursos?
¿Puede describir los métodos y medios didácticos utilizados, así como el materialempleado?
108
11 No se trata de proyectos diferentes realizados en el año, sino del número total de imparticiones de programas formati-vos. Los programas que se repiten varias veces en la misma empresa se contabilizan tantas veces como se imparten.12 Expresado en número de jornadas de formación por programa. Cuando un programa es ejecutado varias veces en lamisma empresa, indicar el número medio de jornadas de formación por programa (y no el número total de días de unproyecto de formación para la empresa).13 En caso afirmativo, adjuntar un modelo de los cuestionarios utilizados.
109
¿De qué manera tienen ustedes en cuenta el hecho de que los participantes en cursosinter-empresa procedan de empresas diferentes?
5. Formadores, especialistas y técnicos
Número de técnicos y formadores:
• Fijos, a tiempo completo:
• Fijos, a tiempo parcial:
• Colaboradores habituales:
Número de personal de apoyo logístico-administrativo:
Nombres de los formadores y especialistas, y síntesis del currículum vitae (si son másde 9, recoger los titulares o responsables de área o programas):
¿Qué criterios utilizan prioritariamente en la selección de su profesorado?
¿De qué manera tienen organizado el proceso de integración de los nuevos formadores?
¿Cómo realizan la evaluación del desempeño y de la actividad de sus formadores?
¿Qué medidas toman para el desarrollo profesional de sus formadores, tanto de loscontratados como de los colaboradores? (programas de reciclaje, seminarios, confe-rencias...)
¿Pueden describir las precauciones previstas para el caso de que uno de sus profeso-res no esté en condiciones de cumplir sus compromisos con un cliente?
6. Gestión comercial
¿Pueden enumerar sus actividades de promoción y prospección comerciales?
• En relación a la Administración o Instituciones Públicas:
• En relación a las Empresas de más de 100 empleados:
• En relación a las Empresas de menos de 100 empleados:
• En relación a otras entidades o colectivos (p.e. no lucrativas):
¿En qué se distingue su organismo de los demás, de la competencia?
¿Cuáles son los ejes de su desarrollo futuro? ¿Puede describir las perspectivas futurasde su empresa?
7. Infraestructura
¿Cuenta su empresa con infraestructura propia para desarrollar las acciones de for-mación? SI NO
En caso afirmativo, indique el número y características de las instalaciones (aulas,salas, etc):
En caso negativo, ¿cómo se aseguran la infraestructura necesaria, y de qué tipo?
¿De qué otras instalaciones o recursos disponen?
8. Referencias sobre clientes y programas14
Para efectuar la encuesta calificativa, le rogamos que envíe un listado de todos susclientes de los últimos seis o doce meses15, incluyendo para cada cliente los datos quese indican16 :
IDENTIFICACIÓN DE CLIENTE (EMPRESA U ORGANIZACIÓN)
Nombre de la empresa
Tamaño: menos de 100 empleados más de 100 empleados
Dirección:
Persona de contacto (interlocutor técnico):
Cargo/función:
Número(s) de teléfono:
IDENTIFICACIÓN DEL PROGRAMA O CURSO
Título del programa desarrollado:Estándar A medida
Fecha de comienzo ___/___/___ Duración horas___ Impartido: ___vez/veces
Función de los destinatarios del programa:
Objetivo/Descripción del programa:
110
14 Reproducir esta ficha tantas veces como sea necesario para recoger todos los clientes o aciones de formación delperíodo contemplado para el estudio de la satisfacción de los clientes15 Incluir todos los clientes de los últimos seis meses, si su número es igual o superior a 15. Encaso contrario, incluirtodos los clientes del último año.16 En el caso de las acciones inter-empresas, completar solamente la parte correspondiente a la descripción del curso oprogramación y adjuntar la lista de los participantes, indicando para cada uno el nombre de su empresa, su nombre yapellidos, su cargo o función y su número de teléfono.
111
CUESTIONARIO PARA CONOCER LA SATISFACCIÓN DE LOS CLIENTESLa calificación de cada apartado es la siguiente:
1. Muy Insatisfecho; 2. Insatisfecho; 3. Regular; 4. Satisfecho; 5. Muy Satisfecho;Ns./Nc. No Sabe - No Contesta.
1. En relación a la fase previa al curso o programa.
¿Por qué seleccionó este organismo?
¿Cómo fue el primer contacto?
¿Antes del comienzo del curso hubo:
• Entrevistas / Reuniones con: el coordinador, los mandos, el director, los participantes?
• Estudio de documentos, orientación al puesto de trabajo, pruebas?
¿Está Usted satisfecho con los contactos que tuvo con el organismo?
¿Tenía Usted objetivos concretos antes de comenzar, o sobre los resultados que que-ría alcanzar?
¿Cuánto tiempo duró esa fase?
¿Cómo fue la oferta: Correcta, sin faltas, a tiempo, con buena presentación?
Opiniones:
2. En relación al curso o programa
¿Cuál fue su impresión sobre el programa?
Si hizo alguna sugerencia, ¿fue posible que la aceptaran?
¿Llegó el programa al nivel de conocimiento de los participantes?
¿Fue posible cambiar u orientar el programa en la dirección que Usted deseaba?
¿Usó adecuadamente el Organismo la información que le suministró?
¿Tuvieron los participantes una buena información sobre el programa antes del co-mienzo del curso?
Opiniones:
3. Sobre el desarrollo del curso
¿Respondió el desarrollo del curso a sus expectativas?
¿Se habían incluido en el programa partes específicas relativas a su organización, p.e.casos o situaciones extraídas del trabajo?
¿Hubo una buena combinación entre teoría y práctica?
¿Cubrió el curso todos los temas o aspectos que Usted había pedido?
¿Realizó el organismo alguna evaluación durante el curso, por escrito o verbal?
¿Qué tipos de procedimientos se usaron: trabajo en grupo, presentaciones, demostra-ciones, etc?
¿En qué medida se individualizó la formación?Opiniones:
112
4. Sobre la fase posterior al curso
¿Hubo alguna actividad de evaluación, seguimiento, etc. al finalizar el curso?
¿Se evaluó el curso al final: con Usted, el coordinador, los participantes, algún otro;por escrito o verbalmente?
¿Se realizó algún tipo de seguimiento?
¿Respondió el curso a sus expectativas?
¿Cómo fueron los resultados del curso? ¿Se alcanzaron sus objetivos?
¿Hubo exámenes? ¿Hubo certificados?
Opiniones:
5. Sobre los formadores
¿Cuántos formadores estaban disponibles para el curso? ¿Pudo elegir formador?
¿Cuál es su opinión sobre ellos? ¿Eran realmente expertos sobre los contenidos?
¿Cómo fue su comportamiento didáctico?
¿Quedaron satisfechos los participantes de la ayuda que recibieron?
¿Qué pasó si un formador se puso enfermo o no pudo continuar?
Opiniones:
6. Sobre los materiales del curso
¿Qué tipo de material hubo en el curso: Manuales prácticos, libros técnicos...?
¿Cuál es su impresión sobre los materiales: Estaban actualizados, adaptado al trabajoreal, adecuados al nivel de los participantes?
¿Se pueden usar posteriormente como documentación de referencia?
¿Se usaron medios audiovisuales, ordenadores, TV, retroproyector, otras ayudas?
Opiniones:
7. Sobre las relaciones con el organismo
¿Con quién tenían contacto? ¿Había una persona concreta para los contactos?
¿Cómo fue la relación con el organismo?
¿Cómo le informaba el organismo sobre nuevos cursos o actividades: Mailing, cartas...?
¿Le sigue informando actualmente el organismo sobre nuevos cursos o actividades?¿Con qué frecuencia?
Opiniones:
8. Sobre organización y gestión
¿Está Usted satisfecho con la organización y la gestión, en general?
¿Es flexible el organismo, en el caso de que Usted desee modificar algo?
¿Tuvo Usted alguna queja o reclamación? ¿Cómo las resolvieron?
¿Fue correcta la oferta, tanto en contenido como en presentación?
Opiniones:
9. Sobre las instalaciones
¿Usaron Ustedes las instalaciones del organismo?
¿Qué opinión le merecen, en general?
En el caso de cursos residenciales, ¿cómo era la comida, el dormitorio?
¿Fue fácil su acceso? ¿Fue fácil aparcar el coche?
Opiniones:
10. Sobre la relación calidad-precio
¿Piensa que el organismo tiene una relación de calidad-precio adecuada?
Opiniones:
11. Evaluación general
¿Volvería a contratarla, en las mismas condiciones?
¿Cuáles son los puntos fuertes que Usted más valora?
Opiniones:
12. Sugerencias de mejora
¿Cuáles son los puntos débiles del Organismo de Formación y los aspectos sus-ceptibles de mejora?
Opiniones:
113
114
Bibliografía básica
“Evaluación formativa”Bartolomé Rotger Amengual. Cincel S.A., Madrid 1992
“Évaluer et réformer les sistémes éducatifs”OCDE, París 1996
“L ’évaluation en questions”Charles Delorme. ESF, París 1994
“L ’évaluation en formation”Jean Marie Barbier.Presses Universitaires de France, París 1990
“Appraising teaching quality”John D. Wilson. Hodder and Stoughton, Gran Bretaña 1988
“Systematic evaluation”Daniel L. Stufflebeam y Anthony J. Shinkfield. Kluwer-Nijhoff, Boston 1985
“Calidad de la educación y eficacia de la escuela. Estudio sobre la gestión delos recursos educativos”
Varios autores. Ministerio de Educación y Ciencia, Madrid 1995
“Evaluación de centros docentes. El plan EV A”José Luján Castro y Julio Puente Azcutia. Ministerio de Educación y Ciencia,Madrid 1996
“Guide métodologique pour l’évaluation des actions de formation”Charles Hadji. CRDP, Grenoble 1987
“Guide pour l’auto-evaluation de l’etablisement scolaire”CRDP, Lyon 1990
“Pour apprécier la qualité de la formation”Alain Bercovitz, Pascale Fievet, Dominique Poirier. L’Harmattan, París 1994
“L ’évaluation des organisations éducatives”Jean Aubegny. Editions Universitaires UNMFREO. Paris 1989
115
“Teaching Quality”Department of Education and Science. London HMSO 1983
“La qualité en formation”Philippe Carré. Entreprises Formations, nº 384, AFPA 1994
