04-Capítulos 1 al 3

Anlisis cientimtrico, conceptual y metodolgico de la investigacin espaola sobre evaluacin de programas educativos (1975/2000).

CAPTULO I. INVESTIGACIN EVALUATIVA Y EVALUACIN DE PROGRAMAS.

Una de las actividades bsicas de todo profesional de la educacin es disear y aplicar programas para dar respuesta a la cada vez ms numerosa demanda educativa por parte de la sociedad... ... Por tanto el diseo y evaluacin de programas es una actividad fundamental, hoy da, del profesional de la educacin. (Cols, 2000)

1.1. INTRODUCCIN.En cualquier mbito social, en cualquier Sistema Educativo, no puede entenderse una intervencin sin el establecimiento de un programa, de unas lneas claras de actuacin ordenadas temtica y temporalmente que ofrezcan coherencia y sentido a dicha intervencin (Forner y Latorre, 1996). Sobre todo encontrndonos en un periodo de reordenacin educativa en el que hay que justificar poltica, econmica y socialmente las actuaciones de intervencin.

3

Captulo I. Investigacin evaluativa y evaluacin de programas.

En el mismo sentido, puede entenderse lo necesario de la evaluacin de las intervenciones pedaggicas para promover su eficacia, mejora y justificar su rendimiento. La evaluacin que desde la L.G.E.1 de 1970 ha recibido una atencin creciente, no solo como medio a travs del cual mejorar el rendimiento de los estudiantes sino tambin de todo el proceso educativo, como criterio de su calidad (Prez Carbonell et al., 1999).

En 1987, con el proyecto de Reforma de la enseanza, la evaluacin sigue considerndose en trminos semejantes, aunque se ampla su mbito introducindose la evaluacin de todas las personas involucradas en la accin educativa. Es un periodo en el que se producen grandes cambios sociales que generan innumerables demandas del proceso evaluativo. Siendo en estos momentos la LOGSE2 el mejor marco para fomentar y favorecer la Evaluacin Educativa y de forma ms concreta la Evaluacin de Programas.

En el mismo sentido que se plantea la necesidad del diseo e implementacin de planes y programas como medio de intervencin educativa, lo hace la evaluacin de stos, por lo que podra decirse que la evaluacin de programas es, en la actualidad, inherente al hecho educativo.

Los contenidos de este primer captulo aluden a la gnesis de los estudios evaluativos y a la delimitacin de evaluacin de programas como campo disciplinar en la investigacin educativa.

En su primer epgrafe se realiza una introduccin a la caracterizacin de la Investigacin Educativa (IE, en adelante) en general, y particularmente, a aquella orientada hacia un sentido evaluativo de las realidades analizadas. Haciendo mencin especfica a los estudios de sntesis, como mecanismos de obtencin de visiones globales acerca de un campo de investigacin.

1 2

L.G.E.: Ley General de Educacin. L.O.G.S.E.: Ley de ordenacin general del sistema Educativo.

4


A continuacin, se describe como los procesos de investigacin evaluativa aplicados al campo de la evaluacin de programas han alcanzado unas caractersticas especficas en cuanto a su objeto de estudio y los medios para estudiarlo, de forma que se ha constituido en un campo disciplinar diferenciado de la I.E.

Este campo de investigacin posee ciertas peculiaridades derivadas de la convergencia en l de numerosas disciplinas pedaggicas, que han determinado su desarrollo. Las relaciones que mantiene con ellas son analizadas en un epgrafe especfico de este captulo.

Captulo que finaliza, con una visin en sentido diacrnico y sincrnico, del desarrollo histrico de la disciplina de la evaluacin de programas en el mbito internacional y en el contexto especfico espaol.

1.2. LA INVESTIGACIN EDUCATIVA, LA INVESTIGACIN EVALUATIVA Y LOS ESTUDIOS DE SNTESIS.El origen de la investigacin educativa se halla estrechamente vinculado al nacimiento de la pedagoga como disciplina cientfica (Cols y Buenda, 1998), que por reivindicar tal carcter pretende generar conocimientos cientficamente aceptables de los hechos educativos.

Pero este establecimiento de una

ciencia de la educacin como

disciplina social estuvo asociado a numerosas dificultades, como el abandono de una perspectiva moral, para adoptar una adecuacin positivista en la que se hiciera posible la objetivacin y por tanto un carcter emprico consustancial al mtodo cientfico. Y tambin, el abandono de los planteamientos, metafricos y simbolistas, basados en la descripcin de la accin educativa; por la posibilidad de actuacin y transformacin con vistas al desarrollo y mejora.

5


Esta incorporacin del mtodo cientfico-experimental al estudio de la educacin, lo relaciona Garca Hoz (1978) con la transferencia desde disciplinas afines como la medicina y la psicologa, al intentar desvelar cuestiones relacionadas con temas educativos.

Desde este particular origen, el enraizamiento y desarrollo de la investigacin educativa no se produce simultneamente en los distintos contextos, sino que ha dependiendo en gran cuanta de las condiciones socio-polticas particulares.

As, en Estados Unidos la investigacin pedaggica ha alcanzado un alto nivel de desarrollo, siendo precisamente all dnde en 1882 apareci el primer seminario con el propsito de crear una pedagoga de carcter cientfico.

Bartolom (1984) sintetiza los logros generales de la investigacin educativa norteamericana en la introduccin de instrumentos de medida y evaluacin, desde los tests de rendimiento a los ms recientes de carcter ecolgico. Desde la incorporacin del mtodo experimental a los estudios pedaggicos (Campbell y Stanley, 1982), la introduccin de nuevos diseos mejor adaptados a las peculiares condiciones de los contextos educativos, cuasiexperimentales de Cook y Campbell (1979) y de caso nico de Kratochwill (1978).

Y tambin, desde una perspectiva funcional, la mejora del tratamiento de datos mediante la incorporacin de mtodos multivariados apoyados por los soportes informticos; o la potenciacin de la difusin de la informacin a travs de diversos soportes como la realizada por la A.E.R.A.3, que sintetiza, recopila y publica las principales aportaciones empricas en el mbito educativo. Todo ello en un fuerte mbito de apoyo econmico y poltico.

3

A.E.R.A.: American Educational Research Association.

6


En Europa, sin embargo, la investigacin educativa se ha realizado en general de una forma mucho ms aislada, con escaso reconocimiento e insuficiente colaboracin de las instituciones oficiales, de una manera dispar.

La tradicin investigadora sobre educacin se remonta, en Gran Bretaa, a la creacin del Instituto de Pedagoga de la Universidad de Londres en 1931. Destacando entre sus contribuciones ms relevantes, por medio de la creacin de centros de prestigio y la relevancia de ciertas figuras, o la publicacin de revistas de prestigio mundial como British Journal of Educational Tecnology, Research into Higher Education, Educational Research o British Journal of Educational Psychology, la construccin de tests, la exploracin de la inteligencia y delimitacin de diferencias individuales, el diagnstico de aptitudes escolares o la prediccin del rendimiento, tomando como factor las implicaciones sociales.

En Alemania, la investigacin educativa tiene sus orgenes

en los

institutos psicolgicos que han tratado aspectos diferenciales y psicolgicos del desarrollo, siendo de gran importancia las aportaciones metodolgicas cualitativas y la filosofa humanista, bajo el liderazgo de la escuela de Franckfurt y autores como Habermas y Dilthey.

Cabe citar, en el mbito francfono, el prolfico pasado en la primera veintena del siglo veinte, de las instituciones educativas belgas, como la Universidad de Bruselas. Y de las francesas a partir de los aos cuarenta.

Desde la revolucin bolchevique de 1923, en Rusia, se hace patente la preocupacin por la pedagoga, que lleva a fundar en 1943 la Academia de las Ciencias Pedaggicas. Enmarcndose todos sus estudios en planes quinquenales con planes de evaluacin, centrados en el estudio de los contenidos curriculares, de mtodos de enseanza y formacin del profesorado.

En el caso de Espaa, desde el primer tercio del siglo veinte se aprecia una sensibilizacin hacia la investigacin educativa, plasmada en los aos treinta

7


con la creacin de las secciones de pedagoga en las Universidades, o con la edicin de la Revista Espaola de Pedagoga una dcada ms tarde.

Si embargo no es hasta los movimientos polticos, econmicos y sociales de los aos sesenta, que culminan con el establecimiento de una poltica educativa regida por la Ley General de Educacin de 1970, cuando se comienza a hacer hincapi en ella coordinndola, asignndole fondos y creando instituciones como los ICEs4 encargados de llevarla a cabo.

La investigacin en estos centros se caracteriza por su conexin con la formacin del profesorado y la bsqueda de nuevas soluciones a los problemas de la sociedad y de la educacin, el predominio del enfoque descriptivo, apoyado especialmente en la encuesta, observacin y elaboracin de pruebas y materiales, con una introduccin creciente de mtodos explicativos, predictivos y experimentales. Aunque de importancia, Tejedor, Castro y Mnguez (1988) caracteriza estas aportaciones de irregulares y declinantes.

Con posterioridad, el perfeccionamiento del profesorado, de los niveles bsicos y secundarios, pasa a los CEPs5. Asignndole tambin a stos funciones de investigacin aplicada, que Escolano (1982) describe con una clara orientacin prctica y corte didctico, con la adopcin de una metodologa eminentemente empirista, realizada por equipos de investigacin y con una proyeccin de planes en el mbito nacional.

Este tipo de actuaciones para el desarrollo de la investigacin pedaggica, en los niveles primarios y secundarios del sistema educativo, segn Tejedor, Castro y Mnguez (1988) apenas ha tenido incidencia efectiva en la realidad educativa, ni influencia en las estructuras administrativas, ni generado innovaciones en las instituciones.

4 5

I.C.E.: Instituto de Ciencias de la Educacin, asociados a las Universidades. C.E.P.: Centros de Profesores.

8


La labor investigativa en educacin ha quedado sobre todo relegada al mbito universitario, por medio de trabajos que Cols y Buenda (1998)

describen como trabajos personales, no de equipo; con temticas que pudieran tener gran importancia cientfica y el uso de avanzadas y sofisticadas metodologas, pero con escaso inters prctico; y con una escasa continuidad, que dificulta la generalizacin y profundizacin de lneas de investigacin.

Todos estos graves problemas de la investigacin educativa, han tratado de solucionarse en las ltimas dcadas del siglo veinte, por medio de su reconsideracin conceptual y metodolgica, y el desarrollo de nuevos planteamientos sobre la autntica finalidad de la investigacin y la relacin que sta debe guardar con la prctica educativa.

La dinamizacin de todas estas propuestas debe comenzar por la formacin y desarrollo profesional, en el que las tcnicas y mtodos de investigacin ocupan un papel relevante. Formacin que debe comenzar por los estudios universitarios sobre educacin, alcanzando profesional. tambin a la prctica

De forma concreta deben plantearse concepciones y aproximaciones metodolgicas ms adecuadas a la realidad educativa actual, que permitan un mayor impacto de los hallazgos.

En este sentido, Cols y Buenda (1998), describen la evolucin metodolgica en los ltimos aos hacia la ampliacin de las formas de proceder, una investigacin orientada a la toma de decisiones que va ganando terreno a la investigacin orientada a la obtencin de decisiones. Y la apertura de nuevos campos de investigacin tales como la investigacin evaluativa, y la potenciacin de la investigacin-accin como forma de vincular la innovacin y la prctica escolar.

9


Estas nuevas prcticas profesionales, generadas desde los intereses y necesidades de los propios profesionales, conciben la investigacin como una actividad prxima a la prctica educativa e imprescindible en el que hacer profesional, desde nuevos planteamientos metodolgicos, como es el caso de las perspectivas cualitativas o de la investigacin-accin.

Perspectiva desde la que a los profesionales de la educacin, como queda patente en los nuevos diseos curriculares de las enseanzas, se les asigna un nuevo rol en la participacin de construccin del conocimiento cientfico. Conocimiento para solucionar problemas y promover el desarrollo de la calidad educativa.

Es desde esta perspectiva, desde dnde puede entenderse la autntica finalidad de la investigacin en el campo educativo, en los trminos que especfica Hernndez Pina (1998a), como el estudio de los mtodos, los procedimientos y las tcnicas utilizadas par obtener un conocimiento, una explicacin y una comprensin cientfica de los fenmenos educativos, as como para solucionar los problemas educativos y sociales. Orientndose ms hacia planteamientos prcticos, que a la generacin y resolucin de problemas tericos.

Tambin en la organizacin y financiacin de la investigacin se observa tambin una mayor diversificacin de centros y programas y la ampliacin de los canales de financiacin y difusin, con el incremento de los seminarios y congresos y la generacin de fuentes de publicacin de gran importancia, como es el caso de la Revista de Investigacin Educativa.

Sin embargo, en general, la investigacin educativa sigue adoleciendo de las limitaciones de las disciplinas incipientes o en proceso de reestructuracin. Slo una enorme seriedad en las fundamentaciones tericas, mayor rigor en los procesos metodolgicos, aumento de los canales y estilos en la comunicacin harn generar la suficiente consistencia cientfica como para ofrecer mayor

10


credibilidad y mejorar las posibilidades de difusin (Slavin, 1997; Klein, 1997 y Pogrow, 1998).

La caracterizacin de la investigacin evaluativa, entendiendo sta como aquella que posee una finalidad valorativa, en cualquiera de los objetos de estudio a los que pueda referirse, sigue como investigacin educativa un proceso similar de implantacin y desarrollo.

Arnal et al. (1992), muestran estas coincidencias entre la investigacin educativa general, la investigacin evaluativa y de forma especfica la referida al campo de la evaluacin de programas, en la que se puede apreciar tambin un periodo de profundos cambios.

La investigacin evaluativa bebe entenderse como un proceso riguroso, controlado y sistemtico de recogida y anlisis de informacin valida y fiable para tomar decisiones acerca del programa educativo; y as aumentar la racionalidad de las decisiones acerca de la puesta en marcha, sobre su desarrollo y evaluacin evitando la excesiva dependencia de las decisiones polticas (Tejedor, GarcaVarcrcel y Rodrguez, 1994).

En su aspecto general es similar a cualquier proceso investigativo, distinguindose ms por los objetivos que por los mtodos empleados; por lo que podramos entenderla como una mera extensin, con ciertas caracterizaciones propias, hacia un campo prctico concreto. Sin embargo, siendo algunas sus diferencias, como seala De la Orden en 1985, conviene resaltar ciertas caractersticas propias de la investigacin evaluativa:

En todo el proceso de investigacin evaluativo, desde la seleccin

del problema hasta la aplicacin de una metodologa concreta, viene acompaado de juicios de valor acerca del programa.

11


La complejidad de su objeto de conocimiento y los contextos en

que se desempean hacen enormemente complejo tanto la formulacin de hiptesis precisas, como un completo control de las variables intervinientes, limitndose el uso de los diseos con carcter ms experimental.

La recogida de datos queda condicionada a la viabilidad del

proceso y posibilidades de los sujetos intervinientes.

La replicacin, dadas las peculiares e irrepetibles caractersticas de

la ejecucin, es prcticamente imposible.

La toma de decisiones sobre la paralizacin, sustitucin o

repeticin del programa no queda en manos del evaluador; adaptndose al igual que el informe a las exigencias de quien lo financia.

Tambin, Tejedor, Garca-Varcrcel y Rodrguez (1994), caracterizan la investigacin evaluativa, en una comparacin con la investigacin educativa general, en algunos aspectos fundamentales:

Mientras el propsito de la investigacin es el incremento del

conocimiento para sacar conclusiones generalizables a otros mbitos, el proceso de evaluacin de programas es de intervencin en la toma de decisiones de problemas prcticos limitados a un grupo de referencia.

En la investigacin el inters personal o cientfico delimita el

problema sobre el que se lanzan unas hiptesis explcitas. Por medio de un proceso replicable, basado en un diseo preestablecido y una metodologa usualmente cuantitativa, el investigador controla y manipula las variables para obtener datos de una muestra aleatorizada, e intentar alcanzar de manera autnoma un conocimiento objetivo.

12


Sin embargo, en la investigacin evaluativa, son numerosos los aspectos que pueden venir asignados por condicionantes externos, como son el tema y/o el grupo de inters, impidiendo un muestreo aleatorizado. Es un proceso a travs de diseos

difcilmente replicable el que sin hiptesis explcitas,

flexibles en los que difcilmente se van a poder controlar las variables, y por medio de metodologas diversas, el investigador intenta asignar criterios de valor a un determinado programa.

En otros aspectos, mientras la investigacin encuentra su validez

internamente, externamente y mediante constructos tericos, se interpretan los datos de acuerdo a reglas definidas, adaptando los informes a la comunidad cientfica; la evaluacin de programas, basa su credibilidad en la propia utilidad que permita valorar el programa, adaptando sus interpretaciones a los gestores y usuarios.

Precisamente en periodos de transicin como stos, en los que han variado las cosas en evaluacin educativa, su uso se ha profesionalizado e institucionalizado (Madaus, 1983), han aumentado sus objetos, mtodos y

audiencias (Stufflebean, 1987), y se proponen la elaboracin de estudios de evaluacin o metaevaluacin (Scriven, 1974; Stufflebean, 1974,1978; Cook y Gruder, 1978).

1.3. LA EVALUACIN EDUCATIVA Y LA EVALUACIN DE PROGRAMAS COMO CAMPO DISCIPLINAR.El origen de la palabra evaluacin se encuentra en valore, del latn tasar, valorar o atribuir valor a una cosa.

En la lengua espaola muestra, por tanto, una clara descendencia etimolgica al considerar sinnimos los trminos valorar y evaluacin. Aunque pese a tal sinonimia, existen matices y diferencias en su aplicacin, puesto que incluso atendiendo a cuestiones de valoracin social, se estima ms el trmino 13


valorar. En otras lenguas, como la inglesa, se realizan distinciones entre trminos, como evaluation o assessment, si se evalan objetos o personas.

Como en su origen, no existe una definicin nica de evaluacin de programas, pues la aceptacin de una, presupone la aceptacin de algunas

consideraciones bsicas que determinan a sta. As puede ser entendida, como el proceso de determinar en qu medida los objetivos de un programa se han cumplido (Tyler, 1950), suponer la estimacin del mrito de un objeto (Scriven, 1967) o poner a examen los resultados o efectos de un programa (Levin, 1975).

Funcionalmente, la evaluacin de programas comienza a ser una preocupacin dentro del mbito educativo en los aos setenta, como medio par valorar la eficacia de los programas de accin social que se estaban llevando a cabo y comprobar la consecucin de sus objetivos previstos.

Este accin de estimacin o juicio de valor de un determinado programa exige un proceso contextualizado de anlisis normativo cientfico, en el que se recoja, analice e interprete informaciones validas y fiables que conduzca a la evaluacin de dichos procesos y a la toma de decisiones (Mateo, 1991). Es decir, una evaluacin debera poseer los rasgos caractersticos de una investigacin cientfica.

As, la evaluacin de programas hay que entenderla como un proceso sistemtico de obtencin y anlisis de informaciones significativas en las que basar juicios de valor sobre estos programas. De forma ms especfica (Fernndez Ballesteros, 1996) como un conjunto de conocimientos tericos y metodolgicos, con mbito de aplicacin en las Ciencias Sociales, para dar respuesta a la necesidad de enjuiciamiento de ciertas decisiones polticas cuyo fin es el beneficio de la intervencin social. Pero dicho mecanismo debe suponer una secuencia dinmica de diseo, aplicacin, evaluacin, re-diseo (Alvarez Rojo y Hernndez Fernndez, 1997).

14


Este proceso puede llegar a ser enormemente complejo, como seala Cols (1993) ya que en la medida que un programa de actuacin pblica o carcter social sea ms ambicioso, ms complejas son las realidades a analizar que adems se desarrollan dinmicamente en sistemas interdependientes.

La gran diversidad de propuestas y planteamientos hace de ste un campo difcil de concretar y conceptualizar, resaltando cada autor los aspectos que le resultan ms relevantes. Aunque buscando patrones de similitud podemos encontrar dos tipos bsicos de apreciaciones: los que ponen hincapi en la dimensin tcnica y los que ponen el nfasis en los aspectos ideolgicos, aunque ni siquiera estas caracterizaciones extremas pueden considerarse tan distintas puesto que realmente no son opuestas ni contradictorias, resultando en el fondo complementarias y de importancia ms sustancial, dependiendo del momento del proceso evaluativo: seleccin del contenido del programa, toma de decisiones, implicacin de los participantes, recogida y anlisis de la informacin, etc.

En esta diversidad de propuestas sobre evaluacin de programas existen algunos aspectos claves que se han pretendido enmarcar en unos parmetros o estndares claros que la delimitasen (Sanders, 1985; Stufflebean, 1987; Joint Committe, 1998). Aunque este esfuerzo de definicin ha recibido numerosas crticas (Cronbach et. al., 1980; Stake, 1981; Talmage, 1982 y Guba, 1988), por considerarlo como una restriccin conceptual del campo disciplinar.

Aunque se parta de una gran diversidad epistemolgica y/o metodolgica, de forma comn, la evaluacin se entiende un proceso dinmico, en el que aplicando procedimientos cientficos, se recogen informaciones vlidas y fiables, se realizan juicios de valor para tomar decisiones contextualizadas sobre un determinado programa.

Su finalidad puede entenderse desde la medicin de la implementacin y resultados de un programa (Rutman, 1980) a la toma de decisiones para una intervencin (Cronbach, 1982), que puede servir a una intervencin poltica

15


(Talmage, 1982). As podremos definir, la evaluacin de programas como un conjunto de conocimientos tericos y metodolgicos con mbito de aplicacin en las ciencias sociales, pretende dar respuesta a la necesidad de enjuiciamiento de ciertas decisiones polticas cuyo fin es el beneficio de la intervencin social (Fernndez-Ballesteros, 1996). Pero no slo describe los resultados de la evaluacin, en otro sentido tambin pretende explicar los hallazgos encontrados (relacin entre variables, incidencia de unas en otras,...) construyendo su propio campo de conocimiento (Tejedor, Garca-Varcrcel y Rodrguez, 1994).

Para Alvira (1991), algunas de las circunstancias que han contribuido a conformar este campo de actuacin seran:

Mayor interrelacin entre las actividades de evaluacin y

programacin. Si en una perspectiva clsica, las actividades evaluativas se posponan a la planificacin y desarrollo del programa, en la actualidad son procesos paralelos.

La evaluacin de programas desde una perspectiva metodolgica es

investigacin evaluativa. Es investigacin, con todos los condicionamientos epistemolgicos, metodolgicos y tcnicos; centrada en el carcter evaluativo.

En la evaluacin de programas se produce una mayor implicacin

de las partes interesadas, tanto de quienes patrocinan el trabajo, como de los potenciales beneficiarios.

En la evaluacin de programas pueden integrarse estrategias de

investigacin muy diversas y complementarias, siendo la naturaleza del programa y la habilidad del evaluador, la que determine una o varias opciones.

En los ltimos aos la evaluacin de programas, aunque de forma rpida y desordenada, se ha desarrollado como campo disciplinar con gran potencial de crecimiento en el futuro (Municio, 1992). Es un campo disciplinar porque en l

16


precipitan mltiples disciplinas (Psicologa, pedagoga, sociologa,...). Y ha ido perfilndose como un campo concreto, delimitado por una terminologa propia, un conjunto de herramientas conceptuales y analticas especficas, y unos procesos y fases tambin especficos.

En su desarrollo se ha tendido a consolidar una teora de sntesis (Shadish, Cook y Levinton, 1991), la realizacin de evaluaciones sofisticadas y la publicacin de gran cantidad de libros, artculos e informes de evaluacin.

Algunos autores como Cols (1993), Gairn (1991) o Prez Juste (2000) sealan aspectos bsicos de caracterizacin general la investigacin y evaluacin de programas y que facilitan su delimitacin como campo disciplinar especfico:

La evaluacin de programas no debe entenderse como un proceso

uniforme con un modelo nico de evaluacin o con una nica metodologa.

La evaluacin de programas se ajustar inicialmente a la idea que

se tenga de la evaluacin. La concepcin ms amplia es aquella que entiende que evaluacin es el conocimiento emprico del mrito o valor de las actividades y objetivos de un programa.

Ir referida a un programa o conjunto sistemtico de actuaciones

que se ponen en marcha para alcanzar unos objetivos.

Junto a la funcin educativa, el programa debe estar cumpliendo

otras funciones de carcter ideolgico o poltico.

Planificacin y evaluacin deben pensarse simultneamente.

Considerando incluso la evaluacin de necesidades como un tarea previa a la planificacin de un programa.

17


Los modelos de evaluacin deben ser al mismo tiempo modelo de

anlisis y de toma de decisiones. Detallando la planificacinevaluacin de un programa para facilitar las tareas de un control posterior.

El evaluador debe estar familiarizado con el objeto de la evaluacin

procurando, mediante el contacto y la negociacin previa, la participacin de los interesados, ya que aportan validez al proceso y garanta de utilidad y aplicabilidad a los resultados. Aunque en algunos diseos no se incluye de forma explcita o se duda de su utilidad, el problema actual no se plantea en trminos de admitir o rechazar la participacin de los interesados (gestores y destinatarios) en el proceso evaluativo, sino en delimitar la forma y el grado en que debe realizarse.

Los criterios o indicadores son bsicos en la evaluacin as como el

establecimiento de estndares o grados aceptables de xito.

La evaluacin se entiende como proceso, confirindole un carcter

dinmico. El concepto concreto de evaluacin que se adopte marcar la eleccin de posibles modelos tericos y enfoques metodolgicos a seguir, as como otros aspectos a considerar (tema, actividades, rol del evaluador, audiencia o informes).

Deben

aplicarse

procedimientos

cientficos,

que

incluyan

estrategias de diseo, recogida y anlisis de informacin rigurosos y sistematizados, lo que no excluye en modo alguno la diversidad de enfoques metodolgicos (tcnicas de recogida y anlisis de datos o estrategias de toma de decisiones). Tampoco el carcter cientfico del proceso evaluador debe hacernos concebir dicho proceso como una actividad exclusivamente terica, mera aplicacin de los procedimientos cientficos.

Actualmente el nfasis de la tarea evaluativa se pone en la emisin

del juicio de valor, a partir de una adecuada recogida y anlisis de la informacin pertinente.

18


Deben superarse las opciones excluyentes de metodologas

especficas, la evaluacin de programas permite utilizar de forma conjunta y coordinada metodologas distintas.

No todos los diseos son vlidos, debiendo responder a criterios de

validez y utilidad. Adems de a diversas tipologas dependiendo del momento o fase del programa que quiera analizarse: de necesidades, de proceso, de producto...

Debe tener como proyeccin la toma de decisiones, lo que implica

otorgarle una utilidad a la evaluacin.

Se remarca el carcter contextualizado, en el sentido que ha de

estar condicionada por las circunstancias y ha de ajustarse a las condiciones reales en las que se aplica el programa objeto de la evaluacin.

Hay que prestar especial atencin a los efectos no previstos, ya que

pueden deberse tanto a la potencialidad del programa como a su incorrecta aplicacin. El xito del programa no se mide nicamente por la consecucin de los objetivos ya que hay programas que no los formulan o que se plantean desde otras perspectivas menos funcionales.

Todos estos aspectos dejan patente la delimitacin de la investigacin sobre evaluacin de programas como un campo de la investigacin educativa con caractersticas especficas diferenciales. No sin dificultades, como sealan Cols y Rebollo (1993), por las escasas realizaciones sistemticas y el predominio de determinados enfoques. Siendo una consecuencia de este panorama la dificultad de su conceptualizacin, encontrndose mltiples definiciones en la que cada autor destaca lo que ms le interesa.

19


1.4. RELACIN ENTRE LA EVALUACIN DE PROGRAMAS Y LAS DISCIPLINAS PEDAGGICAS.La Evaluacin de Programas podra ser uno de los campos disciplinares del mbito educativo que reciben un mayor nmero de influencias de diversas disciplinas pedaggicas. Esta multiplicidad produce variadas interacciones entre ellas.

As en un sentido, stas ofrecen su corpus axiolgico como principios de ordenacin de las realizaciones terico prcticas delimitando consistentes diseos de investigacin y facilitan procesos metodolgicos, aportando instrumentos de recogida y anlisis de informaciones vlidos y fiables. En definitiva, vierten toda una serie de principios que orientan la investigacin en E.P.

Pero a su vez todas stas disciplinas requieren de la E.P. que sta centre su objeto de conocimiento en contenidos especficos del inters particular, mediante aproximaciones y realizaciones investigativas acordes con los principios terico prcticos especficos de cada una de ellas.

Por ello es comn que en la investigacin sobre E.P. se recurran a teoras propias de la Orientacin o de la Didctica, se empleen procesos examinados en la Metodologa de la Evaluacin o se apliquen instrumentos caractersticos de multitud de disciplinas pedaggicas. Centrando a su vez su objeto de conocimiento en aspectos del inters de cada una de estas disciplinas.

Esta actuacin de diversas reas en un mismo mbito puede entenderse como un rasgo de riqueza disciplinar o plantear contradicciones si en lugar del empleo de aproximaciones complementaristas se acude a absurdas posturas solapadas y/o excluyentes.

El origen de la evaluacin de programas se encuentra muy vinculado a la Orientacin Educativa, puesto que los modelos de intervencin por programas 20


comienzan a utilizarse en EEUU en los aos sesenta, introducindose su implementacin en Espaa en los aos ochenta con la implementacin de los servicios de orientacin educativa (lvarez Rojo y Hernndez Fernndez, 1997). Es por ello que es sta un rea de conocimiento habitual en las temticas evaluativas.

La E.P. como campo disciplinar eminentemente emprico y aplicado, en el que vierten sus conocimientos numerosas disciplinas, ha sido un caldo de cultivo excelente en el que plantear diseos y mtodos de la ms diversa ndole desde perspectivas complementarias y eclcticas, por lo que tambin ha sido foco de atencin para la Metodologa de la Investigacin. Prueba palpable de ello es el papel crucial que juegan los Departamentos de Mtodos de Investigacin como filiacin institucional de los autores ms importantes en este campo.

Las intervenciones por programas limitados y las consiguientes evaluaciones de stos, ofrecen tambin una oportunidad excelente a la Didctica de considerar y experimentar diversos aspectos. Es por ello que son comunes las evaluaciones de programas que centran gran parte de su inters en cuestiones especficas, como la Didctica de Idiomas, la Didctica para la atencin a N.E.E. o las Didcticas para la intervencin en contextos sociales desfavorecidos.

Pero quizs una de las relaciones ms paradjicas de la E.P. es la que establece con la Teora de la Pedagoga. Puesto que pese a ser la E.P. un campo de experimentacin prctica no se ha desarrollado especialmente como centro de ensayo de las teoras pedaggicas, sino que ms bien se ha limitado a emplear un puado relativamente pequeo de ellas como justificacin epistemolgica de sus realizaciones. Es precisamente sta una de las debilidades de este campo, denotando las en ocasiones difciles relaciones entre la terica y la prctica educativa real y aplicada, suponiendo una prdida de oportunidades por parte de los investigadores educativos.

21


Para completar esta demarcacin, desde una perspectiva diacrnica, se considera su gnesis y desarrollo histrico como disciplina en el siguiente epgrafe.

1.5.

LA

EVALUACIN

DE

PROGRAMAS

EN

EL

MBITO

INTERNACIONAL. DESARROLLO HISTRICO.

El empleo de programas como estrategia de intervencin educativa tiene una historia relativamente reciente, en la que es posible constatar la evolucin de la propia concepcin de los que es un programa y cmo debe ser su evaluacin, como los avatares de su coexistencia con el resto de la investigacin educativa.

Como en muchos otros campos de la investigacin educativa, la evaluacin de programas encuentra a sus pioneros en EEUU, donde desde finales del siglo XIX el sentido de la evaluacin era entendido como sinnimo de aplicacin de test para marcar diferencias individuales dentro de un grupo normativo, con poca relacin con la evaluacin de programas (Guba y Lincoln, 1985).

En

los aos

30 del siglo XX, se comienzan a promover modelos

centrados en la experimentacin para comprobar la relacin entre objetivos/ resultados. Focalizando la evaluacin su atencin en la deteccin de diferencias individuales, mediante puntuaciones especficas y comprobar el nivel de cumplimiento de parmetros previamente establecidos. Consolidndose esta etapa entorno a los aos cincuenta, en los trabajos de Tyler, que hacen referencia a los objetivos del programa y a la descripcin de la medida.

Para algunos autores es aqu dnde comienza y se consolida la Evaluacin de Programas, tal y como hoy se entiende, en el entorno de las actividades de evaluacin de objetivos desarrolladas por Tyler. Modelo que ha tenido una gran influencia posterior debido a su lgica bsica, y a que era cientficamente aceptable y fcil de aplicar (Carballo, 1990). 22


En los planteamientos de este autor, el principal papel de la evaluacin consista en verificar la consecucin de los objetivos propuestos de forma previa a la realizacin de la actividad. Y cuanto ms claramente estaban especificados estos objetivos, ms sencilla resultara su evaluacin, mediante la medidas pre y post programa.

La sustitucin de estos modelos basados en las concepciones taylerianas se produce precisamente por su reduccionismo, ya que la consideracin exclusiva de la consecucin de objetivos no parece un factor para medir el xito global de un programa.

En los aos sesenta con la promulgacin de la Ley E.S.E.A. en la que se concede gran importancia a los mecanismos evaluativos dentro del propio proceso educativo, se comienza a hablar de programas, sobre todo en el mbito de la orientacin psicoeducativa, en su doble faceta profesional de guidance y counseling. Siendo en esta segunda mitad del s. XX, cuando se produce un gran auge de la disciplina, evolucionando de la etapa de inocencia al realismo.

Las nuevas pretensiones no alcanzan tan slo a aspectos como la medida, sino que adems se pretende describir e interpretar; aunque todava bajo el predominio de la evaluacin como investigacin positivista, mediante el empleo de procedimientos estandarizados para la recogida y el anlisis de datos orientados a la toma de decisiones.

Durante los aos 70, la evaluacin centra su objeto y atencin en los programas formativos, existiendo una gran demanda y voluntad de rendir cuentas sobre el mrito y efectividad de los programas educativos accountability; y realizndose un gran esfuerzo por garantizar la exactitud de las medidas que se toman, mediante el establecimiento de unas claras pautas metodolgicas, que como las ofrecidas por Campbell y Stanley (1982), siguen orientando en cierto sentido, la investigacin evaluativa actual.

23


Incluso durante este periodo, se produce una profesionalizacin de la evaluacin, y se elaboran normas para la evaluacin de programas y materiales (Joint Committee on Standars for Educational Evaluation, 1981/1998).

Este desarrollo culmina en EEUU, Canad y algunos pases europeos durante los aos ochenta, cuando comienza a producirse un asentamiento cientfico y la aceptacin social de la evaluacin de programas educativos. Y aunque se cuestiona la viabilidad de los estudios experimentales en el mbito de las Ciencias Sociales, se abren nuevas perspectivas que suponen la incorporacin de nuevos modelos evaluativos y de nuevas estrategias metodolgicas, tanto cuantitativas (diseos correlacionales, series, tcnicas de clasificacin,...) como cualitativas.

Algunas de estas mltiples concepciones, propuestas desde una pluralidad de perspectivas, han sido en ocasiones consideradas exageradamente como modelos (Alvira, 1991), sin tener el rigor y validez propio de stos. Siendo ste uno de los principales handicaps en el desarrollo de la disciplina como campo cientfico.

Hoy en da, nadie duda de lo complejo del objeto de estudio de las Ciencias Sociales, de las diversidades metodolgicas de su investigacin y los problemas que plantea su evaluacin. Y tampoco, que esta situacin encuentra algunas dificultades al no existir una concepcin paradigmtica lo suficientemente fuerte y unitaria que oriente la teora y sustente la prctica investigativa y evaluativa de forma diferencial a otras. Las posibilidades de la evaluacin de la investigacin como proceso de mejora, se ven empaadas por una escasa mentalidad y concienciacin evaluativas.

A escala internacional, la situacin actual se define por la utilizacin de mltiples modelos que se aplican a distintos contenidos (necesidades, diagnstico, productos o impacto), la multidisciplinaridad (anlisis etnogrfico y estadstico), y

24


la multidimensionalidad en objetivos, en perspectivas y niveles de valoracin (validez, credibilidad, costes, rentabilidad, aplicabilidad). En sntesis, mltiples metodologas, mltiples impactos, mltiples formatos de informa,... Es una multiplicidad de lo mltiple (Cols y Rebollo, 1993, citando a Corner).

Una consecuencia de este panorama es sin duda la dificultad de conceptualizar la evaluacin de programa como campo, encontrndose mltiples definiciones en la que cada autor destaca lo que ms le interesa. Sin embargo, prueba de la importancia que se le comienza a ofrecer a esta tarea evaluativa es que en algunos pases la evaluacin de programas est institucionalizada, no slo como ajuste de las intervenciones pblicas a unos estndares o criterios y a un gasto pblico, sino como proceso de mejora y perfeccionamiento.

Algunos de estos problemas de la evaluacin educativa en general y de la evaluacin de programas en concreto, lo expresan Worthen et. al. (1997), en los siguientes trminos:

Los modelos de evaluacin fracasan como modelos cientficos. Para Cook y

Reichardt (1986) la relacin entre paradigmas y mtodos es instrumental, siendo la metodologa una simple coleccin de tcnicas y procedimientos, no siendo axiomticos ni deductivos y con limitaciones en su generalizacin.

Es necesario imprimir una dinmica evaluativa como proceso constructivo

formativo/sumativo, utilizando metodologas complementarias, diversidad de instrumentos y tcnicas, que permitan una evaluacin vlida y eficaz con alto grado de responsabilidad social. Su valor reside en ayudarnos a pensar, ser fuente de nuevas ideas o tcnicas y servir de esquema mental de cuestiones a considerar o que no debemos olvidar.

Se hacen necesarias fuentes de triangulacin en diversos aspectos del proceso:

datos, investigador, teora y metodologa (Denzin, 1989). Existiendo dos tendencias actuales, una hacia la complementariedad metodolgica, pero

25


primando las metodologas cualitativas, y otra el "amateurismo" al considerar que cualquier docente puede investigar, an sin preparacin especfica.

Y desde la perspectiva de la prctica evaluativa, los problemas que habr que cuidar en la evaluacin de programas se refieren sobre todo a la tendencia del programa o centro a cambiar mientras se est siendo evaluado, las relaciones entre evaluadores/evaluados y el hecho de que el sistema socio poltico en el que se inserta el programa determine ste incluso en cuestiones que no debera.

Por tanto, en general, la investigacin evaluativa sigue adoleciendo de las limitaciones de las disciplinas incipientes o en ciernes de reestructuracin. Slo una enorme seriedad en las fundamentaciones tericas, mayor rigor en los procesos metodolgicos, aumento de los canales y estilos en la comunicacin harn generar la suficiente consistencia cientfica como para ofrecer mayor credibilidad y mejorar las posibilidades de difusin (Slavin, 1997; Klein, 1997 y Pogrow, 1998).

1.6. LA INVESTIGACIN SOBRE EVALUACIN DE PROGRAMAS EN ESPAA.

1.6.1. El contexto diacrnico. Una perspectiva histrica.

La evolucin de la investigacin educativa en nuestro pas guarda semejanzas con los desarrollos de sta en el mbito internacional, pero con ciertas peculiaridades especficas.

Prueba de la importancia ofrecida en sta a la evaluacin y por extensin a la evaluacin de programas, puede encontrarse en la relevancia del marco legal desarrollado y dedicado en ciertos aspectos a su orientacin.

26


A partir de 1970 con la Ley General de Educacin, la evaluacin recibe una atencin creciente, no slo como medio a travs del cual mejorar el rendimiento de los estudiantes sino tambin todo el proceso educativo, y reflejar su calidad.

Aunque en ella se habla explcitamente de evaluacin no slo para valorar el rendimiento de los alumnos sino tambin como proceso educativo de mejorar, y concretamente en la O.M. 16/11/706 algunos procesos de esta evaluacin se refieren a evaluacin de programas, son muy escasos los estudios durante este periodo.

Con esta Orden Ministerial de 16/11/1970 se regulan los principios que deben regir los procesos de evaluacin e indirectamente se refiere a la Evaluacin de Programas. En su apartado de principios y normas generales ya se define la evaluacin como una actividad sistemtica, integrada en un proceso educativo, cuya finalidad es el mejoramiento del mismo mediante un conocimiento lo ms exacto posible del alumno en todos sus aspectos de personalidad y una informacin ajustada sobre el proceso educativo y los factores personales y ambientales que en ste inciden.

Algunas de las finalidades de la evaluacin all previstas son: Valorar los mtodos y procedimientos empleados, determinar el contenido de los programas seleccionndolos por su valor formativo, determinar en que medida se alcanzan los objetivos previstos en la programacin educativa y contrastar su validez.

Mientras en EEUU parece perderse cierto inters por la evaluacin de programas durante los aos 80, sobre todo por una restriccin de los fondos dedicada a esta tarea investigativa, en otros pases comienza a surgir los modelos de intervencin y la preocupacin de evaluacin de programas.

6

O.M.: Orden Ministerial.

27


En Espaa comienza a cobrar auge, a existir preocupacin por el tema y a cobrar significacin esta lnea de investigacin educativa (Garanto, 1989), con un nfasis creciente en que las evaluaciones sean tiles. Producindose un rpido pero descompensado crecimiento.

Los Reales Decretos 69/1981 y 710/1982 ordenan la E.G.B. en tres ciclos a efectos de programacin y evaluacin de los alumnos y se insiste de nuevo en la necesidad de una evaluacin no limitada exclusivamente a la comprobacin de los resultados obtenidos al trmino de unos periodos ms o menos amplios, sino que centrada en el grado de cumplimiento de los objetivos propuestos, durante el desarrollo del proceso educativo, con el fin de hacer posible una reordenacin del mismo.

Durante esta dcada se producen grandes cambios sociales que requieren cambios educativos en el propio sistema, desde los procedimientos metodolgicos hasta nuevas demandas al proceso evaluativo.

En 1987, con el proyecto de Reforma de la enseanza y la implementacin de la LOGSE, los poderes pblicos comienzan a prestar una atencin mayor a la evaluacin del sistema educativo, como uno de los factores favorecedores de la calidad y mejora de la enseanza. La evaluacin sigue

considerndose en los mismos trminos, aunque se introduce la evaluacin de todas las personas involucradas en la accin educativa.

Este marco legal es en esos momentos el mejor marco para fomentar y favorecer la Evaluacin Educativa, al quedar especificado en algunos de sus artculos, como el 55, la importancia y funcionalidad que se le concede:

Los poderes pblicos prestarn una atencin prioritaria al conjunto de factores que favorecen la calidad y mejora de la enseanza, entre ellos la evaluacin del sistema educativo". (Art. 55)

28


De manera mucho ms explcita y ampliando el artculo anterior en cuanto a los mbitos evaluativos:

"La evaluacin del sistema educativo se orientar a la permanente adecuacin del mismo a las demandas sociales y a las necesidades educativas y se aplicar sobre los alumnos, el profesorado, los centros, los procesos educativos y la propia administracin. ( Art. 62)

Incluso en el art. 28 se plantea la creacin de un centro especfico para la evaluacin general del sistema educativo, el I.N.C.E.7.

De esta forma, el mbito de la evaluacin se desarrolla desde los procesos de enseanza / aprendizaje a todo lo que se refiera al sistema educativo en su totalidad y a los agentes que intervienen en l. Se produce un gran auge de la evaluacin, de proyectos experimentales, se convierte en un instrumento imprescindible para implementar la reforma educativa experimental, 1981/1989 empiezan a aparecer trabajos en el campo de la salud y de los servicios sociales.

Pese a este apoyo de la Administracin, patente desde la normativa legal establecida, no fue la comunidad cientfica el principal canal de comunicacin y debate, siendo en los 90 cuando se produce un periodo de expansin del modelo de intervencin por programas en el mbito educativo - orientador y de servicios sociales, aumentando el nmero de reuniones y congresos dedicados a la evaluacin (AEDES8, AIDIPE9...).

7 8

I.N.C.E.: Instituto Nacional de Calidad y Evaluacin. A.D.E.S.: Asociacin Espaola de Desarrollo de la Educacin Especial. 9 A.I.D.I.P.E.: Asociacin Interuniversitaria De Investigacin Pedaggica Experimental.

29


A finales del 95, con la aprobacin de la L.O.P.E.G.10 adems de ampliar los mbitos de la evaluacin se plantea como un proceso con carcter continuo, implantando procesos amplios para la evaluacin de Centros Pblicos (Orden 29 de febrero de 1996). Encontrndose en un momento trascendental de clara preocupacin por la calidad educativa de las instituciones y del sistema educativo, reflejado en el propio marco legal, en el que la evaluacin de programas es una exigencia ineludible para la bsqueda progresiva y permanente de una mejor educacin.

La situacin actual de la evaluacin, que ya denotaron Tejedor, GarcaVarcrcel y Rodrguez (1994) y confirma este mismo autor (Tejedor, 2000), podra calificarse de plural y compleja, en la que las nuevas perspectivas no sustituyen, complementan a las anteriores. Se ha pasado de la postura tradicional de la evaluacin como el empleo de mtodos cientficos para medir los logros educativos e iluminar la toma de decisiones; a la situacin actual, en la que la evaluacin es entendida como el conocimiento del mrito o valor de un programa para tomar decisiones ajustadas a las necesidades de los usuarios y/o responsables.

1.6.2. El contexto sincrnico. La situacin actual.

En Espaa la fase de evaluacin de programas ha recibido paradjicamente mayor atencin que las de diseo e implementacin, por la necesidad de demostrar, por parte de los gestores de los programas, la efectividad de sus propuestas.

Velaz de Medrano et. al. (1996) sealan que hasta esa fecha el 73% de las investigaciones financiadas por el C.I.D.E. se referan a evaluacin de programas y de forma especfica: 17% Reformas y programas experimentales, 60% Programas curriculares de aplicacin restringida y 22.8% Programas de formacin del profesorado.

10

L.O.P.E.G.: Ley de Participacin, Evaluacin y Gobierno de los Centros Educativos.

30


Es por tanto un campo consolidado y con entidad propia, que produce evaluaciones externas, formativas, globales, normativas y criteriales al mismo tiempo, fundamentalmente cuantitativas experimentales, con mtodos mixtos en algunos casos. Bartolom (1990) seala un notable aumento de los estudios evaluativos, sobre todo al amparo de la LOGSE, aunque en los ltimos aos se ha realizado una sola metaevaluacin.

Tambin se ha producido en Espaa importante literatura sobre el tpico (Gelpi, 1987; Repetto, 1987; Alvira, 1991; Cols y Rebollo, 1993; Medina y Angulo, 1994; Rodrguez, 1995; Sanz Oro, 1996; Cruz, 1997; Sobrado y Ocampo, 1998), utilizando unos pocos modelos (CIPP de Stufflebean, evaluacin democrtica, iluminativa...). Sin embargo, se requiere ampliar el mbito de la evaluacin de programas al propio mundo acadmico y a la difusin cientfica y tcnica, para que los informes de evaluacin no queden en las bibliotecas y puedan ser discutidos por los tcnicos y los propios interesados.

Como afirmaba Garanto (1989) estamos asistiendo a un gran desarrollo de la evaluacin de programas educativos, similar al proceso ocurrido en EEUU hace algunos aos, en el que concurren factores similares a los sealados por Talmage (1982): preocupacin por la mejora de la enseanza, necesidad de controlar el gasto pblico y la participacin de los ciudadanos en la gestin y dinmica de las estructuras formativas.

En la actualidad y en nuestro contexto estos factores sobre la necesidad de evaluacin de las intervenciones educativas quedan justificados (Cols, 2000) en aspectos concretos: Por la necesidad de justificar la rentabilidad poltica y econmica de los programas educativos.

31


Por los cambios sociales de valores, en el proceso de construccin europeo y autonmico, que requieren la puesta en marcha / evaluacin de nuevas y mltiples intervenciones. Por los nuevos retos generados por el gran avance tecnolgico en el ltimo cuarto de siglo, entre los que aparecen nuevos tipos de intervenciones, metodologas y materiales educativos.

Es decir, la evaluacin de programas educativos, como principio de calidad, ms que en una necesidad se ha convertido en una exigencia econmica, poltica y social. Por tanto la actividad cientfica en este campo necesita del establecimiento de pautas y criterios de orientacin claros que permiten un firme desarrollo de la disciplina, aspectos que intentan establecerse en el siguiente captulo de este trabajo.

32


CAPTULO II. LA EVALUACIN DE PROGRAMAS COMO ACTIVIDAD CIENTFICA.La evaluacin de programas, como tcnica de investigacin sobre los procesos de intervencin socioeducativos, es una estrategia que contempla en su realizacin un potencial riqusimo para contribuir a la mejora de la calidad educativa pues tiene todos los requerimientos exigibles a la investigacin educativa til. (Tejedor, Garca Varcrcel y Rodrguez, 1994)

2.1. INTRODUCCIN.

La evaluacin de programas o educational evaluation, en trminos anglosajones, desde los aos sesenta que emergi con fuerza, se ha convertido en un ncleo terico-prctico de la investigacin educativa, que al igual que toda ella se rige por unos principios propios del conocimiento cientfico.

Adems de estos requerimientos generales, la investigacin sobre evaluacin de programas se fundamenta en una gran diversidad y complejidad de teoras y modelos, derivados de las ciencias sociales, que exigen unos adecuados conocimientos tcnicos para llevarla a cabo con garantas.

33


El propsito en este captulo es ofrecer el marco oportuno para realizar una delimitacin tcnica de la disciplina de la evaluacin de programas, en aquellos rasgos que permiten caracterizar las investigaciones.

Se parte, en el primer epgrafe, del establecimiento de unos conceptos bsicos y planteamientos generales, haciendo mencin de los elementos diferenciales que distinguen alas investigaciones en este campo evaluativo.

Estas investigaciones, por las propias caractersticas de la disciplina y de su objeto de estudio, se enfrentan a una serie de problemas, que se describen a continuacin.

En el origen de estos procesos de evaluacin se origina una cuestin clave entorno a qu evaluar. Esta cuestin requiere, en el cuarto epgrafe del captulo, el desarrollo de los contenidos objeto de estudio en las evaluaciones de programas (necesidades, contextos, procesos, productos...), que pueden plantearse en distintas fases o momentos del programa y cuya finalidad en ltima instancia es la toma de decisiones acerca del desarrollo de ste.

Procesos que se fundamentan en unas determinadas posiciones epistemolgicas y paradigmticas, que ofrecen modelos prcticos de evaluacin que delimitan y orientan el funcionamiento emprico investigativo. Adems en este captulo se describen las principales consideraciones metodolgicas propias de la investigacin en evaluacin de programas, como son los diseos, las fuentes de datos y las tcnicas ms adecuadas para la recogida de informacin, y los anlisis y presentaciones de datos ms usuales.

La intencin al ofrecer todas estas informaciones es delimitar la investigacin sobre evaluacin de programas como disciplina cientfica, ofreciendo para ello aproximaciones y categorizaciones generales a distintos aspectos de ella, remitindose a la consulta de literatura especializada y de manuales especficos para una mayor profundizacin.

34


Para finalizar esta caracterizacin de la investigacin en este campo disciplinar ofrecida en este captulo, se sealan los principales avances en evaluacin de programas. Haciendo mencin especial a los estudios metaevaluativos y de sntesis.

2.2.

CONCEPTOS

BSICOS,

PLANTEAMIENTOS

GENERALES Y ELEMENTOS DIFERENCIALES EN LA INVESTIGACIN SOBRE EVALUACIN DE PROGRAMAS.La educacin, como actividad humana sistemtica, se orienta al perfeccionamiento y mejora de las personas, por medio de acciones intencionadas de los educadores generalmente concretadas en planes o programas.

Como en cualquier mbito, el ser humano ha propuesto el conocimiento del mbito educativo. Y aunque el saber pedaggico ha partido de planteamientos y conocimientos cercanos a procesos casi artsticos, pronto se observ la necesidad del establecimiento de mtodos rigurosos, que permitieran respuestas vlidas a los mltiples problemas y cuestiones que se plantean en este campo con rigor cientfico.

En la actualidad la educacin puede entenderse como tecnologa, en el sentido ofrecido por Bunge (1981), aplicada a la mejora de la vida de las personas; aunque en un sentido amplio como planteaba lvarez Rojo (1994). Generando conocimientos a los que se le asignan finalidades para su comprensin profunda, explicacin y transformacin de la realidad natural o social.

As, la investigacin evaluativa ha sido uno de los campos ms desarrollados dentro de las Ciencias Sociales. En concreto, la evaluacin de programas reclama procesos de anlisis y reflexin que nos ayuden a precisar su alcance y significado en un contexto general de investigacin cientfica (De Miguel, 1999). 35


La delimitacin de las intervenciones educativas mediante el empleo de programas hay que entenderla desde la lgica que considera a stos planes sistemticos diseados por el educador como medio al servicio del desarrollo de las metas educativas. No debiendo faltar en ellos (Prez Juste, 2000): Unas metas u objetivos, acomodados a las caractersticas de los destinatarios; un establecimiento claro y exhaustivo en cuanto a estrategias, medios y recursos suficientes y adecuados para llevarlo a cabo; y la consideracin de un sistema que permita su valoracin.

Este concepto de actuacin mediante la elaboracin de programas, queda justificada en cualquier accin de tipo educativa para autores como Barr y Cuyjet (1991) o lvarez Rojo, et al. (1994). Y se puede especificar en definiciones como las ofrecidas por diversos autores para este trmino:

Actividad educativa continua diseada para producir cambios esperados en la conducta de los sujetos que se exponen a ella (Astin y Panos, 1971)

Conjunto especificado de acciones humanas y recursos materiales diseados e implementados organizadamente en una

determinada realidad social con el propsito de resolver algn problema. (Fernndez Ballesteros, 1992)

Sistemticos

esfuerzos

realizados

para

lograr

objetivos

planificados con el fin de mejorar la salud, el conocimiento, las actitudes y la prctica. (Fink, 1993)

Es decir los procesos educativos quedaran establecidos en acciones sistemticas y planificadas, especificando acciones y recursos materiales, para cambiar su conducta y/o actitud, mejorar su salud o su conocimiento y en definitiva solucionar sus problemas.

36


Este mismo razonamiento aboca a la evaluacin de tales intervenciones mediante procesos evaluativos, que de forma general se han venido justificando a partir de dos funciones: la rendicin de cuentas (accountability) y la mejora del programa (improvement) y los procesos. Pero adems, resaltando el carcter investigativo de esta evaluacin, se puede generar una comprensin ms profunda de este objeto de conocimiento a la que no se debe renunciar, ya que permite una mayor comprensin y explicacin de los fenmenos sociales (Chelimsky, 1997).

Estos procesos de evaluacin no deben entenderse como una medida puntual, sino como instrumento de valoracin crtica y formativa que puede ayudar a mejorar el proceso de enseanza (Carrera, 1987; Bartolom, 1990).

As, la valoracin de los programas tiene como finalidad especfica la facilitacin de la toma de decisiones orientada a la consecucin de la calidad para la mejora (Wroeijenstijn y Acherman, 1990). Entendindose en este sentido, la evaluacin como un proceso de bsqueda de conocimientos respecto a las estrategias y factores que facilitan o inhiben los procesos de mejora, comprometindose como mecanismo fundamental del cambio social.

Por ello, debe orientar sus intervenciones a promover el desarrollo de las polticas ms adecuadas o conseguir programas ms eficaces, mediante la

participacin activa y democrtica de los protagonistas en los propios procesos evaluativos. Siendo ste un compromiso del evaluador con la educacin cvica, el desarrollo humano y la emancipacin social (Smith, 1998).

Fernndez Ballesteros (1996) realiza una conceptualizacin entorno a otras cuestiones bsicas que rodean la evaluacin de programas entorno a qu es, cmo se realiza, para qu se hace y qu se evala en los procesos.

La primera cuestin sobre a qu se refiere la evaluacin de programas se plantea desde la consideracin que se ha dado a la investigacin evaluativa desde

37


su desarrollo histrico, que parte desde la obra de autores como Tyler (1957), Scriven (1967) o Levin (1975) que asociaban la evaluacin a la estimacin del mrito de un objeto y especficamente en la evaluacin de los programas a la consecucin y cumplimiento de las metas planteadas y al examen de sus resultados. Hasta las ms relacionadas con la toma de decisiones para la mejora de las personas y contexto donde se aplican. Actuaciones que el Joint Committe trata de sistematizar en 1981.

Evaluar un programa consiste, por tanto, en recoger informacin sistemtica sobre las operaciones implicadas en ese conjunto de acciones encaminadas a unos objetivos (Hernndez, 1990). Dicha informacin debe servir para establecer un juicio acerca de la bondad, mrito o valor de dicho programa (Fernndez Ballesteros, 1983), que permita a los encargados tomar decisiones acerca de lo que dio resultado y lo que no sirvi para nada, qu es lo que debera adaptarse en todo sistema o de lo contrario modificarse. Cuestiones a las que slo puede responderse fundamentadamente y presentando pruebas mediante la evaluacin (Weiss, 1975).

En este mismo sentido ha evolucionado la funcionalidad de la evaluacin, desde esta justificacin de las decisiones evaluativas ofrecida por Weiss, a planteamientos para medir la implementacin y los resultados (Rutman, 1980), para la toma de decisiones sobre intervencin (Cronbach, 1982) o para la justificacin da las actuaciones y gastos pblicos (Fernndez Ballesteros, 1984).

Este mismo autor, delimita la funcionalidad de estas evaluaciones en diversos campos adems de la contabilidad pblica o base para decisiones

presupuestarias y el de la justificacin de decisiones, en la realizacin de ajustes del propio programa y la constatacin de teoras que subyacen en los propios modelos evaluativos.

Los modelos de ingeniera en la utilizacin de la evaluacin (Alback, 1988 y Fischer, 1990) utilizan la evaluacin de programas como procesos en los

38


que los usuarios identifican problemas sociales, establecen objetivos y formula preguntas, para juzgar los resultados y emplearlos en la toma de decisiones.

Los modelos de iluminacin o uso conceptual de la evaluacin incorporan los resultados gradualmente al marco del usuario influyendo ms en su pensamiento que en la accin directa (Weiss, 1975).

Incluso podran delimitarse empleos de la evaluacin como mera legitimacin del poder y medio de racionalizacin de la toma de decisiones, que en un sentido poco lcito, permitira su uso tctico en la eliminacin de responsabilidades.

Esta necesidad de la evaluacin de los planes y programas, queda incluso especificada en la normativa legal, ya que en el artculo 2.3 de la LOGSE habla de la evaluacin de nuestro sistema educativo, la valoracin de los procesos educativos y de la propia enseanza y aprendizaje.

Es ste un tipo de investigacin, al que Briones (1991) delimita su objeto, en el anlisis de la estructura, del funcionamiento y de los resultados de un programa con el fin de proporcionar informacin de la cual se deriven criterios tiles para la toma de decisiones en relacin con su administracin y desarrollo. Para Cook y Shadish (1986), la evaluacin de programas es un modelo racional de solucin de problemas de carcter psicolgico, social o educativo, que requiere que:

Los problemas se definan con claridad y a partir de los que.... Se genere una amplia variedad de soluciones potenciales... Algunas de las cuales se implementan y... Finalmente se evalan. El conocimiento de las soluciones positivas se presenta a los responsables polticos quienes...

39


Lo utilizarn para tomar las decisiones polticas que correspondan.

Pero como se puede constatar en la descripcin de estos procesos, suponen situaciones complejas en las que se relacionan elementos de diversas naturalezas, lo que implica una serie de dificultades, descritas por Prez Juste (2000).

La primera de ellas se relaciona precisamente con la complejidad de las acciones evaluativas que requiere la existencia de profesionales expertos en el campo, que no siempre se encuentran en nmero necesario, ni con la formacin adecuada. En muchas ocasiones no son reconocidos en competencia y experiencia por los evaluados, lo que unido al recelo que levanta en personas e instituciones a ser evaluado, hace que estas acciones pierdan una enorme efectividad.

En cierto sentido, las relaciones necesarias entre los distintos implicados en los procesos evaluativos son las que determinan la mayora de sus dificultades. As la necesaria participacin de todos ellos o la complementariedad metodolgica, conducen a un problema sin resolver sobre quienes deben tomar las decisiones definitivas que rigen estos procesos, en el que no siempre es posible llegar a consensos en sesiones evaluativas y que stos sean aceptados por las instituciones.

Estos problemas tambin se refieren a la relacin entre los expertos contratados para la realizacin de evaluaciones y las instituciones que las encargan, pues aunque a stos se le suponga honradez o probidad legal y tica en sus acciones, la desigualdad de condiciones con las grandes instituciones y la falta de fuertes asociaciones profesionales, hacen que las evaluaciones asuman las condiciones de quienes las contratan. Incluso se pueden constatar influencias de carcter eminentemente poltico.

40


Otra dificultad se relaciona con la consecucin de evaluaciones factibles, en el sentido ofrecido a este estndar por el Joint Committe, que relaciona la adquisicin de informaciones relevantes y los recursos empleados para conseguirlas, que no siempre son suficientes y adecuados.

Y por ltimo, el problema tpico de la investigacin social referido a la comparabilidad de los datos, en momentos en los que se opta por la descentralizacin curricular y la autonoma de centros y profesores, debe solucionarse no por la comparacin en estndares nacionales o externos, sino por la comparacin diacrnica con valores propios y especficos, cuya finalidad sea siempre las opciones de mejora y calidad.

Este aspecto, es slo parte de las dificultades derivadas de la diversidad de teoras, modelos y metodologas, que ha embarcado a muchos autores en polmicas sobre su uso (Guba, 1978), solo superable por un multiplismo necesario en acciones investigativas en situaciones complejas como son las que se encuentran en los entornos sociales.

Todas estas peculiaridades, del objeto de estudio y los procesos evaluativos en E.P., hacen que la investigacin evaluativa en este campo posea unas peculiaridades especficas y elementos diferenciales con respecto al resto de la investigacin educativa.

Una de estas caractersticas que distingue la investigacin evaluativa sobre programas es la de su realizacin en un marco de accin. Es decir, adems de la investigacin, su objeto el programa, est ocurriendo simultneamente. Para Weiss (1975) hay que tener claro que la investigacin es secundaria, no supeditarla al desarrollo del propio programa. Es por tanto un campo en el que domina la investigacin aplicada.

Este objeto de conocimiento, aunque se plantee en una nica forma como programa, posee naturalezas diversas, puesto que el contenido de stos puede

41


abarcar conceptos propios de cualquiera de las disciplinas pedaggicas. Esta diversidad plantea situaciones en las que an respetando las condiciones generales evaluativas, se plantee la necesidad de adaptacin a cada disciplina concreta en aspectos como sus conceptos bsicos, temticas, mtodos e incluso vocabulario especfico.

Las investigaciones sobre E.P. quedan delimitadas en modelos tericos, que fundamentados en los paradigmas usuales de la investigacin educativa, establecen unas condiciones o criterios bsicos de accin que orientan los procesos evaluativos de forma global ofreciendo coherencia de las acciones evaluativas.

Desde algunos de estos modelos bsicos, en los que es usual la eponimidad, como son el modelo de Tyler o el de Scriven entre otros, se realizan adaptaciones casi tan diversas y especficas a situaciones concretas como autores transitorios caracterizan las realizaciones en este campo. Aplicaciones empricas que por la dificultad que contemplan y la carencia de experiencia no siempre poseen las garantas suficientes, lo que en definitiva supone un detrimento de la credibilidad del propio campo disciplinar.

Con cierta lgica, los contenidos de las evaluaciones guardan coherencia con el rea o disciplina en la que se desarrolla el programa evaluado y los contenidos desarrollados en la implementacin de ste. Es por ello que siendo ste un campo disciplinar en el que convergen numerosas reas de conocimiento, los contenidos evaluativos puedan ser muy diversos en distintas evaluaciones e incluso posean cierta variedad en la evaluacin de un mismo programa por ser abordado ste desde perspectivas dispares pero complementarias.

Adems esos contenidos quedan relacionados con los momentos del proceso de implementacin del programa a los que se refieran, pudiendo referirse al contexto a necesidades de implementacin, diseo o planificacin, evaluacin del proceso y del producto.

42


En cuanto a los procesos empricos concretos se suelen emplear una extensa variedad de diseos y metodologas de investigacin usuales en cualquier otra rea de la investigacin educativa. En la que, dado lo complejo de los contextos en que se desarrollan, las dificultades de aleatorizacin y manipulacin/control de variables, abundan los diseos cusiexperimentales con connotaciones descriptivas orientadas a la descripcin de procesos.

Estas caractersticas metodolgicas determinan el uso de tcnicas de recogida de informacin y anlisis e interpretacin de datos tpicos de los estudios descriptivos. Siendo el cuestionario un instrumento casi omnipresente en este tipo de trabajos, hasta el punto que puede considerarse de cierto abuso (Fernndez Cano, 2002a) por el reduccionismo emprico que supone.

Las peculiaridades diferenciales de las investigaciones sobre E.P. llegan hasta la elaboracin y uso de los informes de investigacin. Ya que si la finalidad de la evaluacin del programa es aportar informacin vlida para valorar una intervencin educativa, el uso y explotacin de estas informaciones debe quedar al alcance de las audiencias a las que se dirige (Worthen y Sanders, 1987; Santos, 1990 o Alkin y Ellett, 1990). Siendo por tanto determinante quin evala e programa, para qu, cmo lo hace y sobre todo para quin.

En la mayora de ocasiones, la finalidad ltima de las investigaciones educativas es revertir los conocimientos adquiridos en el corpus terico de conocimiento de la disciplina tratada, para a partir de ah promover acciones prcticas para el cambio y mejora en la educacin. Sin embargo, en la investigacin sobre E.P. la aplicacin es ms directa es sobre la propia prctica educativa, pues en primer lugar se plantea la mejora del programa desarrollado, para con posterioridad realizar generalizaciones e inferencias que pueden alcanzar los principios tericos desde los que se derivan las diversas acciones implementadas en el programa o desarrolladas en las acciones evaluativas.

43


2.3. PROBLEMAS CENTRALES EN LA EVALUACIN DE PROGRAMAS.El campo de la evaluacin de programas supone la puesta en marcha de situaciones complejas en las que se relacionan elementos de diversas naturalezas, adoleciendo estos procesos de una serie de problemas centrales paralelos al propio desarrollo de la investigacin educativa en general y de la investigacin sobre evaluacin de programas en particular. Estas dificultades, descritas en algunos aspectos por Prez Juste (2000), son de diversa ndole y pueden agruparse en los siguientes aspectos:

El primero de ellos se deriva del propio carcter semntico de la evaluacin, que como proceso de emisin de juicios y valores se basa en la asignacin de significados previos: de su carcter, proceso y criterios valorativos. As dependiendo de lo que se entienda por evaluacin, cmo debe llevarse a cabo, con qu finalidad, qu criterios se emplean para ello, los procesos adoptaran y requerirn una dinmica determinada.

Muestra de las caractersticas semnticas asignadas al campo de la E.P. es la diversidad de definiciones adoptadas por cada uno de los autores, desde qu se entiende por programa o evaluacin, hasta cmo debe realizarse sta. Significados planteados de forma acorde a sus propuestas tericas y adaptadas a los desarrollos evaluativos que plantean.

Este aspecto, es slo parte de las dificultades derivadas de la diversidad de teoras, modelos y metodologas, que ha embarcado a muchos autores en polmicas sobre su uso (Guba, 1987), solo superable por un multiplismo necesario en acciones investigativas en situaciones complejas como son las que se encuentran en los entornos sociales.

44


Existe una clara tendencia a valorar la investigacin aplicada frente a la bsica o fundamental, lo que a la larga limita las posibilidades de impactar transformando la prctica y poltica educativa (Fernndez Cano, 1997).

El propio objeto de conocimiento de la investigacin sobre evaluacin de programas puede ser, como ente social, adems de enormemente complejo en continua evolucin. Esto dificulta los procesos de investigacin pues requiere combinar la fortaleza y credibilidad de la metodologa cientfica con la flexibilidad de procesos con la suficiente capacidad adaptativa. As, las nuevas necesidades sociales demandan nuevos modelos de intervencin y por tanto nuevos modelos evaluativos (Bartolom et. al., 2000).

Otro de los principales problemas para Wholey (1983 y 1987) es que como en la mayora de prcticas evaluativas, existe una resistencia por parte de los individuos e instituciones a participar en procesos evaluativos y a desarrollar procesos de cambio mientras se est siendo evaluado.

Las dificultades metodolgicas en los procesos de evaluacin de programas son numerosas, comenzando por la falta de claridad en el establecimiento de asunciones tericas y prioridades de la evaluacin, y de lgica entre las acciones y los resultados esperados. Las, en ocasiones, difciles relaciones entre los evaluadores y el personal del programa o centro. Las dificultades de plantear procesos de revisin adecuados o la escasa utilizacin de los resultados de las evaluaciones.

Los procesos que con una naturaleza eminentemente emprica se asocian a hechos distintos al de la propia investigacin, como es la existencia de un programa, deben establecerse de forma concurrente a ste. La evaluacin no debe entenderse como un proceso paralelo o ajeno al desarrollo del programa, ni supeditarse a la implementacin de ste, si no que forma parte de l en todas sus fases requiriendo un constante esfuerzo de crtica constructiva.

45


El hecho de que el programa se encuentre insertado en un sistema psicosocial ms amplio y de que la naturaleza de dicho sistema determine de alguna manera la evaluacin, hace que este proceso pueda encontrar un mayor nmero de dificultades.

Estos procesos evaluativos en contextos sociales se encuentran delimitados por la toma de numerosas decisiones evaluativas acerca de quin establece el valor de un programa educativo, con qu criterios de esfuerzo, efectividad o impacto se realiza, o cmo se emplea la informacin obtenida, lo que puede acarrear numerosos problemas de ndole tico y deontolgico (Suchman, 1967; Talmage, 1982).

Estas acciones complejas para el desarrollo de la evaluacin tambin encuentran en su sentido ms material dificultades de tipo logstico. Puesto que aunque en el mejor de los casos se cuenten con los suficientes recursos humanos y materiales para realizar un conveniente proceso evaluativo, en ocasiones ste queda tan slo sujeto a la voluntad y decisin de la autoridad poltica o institucional.

Pese a lo complejo de los procesos evaluativos, la produccin cientfica sobre evaluacin de programas descansa en manos de demasiados autores ocasionales con escasa especializacin en el campo. As la existencia de profesionales expertos en el campo, no siempre se encuentran en nmero necesario, ni con la formacin adecuada.

Esta falta de experiencia hace que en muchas ocasiones los profesionales de la evaluacin no son reconocidos en competencia y experiencia por los evaluados, lo que unido al recelo que levanta en personas e instituciones a ser examinado, hace que estas acciones pierdan una enorme efectividad.

46


En cierto sentido, las relaciones necesarias entre los distintos implicados en los procesos evaluativos son las que determinan la mayora de sus dificultades. As la necesaria participacin de todos ellos o la complementariedad metodolgica, conducen a un problema sin resolver sobre quienes deben tomar las decisiones definitivas que rigen estos procesos, en el que no siempre es posible llegar a consensos en sesiones evaluativas y que stos sean aceptados por las instituciones.

Estos problemas tambin se refieren a la relacin entre los expertos contratados para la realizacin de evaluaciones y las instituciones que las encargan, pues aunque a stos se le suponga honradez o probidad legal y tica en sus acciones, la desigualdad de condiciones con las grandes instituciones y la falta de fuertes asociaciones profesionales, hacen que las evaluaciones asuman las condiciones de quienes las contratan. Incluso se pueden constatar influencias de carcter eminentemente poltico.

As, la investigacin queda en ocasiones supeditada a agendas o lneas de investigacin prioritarias establecidas centralmente por autoridades autonmicas, nacionales o internacionales. Siendo ste un problema tpico de la investigacin social referido a la comparabilidad de los datos, en momentos en los que se opta por la descentralizacin curricular y la autonoma de centros y profesores, debe solucionarse no por la comparacin en estndares nacionales o externos, sino por la comparacin diacrnica con valores propios y especficos, cuya finalidad sea siempre las opciones de mejora y calidad.

Otra dificultad se relaciona con la consecucin de evaluaciones factibles, en el sentido ofrecido a este estndar por el Joint Committe, que relaciona la adquisicin de informaciones relevantes y los recursos empleados para conseguirlas, que no siempre son suficientes y adecuados.

Adems existen dificultades de difusin y utilizacin de la investigacin que podran calificarse casi de endmicas, limitando o incluso haciendo estril su

47


uso. Sobre todo debido a la escasa difusin e impacto internacional de las fuentes de publicacin espaolas, que provocan por la dependencia de ciertas fuentes de gran relevancia un colonialismo investigativo.

2.4.

FASES Y CONTENIDOS DEL PROCESO EVALUATIVO.La evaluacin de los programas puede plantearse en muy diversos

momentos: durante su planificacin, en el desarrollo del mismo o en sus logros y resultados. Dependiendo adems del momento del contenido asignado a cada uno de ellos, una gran diversidad de propuestas.

Los procesos evaluativos deben partir para Prez Juste (2000) de la consideracin de aspectos como lo educativo como referente, el tamao y complejidad del programa, el papel que adoptar el evaluador, cual sern las unidades de anlisis y qu informaciones se recogern. Y se concretan en diversos momentos:

1.

El primer momento de evaluacin abarca al programa en su

globalidad, aportando opciones preventivas de mejora y optimizacin, incluso antes de su puesta en marcha.

Su finalidad es establecer formativamente la calidad tcnica del programa, recogiendo datos sobre su fundamentacin, formulacin y relacin con las demandas e intereses de los destinatarios.

Emplea metodologas basadas en el anlisis de contenido, estudios prospectivos, tcnica Delphi, juicios de expertos y el empleo de pruebas diversas de evaluacin inicial. Y criterios de calidad, pertinencia y realismo de objetivos y su adecuacin a los destinatarios. Suficiencia de apoyos y compromiso e implicacin de los agentes relacionados.

48


Y sobre la calidad tcnica, tanto del proceso de evaluacin, como del propio programa, en aspectos relacionados con la coherencia y congruencia de sus componentes y sus facilidades para ser evaluado; para tomar decisiones eminentemente formativas.

Este momento evaluativo, previo a la puesta en marcha del mismo programa, esta orientado para Cols y Rebollo (1993) a dos contenidos

prioritarios y diferenciados: La evaluacin del contexto y de necesidades del programa y la evaluacin del diseo y planificacin del programa.

La evaluacin del contexto y de necesidades tiene por objeto servir de gua para la seleccin de problemas y asignacin de prioridades. Abarca cuestiones sobre las caractersticas especficas del entorno donde se desarrollar el programa; quines son los participantes; qu condiciones exigen su realizacin y qu recursos materiales, temporales y humanos son necesarios; qu necesidades pretende cubrir o qu expectativas tienen los receptores.

Para Stufflebean y Shinkfield (1987) esta es una etapa de diagnstico de necesidades del contexto institucional y poblacional.

La evaluacin del diseo y planificacin del programa se cie a identificar y valorarla planificacin de estrategias y procedimientos que el programa plantea para su desarrollo, atendiendo a cuestiones como la correcta definicin de objetivos, si la secuencia de actividades est expresada claramente para su puesta en marcha y su temporalidad est ajustada, o si la planificacin general del programa se ajusta al contexto donde se desarrollar.

La omisin de algunos de estos aspectos (conceptos, organizacin, materiales, etc.) en la evaluacin pude. Como planteaba lvarez Rojo (1991), incluso falsear el resto de la evaluacin.

49


Para la valoracin y juicio de estos objetos Fernndez Ballesteros (1996) propone juicios relativos a su pertinencia (si responden a necesidades concretas bien establecidas) y suficiencia (si los medios que se proponen son los suficientes).

2.

Como segundo momento hace referencia a las medidas evaluativas

de la implementacin del programa, para la toma formativa de decisiones de mejora.

Se recogen informaciones sobre el desarrollo del programa, sus efectos intermedios y los no deseados; mediante instrumentos como la observacin, dilogos, entrevistas o pruebas intermedias, que se analizan en sesiones de grupo y debates.

La pretensin es descubrir durante el proceso los defectos de planificacin y describir y juzgar las actividades que se estn realizando. Es decir, los criterios de evaluacin giran entorno al progreso propuesto por King, Morris y Fitz-Gibbon (1987) y cumplimiento de los planes previstos, a su eficiencia y a la satisfaccin de los usuarios. Para promover medidas de ajuste.

Los contenidos de la evaluacin se refieren a cuestiones como cul es la percepcin que tienen los interesados de la ejecucin del programa, si se ajustan las actividades al plan previsto, cules son las dificultades y logros ms importantes, cmo funcionan los grupos y cmo es el nivel de participacin; y en definitiva, cul es el desarrollo real del programa.

3.

El tercer momento de evaluacin posee un carcter sumativo para

comprobar la eficacia del programa y los resultados de su aplicacin.

Se basa en el anlisis de la consecucin de objetivos, mediante criterios de eficacia (logro de objetivos propuestos), eficiencia (logros en relacin con los

50


medios disponibles) y efectividad (efectos beneficiosos no previstos). Satisfaccin de los implicados e impacto del programa sobre el contexto en el que se aplica.

4.

Suponiendo un cuarto momento para la institucionalizacin de

la evaluacin del programa, basada en procesos cclicos de evaluacin y mejora, en el que los individuos e instituciones asimilan los cambios que el programa pretenda provocar.

La finalidad de todo proceso evaluativo es valorar, interpretar y juzgar los logros de un programa. Esta valoracin no slo hay que considerarla sumativamente tras su implementacin, sino que como se ha sealado con un carcter formativo, parte incluso antes de la propia elaboracin del proyecto y afecta a cada una de sus fases.

Como efecto patente de esta toma de decisiones, las acciones a realizar se pueden enmarcar en tres posibles mbitos: Sobre la valoracin del programa en cada momento evaluativo puede decidirse que en lneas generales es positiva, neutra o negativa; esta valoracin determina a su vez acciones relativas a la modificacin de las actuaciones diseadas o que incluso se estn implementando, en cuanto a mantenerlas o modificarlas si no se consideran adecuadas o al menos se consid

Documents

04-Capítulos 1 al 3