EL PROCESO EVALUADOR

La evaluación de escuelas desde la perspectiva del Instituto Nacional Para la Evaluación de la Educación

IntroducciónLa evaluación y calidad son dos conceptos nucleares del discurso pedagógico contemporáneo que típicamente son abordados de manera simultánea. El mejoramiento y aseguramiento de la calidad esta ligado a la existencia de procesos de evaluación que permitan a las instituciones de su proyecto escolar. La evaluación cobra así la búsqueda de la calidad.En nuestro país la importancia de la evaluación de la calidad educativa fue un factor de la creación del Instituto Nacional para la Evaluación de la Educación. La misión de este organismo se establece para contribuir una educación de buena calidad, el Instituto hará diagnósticos integrales y permanentes que reflejen mas confiable y objetiva, la situación del sistema educativo nacional y sus grandes subsistemas y ayuden a explicar los resultados de las evaluaciones mas transparentes, con el fin de que sean aprovechados por las autoridades y la sociedad, y promoverá el uso de la evaluación para apoyar la calidad educativa y la rendición de cuentas y monitoreará el impacto de la evaluación en la calidad.La línea esencial del INEE es la evaluación de la calidad del sistema educativo mexicano. La evaluación es el juicio de valor que resulta constatar el resultado de la medición de una realidad empírica con un parámetro normativo previamente definido. Evaluar implica tres elementos:

El conocimiento empírico de una realidad obtenido con la mayor objetividad y precisión posibles. Puede designarse con el término medición.

Un punto de referencia con el que se contrasta la medición. El punto de referencia no es empírica sino normativa; no pertenece del ser, sino del debe ser.

El contraste de la medición con el punto de referencia, donde surgen juicios en términos de adecuada o inadecuada.

En concepto de calidad INEE incluye varias dimensiones; las de pertinencia y relevancia, eficacia interna y externa, impacto eficiencia y equidad. Estas dimensiones se entienden precisando que un sistema educativo de calidad es aquel:

Establece un currículo adecuado a la vida de loa alumnos (pertinencia) y a la sociedad (relevancia).

Logra que la más alta proporción de destinatarios acceda a la escuela (eficacia interna y externa).

Consigue que los aprendizajes sean en forma duradera y se traduzcan en comportamientos sustentados en valores individuales y sociables (impacto).

Cuenta con recursos y materiales, y los usa de la mejor manera (eficiencia).

Tiene en cuenta la desigual situación de alumnos y familias, y ofrece apoyos a quienes lo requieren (equidad).

La estructura operativa del Instituto refleja los objetivos de la evaluación educativa. El trabajo de la Dirección de Evaluación de Escuelas deberá contribuir al logro de la misión del Instituto, aportando elementos de comprensión sobre la organización y funcionamiento de las instituciones escolares en los niveles educativos de su competencia, así como los aprendizajes escolares alcanzados por los alumnos.La evaluación de escuelas es una tarea completa de factores y que abarca tanto el nivel de las instituciones como unidades organizacionales. De ahí, no sea pretensión del INEE abarcar todos los factores potencialmente evaluables en las acciones que realice directamente, aunque sí promoverá las autoridades educativas estatales.Este capitulo aborda algunos aspectos a la evaluación de escuelas y la perspectiva que el INEE asume ante este ámbito de trabajo.

1.- LAS ESCUELAS COMO ÁMBITO DE EVALUACIÓNEn un análisis sobre los sistemas nacionales de evaluación educativa durante los años noventa del siglo veinte, Tiana identifica cuatro campos prioritarios de evaluación en la actualidad; los logros conseguidos por los alumnos; el rendimiento que alcanzan las instituciones educativas; el desempeño profesional de los docentes, y el impacto de las políticas educativas.Hoy en día se maneja una concepción mas amplia que incluye a los alumnos, al profesorado, los procesos educativos, los centros, las administraciones y el sistema educativo en su conjunto:Se entiende que los procesos educativos son procesos de enseñanza-aprendizaje y se refiere a alumnos y profesores. Dichos procesos se desarrollan en n contexto educativo de un determinado centro bajo los parámetros de una Administración y todos ellos son variables, habrá que evaluar para saber cómo están incidiendo en el objetivo de la enseñanza: la educación y formación de los alumnos.La evaluación ha ido abarcando ámbitos progresivamente más amplios, al tiempo que se ha diversificado…

En la medida en que los factores contextuales adquieren un lugar más relevante en el desarrollo curricular, resulta improcedente limitar el ámbito de la evaluación exclusivamente a los alumnos y a sus procesos de aprendizajes. Si el resultado de dichos procesos es el conjunto de actuaciones y de influencia múltiples, no es posible ignorarlas.La nueva lógica de la evaluación ha llevado a interesarse por la actuación profesional y por la formación de los docentes. Otro tanto podría decirse del propio currículo, entendido como elemento articulador de los procesos de enseñanza y aprendizaje, y del centro docente lugar donde éstos se desarrollan. El conjunto del sistema educativo se convierte en objeto de evaluación.Schmelkes refiere que “las variables propiamente de la oferta educativa comienzan a relevarse a partir de los años ochenta, y sobre todo, gracias a las investigaciones de corte cualitativo y a aquellas que comparan las escuelas que, en igualdad de circunstancias socioeconómicas y culturales de la demanda, logran mejores resultados”.En efecto, los hallazgos de “eficacia escolar” y ligada a la perspectiva de mejora de la escuela han permitido identificar factores insumos y procesos que se encuentran asociados con la calidad de la escuela y de la educación.

2.- FINES O PROPÓSITOS DE LA EVALUACIÓN DE ESCUELAS

Los propósitos de orden más general que orientan los esfuerzos de los sistemas nacionales de evaluación, cabe hacer referencia a los diversos objetivos que identifica Tiana en estos:

Ayudar a las escuelas y a los profesores a mejorar la calidad de la educación que imparten.

Conocer y valorar en que medida se están alcanzando los objetivos educativos.

Forzar a las instituciones escolares a generar dinámicas de cambio.

Rendir cuentas acerca de logros conseguidos. Establecer sistemas de incentivos para instituciones y

profesionales. Certificar, acreditar o seleccionar instituciones. Conocer y valorar la situación del sistema educativo. Introducir elementos de racionalidad.

Alcanzar estos propósitos trae consigo la necesidad de evaluar distintos ámbitos educativos. La evaluación es una forma de medir su calidad, o una manera de obtener información necesaria para que los centros sean capaces de mejorar la calidad de la educación que ofrecen. La evaluación de escuelas puede dividirse en dos grupos: evaluación con objetivos de información para el sistema educativo; evaluación para la mejora de las escuelas. En el primer caso, la información se recaba como parte de un sistema de evaluación o de indicadores de desarrollo educativo, los fines son diversos: monitorear el crecimiento en la madurez institucional de los establecimientos escolares; identificar escuelas que requieran ser atendidas de manera especial; asignar estímulos; contar con una aproximación a la calidad de la educación impartida.Los sistemas de evaluación de escuelas para la mejora deben ser vistos como complementarios a los sistemas de evaluación para obtener información y/o para estimular o apoyar escuelas.Tiana destaca tres aportaciones de evaluación de centros a la mejora cualitativa de la educación: a) conocimiento de los procesos de enseñanza y aprendizaje, y la perspectiva sobre las condiciones y variables que los determinan; b) constituye la propuesta y la adopción de programas individualizados de mejora; c) aporta elementos para la comprensión del sistema educativo, a través del análisis de algunas de sus concreciones.INEE constituye la concepción sobre la evaluación educativa en sentido amplio, como un medio para la mejora continua y el aseguramiento de la calidad, así como para la rendición de cuentas. Los propósitos con los que el INEE desarrollará o promoverá la evaluación de las escuelas en entidades federativas son las siguientes:

Ofrecer un diagnóstico de la calidad de las escuelas y las necesidades de los planteles, aquellas que permitan mejorar procesos relacionados con el aprendizaje de los alumnos, el funcionamiento del equipo docente, el ambiente escolar y la participación de los padres de familia.

Favorecer los colectivos escolares y alentar la toma de decisiones de los mismos, se buscara una cultura de la evaluación entre alumnos profesores y padres de familia.

Generar información que contribuya a enriquecer el sistema de indicadores de la calidad de la educación aportando los insumos, procesos y productos del sistema, en su aspecto cualitativos.

El perfil del INEE como una institución avocada a brindar sobre la calidad del sistema educativo y el hecho que no hay una relación directa entre los resultados de una evaluación y la toma de decisiones son factores que debe perseguir la Dirección de la Evaluación de Escuelas, es el diagnóstico preciso confiable y válido sobre la situación de las instituciones escolares que conforman el sistema educativo del país.

3.- ENFOQUES EN LA EVALUACIÓN DE ESCUELAS

Los enfoques son el tipo de agente a cuyo cargo se encuentra la evaluación, los fines con los que se lleva, o bien, la pretensión de selectividad o exhaustividad que guía los acercamientos concretos que se practican en algunos se trata de criterios conceptuales que acercan la noción de enfoque a la de “modelo”.El primer criterio reconoce que las actividades de evaluación de las escuelas por agentes internos o por instancias externas. La autoevaluación o evaluación interna de la escuela.La evaluación interna puede ser realizada por un; profesor; un grupo de profesores; otros miembros del personal profesional de la escuela; el director; otras figuras administrativas; un especialista contratado por la escuela para la evaluación.La evaluación externa: el distrito escolar; el Ministerio de la Educación; evaluadores profesionales; inspectores; departamento o instancia de evaluación a nivel local o nacional. Los rasgos favorables de la evaluación recae en agentes internos no son excluyentes para el evaluador externo este puede acercarse al conocimiento local de las escuelas utilizando información que este disponible. Problemas que enfrentan los proyectos de evaluación interna o autoevaluación:

Carácter individualista. Escasa motivación profesional. Limitación del tiempo. Falta de formación ética. Ocultamiento de problemas que afectan la funcionalidad. Mayor subjetividad que en el caso de la evaluación externa.

La distinción entre evaluaciones internas y externas no implica un juicio de valor respecto a la ventaja global de un tipo de evaluación sobre el otro. Cada uno tiene ventajas para ciertos objetivos. La evaluación interna parece ser más apropiada para la evaluación formativa y la externa para la sumativa.Ambos enfoques tienen fuentes de error en términos de la validez de los resultados. La evaluación interna constituya una

justificación de lo que se está haciendo y una legitimación de la manera en cómo se está haciendo. Así como la evaluación externa de descontextualizada y demasiado severa o complaciente.El INEE pretende promover la combinación de procesos de autoevaluación a cargo de los docentes de un plantel, con el liderazgo del director y participación de los padres de familia, con las evaluaciones externas que realice el propio Instituto así como las Áreas de Evaluación de las entidades y dependiendo del enfoque los agentes participantes en los procesos de evaluación sarán diversos.Según Ravela los enfoques existentes son cinco: a) enfoque de toma de decisiones de política educativa.b) Enfoque de rendición de cuentas.c) Enfoque de libre elección de escuelas por las familias.d) Enfoque de desarrollo profesional.e) Enfoque de investigación.

En el primero, se considera que la evaluación proporciona información sobre el aprendizaje de los alumnos y de los centros escolares, a partir de la cual se puede reforzar la mejora de los mismos. Se pueden tomar dos tipos de decisiones: compensatorias o de incentivos.

En el segundo, trata de informar lo que la escuela está logrando a las familias y a la sociedad, también existen riesgos, como el manejo sensacionalista de la información así como desestimar los esfuerzos que se hacen con la población más desfavorecida, por tener resultados más limitados.

En el tercero, se asocia la gestión educativa mediante mecanismos de mercado: oferta y demanda. La evaluación tiene el papel de brindar información a las familias para que elijan la mejor escuela. Las debilidades de este enfoque derivan de que no considera las diferencias que hay en términos de capacidad para comprender la información a la calidad educativa, que pueden dar lugar a simplificaciones o a que no se entienda la información, esto aunado a que, aunque se conozcan cuáles son las mejoras, no todas las familias no tienen las condiciones económicas.

El cuarto enfoque, se basa de que la calidad de los aprendizajes depende de la competencia del profesor. El papel de la evaluación es regresar la información a las instituciones para que los

profesores ejercicios para identificar sus necesidades de mejora, por lo que los destinatarios son los profesores y las escuelas. Los riesgos están relacionados con el supuesto de que al regresar la información, los maestros estarán interesados por mejorar, sin incentivos, al mismo tiempo de que no hay garantías de que todos consideren valiosa la información.

El último enfoque se centra en el aprovechamiento de la información sobre las escuelas para encontrar modelos explicativos en torno a las Instituciones que obtienen buenos resultados en condiciones adversas, la cual demanda la recopilación de información, además de los resultados de aprendizaje propiamente. Hay tres formas en la que se puede desarrollar este acercamiento atendiendo a su diseño metodológico:

a) Estadístico cuantitativo.b) Diseño experimental. c) Cualitativo tipo de estudios de casos.

En este último enfoque coincide con la misión, propósitos y funciones que el INEE asigna a su Dirección de Evaluación de Escuelas, hay también puntos de cercanía con todos los demás enfoques, en particular aquellos que favorezcan la calidad de las instituciones escolares.

4.- LOS CRITERIOS PARA LA EVALUACIÓN DE ESCUELAS

De acuerdo con Casanova, el tema de los criterios de evaluación es el capítulo más complejo de la metodología de la evaluación educativa. Si el evaluador dispusiera de un conjunto de criterios o indicadores de calidad explícitamente definidos, inequívocos y científicamente fundamentados, referentes a las distintas dimensiones del fenómeno educativo, el problema de la evaluación seria fácil de resolver: se reduciría a la recogida de información relevante, contraste con los criterios preestablecidos y análisis de las discrepancias encontradas. Sin embargo, el estado en cuestión en la actualidad es diferente.La definición misma de la calidad de la educación a cuyo mejoramiento pretende contribuir la evaluación y, en concreto la evaluación de instituciones escolares, la convergencia que en muchos casos defienden intereses y adoptan posturas contrapuestas, lo cual puede llevar a concepciones divergentes en lo que consiste una educación de calidad o las formas adecuadas de conseguirla.

La idea consiste con una perspectiva tendiente a la exhaustividad en la evaluación de las escuelas, lo cual lleva a concluir en el rechazo de una visión simplista de un único criterio de valor, y en la propuesta de un enfoque multicriterial donde se completen las diversas dimensiones del fenómeno educativo y las diferentes formas de valorarlas. En conclusión no hay validación posibles a través de métodos científicos de un “modelo de enseñanza” o de un “modelo organizativo” que garantice la calidad de la institución educativa. Toda evaluación educativa estará orientada a medir la calidad o a mejorar la calidad educativa. La noción de la calidad es un referente frecuente de evaluación y de evaluación de escuelas en particular.Características de la definición de escuela eficaz que propone Murillo:

Valor añadido como operacionalización de la eficacia. Equidad como un elemento básico en el concepto de la

eficacia. Desarrollo integral de los alumnos.

La contribución más importante del movimiento de investigación sobre la eficacia escolar es que ahora se tiene un buen número de variables identificadas como relevantes en la predicción de buenos resultados de aprendizaje. Según Martínez Rizo; Estas variables se observan como pequeñas variaciones, se integran de la siguiente manera:

Un liderazgo escolar centrado en lo pedagógico, con buena comunicación.

Propósitos claros, valores y una cultura institucional. Clima escolar tranquilo, seguro y favorecedor del

aprendizaje. Actividades de formación permanente de los maestros. Que estos tengas altas expectativas en el aprendizaje de

sus alumnos. Participación de los padres de familia. Apoyo por parte de las instancias educativas superiores.

Carlos Muñoz; refiere los siguientes factores: La existencia de un liderazgo fuerte y compartido. El desarrollo de una visión y metas compartidas. El desarrollo de un ambiente positivo para el aprendizaje. La focalización en los procesos de enseñanza y

aprendizaje. El desarrollo de prácticas favorables para la enseñanza.

La promoción de expectativas altas sobre el desempeño de los estudiantes.

El desarrollo de una cultura de refuerzo positivo. La provisión de un sistema para supervisar el progreso de

los alumnos. El otorgamiento de mayores responsabilidades a los

estudiantes. El desarrollo de una asociación escuela-hogar adecuada. La definición de la escuela como una “organización de

aprendizaje”.

5.- OBJETOS ABORDADOS A TRAVÉS DE LA EVALUACIÓN DE ESCUELAS

La evaluación del sistema educativo no deberá basarse únicamente en los resultados de aprendizaje obtenidos por los alumnos, ni en cualquier otro indicador aislado. Por el contrario además de los indicadores de resultados, otros relativos al contexto en que operan las escuelas, los insumos y los procesos que se desarrollan a su interior. Los indicadores de procesos y resultaron se utilizaran para valorar la situación de la escuela teniendo en cuenta los insumos y el contexto. Se podrán detectar escuelas que destaquen positivamente.Para Tiana, la evaluación contribuye a la mejora cualitativa de la educación al diagnosticar el estado y la situación del sistema educativo; al evaluar los efectos de los procesos de cambio o al valor de los resultados educativos alcanzados, sin embargo un ámbito fundamental es el de los procesos que tienen lugar en el interior de los centros educativos y muy especialmente en su organización y funcionamiento. Cuando la evaluación se orienta hacia las instituciones pone el énfasis en aspectos tales como los procesos educativos, los métodos didácticos, las relaciones interindividuales y grupales, el clima escolar, la distribución y utilización de los recursos o el desarrollo del currículo, por no citar algunos de ellos.

Casanova por su parte propone un modelo de amplio espectro en varios sentidos: los momentos de evaluación que considera (inicial, procesal y final); la variedad de informantes a que remite (profesores, alumnos, padres de familia, equipos directivos); y la misma diversidad de aspectos a evaluar que abarcan prácticamente todas las áreas de un centro educativo.

Un modelo sugerente es el que propone Soler, se trata de un modelo sistemático que trata de cubrir en forma exhaustiva los distintos factores que caracterizan las instituciones escolares:

ÁMBITO

Planificación

Organización y funcionamiento

Trabajo docente

Clima escolar

Resultados

Fases de evaluación de

escuelas

Evaluación inicialEvaluación procesual

Evaluación Final

Es patente en los modelos presentados la enorme gama de aspectos evaluables, así como la pretensión de abarcar integral y exhaustivamente a las escuelas en su riqueza y complejidad. Por ellos los autores distinguen dos tipos de enfoques entre los estudios de evaluación de centros en razón de su alcance:

Estudios globales Estudios sectoriales

En cualquier caso, las acciones de evaluación en la materia que el INEE realice directamente o promueva, deberán equilibrar la tendencia a la exhaustividad con consideraciones relativas a la pertinencia de los aspectos a evaluar.Una visión más suscinta es la plateada en el Taller; Evaluación de Docentes y Centros Educativos, en lo que respecta a la evaluación de escuelas se identificaron como principales las siguientes variables:

Logro de los estudiantes. Desempeño de los docentes frente al grupo. Desempeño de los directivos, liderazgo. Capacidad de uso de los recursos didácticos disponibles. Procesos didácticos. Manejo de estrategias pedagógicas. Aspectos fundamentales de la organización escolar. Las oportunidades de aprendizaje que se ofrecen a los

estudiantes. El ambiente escolar. Elementos de contexto de la escuela.

Modelo Sistemático

Contexto

Insumos

Procesos

Resultados

Condiciones socioeconómicas de la zona donde se ubica el centro educativo.

Situación socioeconómica de las familias atendidas por el centro educativo.

Capacidad para vincular a la comunidad con el trabajo del centro educativo.

Conservación y mejoramiento de la planta física. Adecuación de la planta física a los procesos de

enseñanza. Indicadores de deserción, repetición y promoción.

Por lo que toca a la evaluación de docentes las conclusiones del Taller son las siguientes:

Formación académica. Actitud hacia la docencia. Habilidades y destrezas comunicativas. Expectativas sobre sus estudiantes. Oportunidades de aprendizaje que ofrecen los docentes a

sus estudiantes. Dominio de conocimiento a niveles de síntesis y evaluación. Manejo de estrategias pedagógicas. Logro de sus estudiantes.

Estos conjuntos de factores pueden constituir el andamiaje básico de un modelo de evaluación de escuelas y de docentes. Las propuestas más amplias, tendientes a la exhaustividad aportan elementos para el enriquecimiento y operacionalización de dicho modelo. Una ultima consideración, tiene que ver con la necesidad de atender todo esfuerzo de evaluación, al contexto de que operan las instituciones escolares y en el que tienen lugar los aprendizajes.

Para Ravela; esto significa evitar “la tentación de los modelos explicativos universales”, lo que explica en los siguientes términos:Creo que tiene poco sentido intentar uno de los modelos causales únicos que se proponga explicar simultáneamente lo que incide en los aprendizajes en las escuelas privadas, en las escuelas públicas urbanas y en las escuelas rurales. Los factores que inciden en los aprendizajes probablemente operen modo diferente en unos y otros tipos de escuelas.Tiene más sentido intentar comprender con detalle lo que ocurre dentro de subconjuntos de escuelas que comparten algunas características básicas.

En el conjunto de trabajos en materia de evaluación de recursos y procesos que el INEE desarrollará directamente o promoverá y apoyará para su realización por parte de las autoridades educativas estatales, las propias escuelas u otras instancias. Asimismo, y en función de la naturaleza de cada acción evaluativa, será necesario determinar los aspectos que podrán ser incluidos en un acercamiento global y los que ameritan un tratamiento sectorial o modular, de mayor profundidad.En síntesis el tipo de factores que tendrán que atender las acciones de evaluación de escuelas realizadas por el INEE son los siguientes:

Contexto Insumos Procesos Resultados El sistema educativo en su conjunto Las instituciones educativasLos ambientes instruccionalesLos actores individuales

Sin desconectar los aspectos relativos al contexto en que operan las instituciones escolares. El INEE tiene que poner la atención en los insumos y procesos que concurren en los centros como en sus aulas.

6.- CONCLUSIONES

La evaluación de los múltiples factores que caracterizan a las escuelas tiene un sentido importante, en la medida en que permite entender los logros educativos. Lo que aquí se esboza es aprovechar los resultados de la evaluación de aprendizaje para contar con un eferente de logro, identificar los escenarios en los que tenga lugar la evaluación de otros factores, o la evaluación de las escuelas. En la evaluación externa de los resultados de aprendizaje es usual que se levante información sobre factores de contexto, no se podrá negar que en el contexto en el que operan es en el que tienen lugar los aprendizajes.La información de la evaluación de resultados de aprendizaje de los alumnos así, como los factores de contexto, puede ser utilizada para mapear escuelas de diferentes condiciones socioeconómicas y con diferentes logros de aprendizajes. Esto permitiría focalizar las acciones de evaluación de escuelas es decir, entender y valorar a las instituciones donde los alumnos atendidos obtienen resultados buenos, regulares o malos.La tarea de hacer una mejor evaluación de la educación, de hacer en realidad, una autentica evaluación. Es sin duda el espíritu con el que surge el Instituto Nacional para la Evaluación de la educación, pero también una demanda que enfrenta anclada en su vasta experiencia en la materia. La Dirección General de Evaluación de la SEP, así como las áreas de evaluación de las entidades federativas.Pero además de una participación concertada, la consolidación de un auténtico sistema nacional de evaluación educativa requiere acciones de fondo, estructurales.Para avanzar en esta dirección el INEE propone una delimitación de funciones entre las instancias involucradas en la evaluación. Las evaluaciones a cargo (federal y estatal) brindaran dos elementos: la retroalimentación directa y la toma de decisiones de alto impacto. Las evaluaciones a cargo de instancias externas tendrán el propósito de ofrecer a las autoridades información para que cuenten con diagnósticos precisos sobre la situación de la calidad educativa en el conjunto del sistema educativo o en subconjunto importante del mismo.

SESGOS Y PATOLOGÍAS EN LA EVALUACIÓN EDUCATIVA. REFLEXIONES Y PROPUESTAS

INTRODUCCIÓN.El concepto de evaluación es complejo, susceptible de muchas acepciones semánticas y de una ambigüedad polisémicas. La evolución y el enriquecimiento han motivado a situaciones muy dispares y que de origen a incorrecciones técnicas, sesgos analíticos, problemas éticos e incluso “patologías”, peligros que en ocasiones genera la evaluación. En esta intervención revisaremos el concepto de evaluación, diferencias en su aplicación y algunas reflexiones de mejoramiento que se derivan del análisis de situaciones evaluativas en el nivel nacional. Podemos mencionar 5 tipos de definiciones esenciales de evaluación en el ámbito educativo.

MODELOS DE EVALUACIÓN

LA EVALUACIÓN CUALITATIVA DEL CURRÍCULO.

Mientras unos descargan toda la responsabilidad de la calidad en la estructura de las instituciones. Otros no creen en la estructura, ni en las organizaciones, ni en los sistemas de ninguna clase, consideran que el profesor en el aula esta solo; más allá de los dualismos y de los sistemas externos de normas él debe interpretar la situación con sus estudiantes. El cumplimiento de programas, exámenes y calificaciones no reflejan el alma de cada alumno ni el profesor puede asomarse.En este capitulo van a describirse los modelos evaluativos cualitativos que se caracterizan por compartir con el paradigma cognitivo la participación activa de los involucrados en la evaluación a través de opiniones, contextos y expectativas acerca del desempeño presente y futuro del currículo. No se centran los resultados finales sino es la consideración de los procesos y transacciones que ocurren en el desarrollo del currículo; no miden variables separadas sino que valoran el conjunto del proceso en su estado natural con la sensibilidad y perspicacia del evaluador, no evalúan para agentes externos sino para mejorar internamente el diseño y la ejecución currícular.Antes de describir los tres modelos cualitativos de evaluación curricular, hay que definir el currículo, para precisar lo que va a evaluarse, ya que si fuera un documento que se extrae de un archivo hay que evaluarlo como un texto.Si por currículo se entendiera las experiencias de los estudiantes durante su jornada escolar, habría que considerar si ellas son autenticas. Naturalmente no pueden evaluarse las experiencias educativas sin claros criterios pedagógicos.O bien, si se definiera por los objetivos de aprendizaje, la evaluación currícular debería concentrarse en logros y resultados reales de desempeño alcanzados de los objetivos.En términos generales currículo es la manera de aplicar la teoría pedagógica en el aula a la enseñanza real, es la mediación entre la teoría y la realidad de la enseñanza, plan de acción del profesor con sus alumnos, es una pauta ordenadora del proceso de enseñanza. Un currículo implica una concepción acerca de los contenidos, las experiencias, y la actuación y la secuencia para que los alumnos alcancen las metas de formación, es un curso de acción pedagógico, es un plan de formación que solo puede evaluarse de manera cualitativa.

La grafica presenta los procesos que intervienen en las metas educativas. Las intenciones institucionales y los procesos que pueden volverlas realidad a través del currículo, con el fin de evaluar cada uno de estos procesos.El currículo implica delineamientos macrocurrícales, pero también implica el microcurrículo, diseñado como plan de enseñanza.Una meta educativa, por ejemplo, son que incorporen nuevas tecnologías a la enseñanza, pueden diseñarse ciertos objetivos. Inclusive pueden preverse estrategias didácticas que contribuyan a la apropiación de los conceptos, procedimientos y aplicaciones técnicas. Se ha producido un microcurrículo específico que forma parte de un currículo para formación de maestros, guiados por una meta educativa particular.El proceso enseñanza es un encuentro real entre personas que interactúan y se comunican a propósito del plan, para generar el proceso de aprendizaje previsto como resultado del currículo. Por ello es proceso y producto a la vez evaluable de manera inmediata y especifica. El desarrollo es también producto y proceso a la vez. El proceso de desarrollo y de formación individual y grupal de los alumnos alcanzado mediante la implementación del currículo genera un producto final que es el impacto social o repercusión de la ganancia del aprendizaje y formación sobre el desarrollo comunitario.

Definición de la medición Institucional

Metas educativas

Diseño curricular

Ense aprenñanza dizaje

Desarrollo formativo

Impacto social

Retroalimentación

1.- EL MODELO SENSITIVO DE R. STAKE.

Es un modelo que plantea la observación de lo que va a evaluarse en su ambiente natural. La validez de este tipo de indagación reside en la comprensión del sentido que el programa tiene para sus audiencias y la respuesta real que da a sus necesidades.La consecución de información en las distintas fuentes o audiencias en busca de una Inter subjetividad perceptiva.

La evaluación debe partir con la concepción que le dio origen y con su filosofía, metas y objetivos. También debe construirse una matriz descriptiva de antecedentes, transacciones, encuentros o procesos entre los agentes de la acción y los objetivos por lograr. Los antecedentes son las condiciones de interacción de los alumnos con el profesor y con el material de estudio, es el insumo y contexto previos al proceso de enseñanza. O lo que Posner denomina factores marco, es decir, las condiciones espacio-temporales, organizativas, político-legales, económicas, culturales y personales.Las transacciones es la interacción de los alumnos con los agentes a la educación, que incluye profesores, consejeros, bibliotecarios y textos escolares, materiales y recursos tecnológicos con los que el alumno interactúa en la clase y fuera de ellas. Las transacciones para alcanzar un propósito u objetivo pueden ocurrir de manera no satisfactoria y explicar porque los logros no se alcanzaron o se alcanzaron en forma deficiente. La matriz descriptiva debe elaborarse en dos momentos:

En el primero deben construirse las interacciones, la idealidad, las expectativas planteadas al fundar el programa o al producirse cambios del mismo.

En el segundo deben elaborarse variables e indicadores para observar en la realidad los antecedentes, las transacciones y los logros, es decir, lo realmente ejecutado.

Antecedentes Transacciones Logros

La evaluación de las diferentes variables e indicadores elaborados para observar antecedentes transacciones y logros mediante la aplicación de criterios valorativos y de estándares o medidas de desempeño estos indicadores demanda la elaboración de una matriz valorativa.

2.- EL MODELO DE ANALISÍS INTEGRADO DE G. POSNER

Posner propone abordar de manera directa, analítica, crítica y ecléctica la documentación del currículo actual oficial. Empezando por los antecedentes, motivos, situaciones y circunstancias. Es necesario analizar los propósitos implícitos y explícitos de formación de los individuos y de satisfacción de las demandas del contexto e identificar las metas y prioridades y la concepción educativa del programa curricular a desarrollarse. En especial el enfoque pedagógico que va a orientar la enseñanza para encontrar si la perspectiva implícita es tradicional, conductista o cognitiva.También es imprescindible observar las formas de organización del currículo a nivel general, verificar los contenidos, aprendices, profesores, en los requerimientos del medio social, económico y político-cultural de la institución.

Tampoco debe olvidarse sobre la marcha del currículo el efecto de siete restricciones o factores sobre la implementación currícular:

El tiempo. Las condiciones físico-técnicas. Las condiciones político normativas. Las políticas administrativas y organizacionales. Condiciones personales. Los recursos económicos. La correspondencia.

El modelo de evaluación curricular se basa en una perspectiva cognitiva que preconiza la experiencia natural del estudiante como principal motor de su propio progreso hacia experiencias superiores.La evaluación integrada esta orientada hacia el crecimiento, cuenta con las siguientes características:

Una educación orientada hacia el crecimiento requiere de todos los esfuerzos incluidos la evaluación.

La autoevaluación debe promover confianza, control, autoestima y autonomía.

La evaluación debe ser compartida sin discriminación. Como los objetivos no son fijos deben revisarse de manera

permanente.

El contexto del aprendizaje en el interior de la institución educativa.

Suprimirse entre evaluador y evaluado, entre evaluación y aprendizaje, entre evaluación y enseñanza.

La evaluación se orienta hacia la acción que ilustra y propicia decisiones y acciones curriculares.

La evaluación integrada se inspira en disciplinas como las técnicas y métodos para obtener información evaluativa. Además las tareas escolares tienden a privilegiar donde los alumnos son invitados a pensar y a resolver problemas de la vida real.

3.- LA EVALUACIÓN CUALITATIVA A TRAVÉS DEL OJO ILUSTRADO DE EISNER

La metáfora del ojo ilustrado es la clave del evaluador cualitativo con el objeto observado. Para Eisner conocer no es una capacidad intelectual sino el arte de sentir y apreciar las cosas.El verdadero conocimiento implica la capacidad de experimentar cualidades en casos particulares como un síntoma de una entidad o un sentido más amplio, es decir, abarca la cualidad y la calidad de lo observado.Existen criterios múltiples para valorar la enseñanza, según los antecedentes del evaluador, su experiencia, sus concepciones y modelos, que surgen y varían de acuerdo con el grupo de estudiantes, el profesor, los contenidos de enseñanza, los contextos internos y externos. Las dimensiones que observa el avaluador son las siguientes:

La dimensión intencional. La dimensión estructural. La dimensión curricular. La dimensión pedagógica. La dimensión evaluativa.

Para Eisner ninguna escuela cambiará mientras no se cambien las prácticas evaluativas.La evaluación es una actividad de expertos que implica no solo apreciar y experimentar las cualidades de la obra educativa. El análisis educativo tiene cuatro dimensiones:

La descripción. La interpretación. La evaluación. La generalización.

CONCLUSIÓN

Las herramientas conceptuales y de procedimiento para la evaluación del proceso curricular contribuyen al nivel real de las metas educativas previstas en el modelo institucional, donde los modelos clásicos de evaluación son tratados como un conjunto de objetos o de variables identificables sobre todo a nivel de insumos o de productos observables, sin considerar que los procesos más complejos, dinámicos y volátiles de la interacción intersubjetiva que crea y elabora el currículo y desarrolla la enseñanza, requiere de enfoques cualitativos que capten el movimiento, los procesos en acción el caos y los sistemas borrosos.Los enfoques y modelos operativos facilitan una percepción más amplia del proceso de identificar y decidir los objetivos, contenidos y estrategias de enseñanza que permitan a los jóvenes de manera positiva para el despliegue y formación de sus talentos.

EL DISEÑO DE UNA INVESTIGACIÓN EVALUATIVA

DISEÑO DE LA EVALACIÓN

Una vez que el evaluador sabe qué es lo que va a estudiar, el paso siguiente consiste en como estudiarlo. Traza un plan, distribuye la investigación en el tiempo y establece procedimientos para la recolección de datos. Podrá trabajar con las variables de la ciencia social o efectuar un análisis económico y los beneficios.

DISEÑO EXPERIMENTALEl diseño clásico para las evaluaciones ha sido el modelo experimental. Este modelo utiliza un grupo experimental y otro de control. De entre la población se eligen al azar unidades para que figuren en el grupo que recibirá el programa o en el “grupo de control” que no recibirá. Se calculan las diferencias y se califica de éxito al programa cuando el grupo experimental ha mejorado más que el grupo de control.El grupo de control no tiene, por fuerza, que dejar de recibir cualquier programa. Seria fructífera sólo si la decisión fuese de tomarse la de optar entre este programa o ninguno. A menudo la opción se hará entre el programa experimental y el trato común para el grupo, como en de las prácticas normales de supervisión.En los casos en que no puede ofrecerse un tratamiento real a los controles, se recomienda un “placebo” que proporcione el aura, aunque no la sustancia de servicio. Esto suprime a un “efecto de Hawthorne” o sea, una respuesta positiva que se debe a la atención de los participantes. Es importante evitar los efectos pero no recomendable, por razones éticas como de política pública, proporcionar a los controles un servicio falso. El otro servicio debería poder hacer un bien. Una posibilidad seria ofrecer a los controles una versión barata del programa que está estudiando.Los diseños aleatorios son una manera efectiva de descartar la posibilidad de que algo que no sea el programa está causando los mejoramientos que se observan. Los acontecimientos externos también influyen en las personas. Quedan estás expuestas a una multiplicidad de influencias, desde los cambios en la economía y en la facilidad de obtener empleos. Campbell y Stanley mencionan ocho amenazas principales a la validez interna; es decir, ocho clases de variables externas y que pueden afectar a los resultados de un experimento si no se controlan.

ALGUNOS PROBLEMAS

El experimento controlado no puede realizarse en los campos de la acción concreta. Quizá no se pueda encontrar a un extra para que

sirva de control; el programa da servicio a todas las personas interesadas y que puedan tener acceso a él. Aun haya personas a las que no se dé servicio, los ejecutantes del programa se nieguen a asignar a una condición de control porque tienen la obligación profesional de no negar el servicio. A veces los únicos controles están muy esparcidos o no están dispuestos a cooperar en un programa que no le ofrecerá nada a cambio. El procedimiento de asignación al azar del experimento también crea problemas. Cuando se haya efectuado al azar, algunos participantes quizá deserten en el transcurso del programa, factor del cual el evaluador carece de control. Los experimentos son Especialmente vulnerables al efecto de Hawthorne. En virtud de lo conspicuo que será el procedimiento de asignación al azar. Los participantes se darán cuenta de su carácter especial, cosa de que no debe ser. En ocasiones, los grupos de control se contaminan porque sus miembros establecen relaciones con personas del programa y se enteran de lo que se está haciendo. En los últimos años el modelo experimental ha quedado sometido a ataques no sólo porque es factible sino porque es contraproducente, Guba y Stufflebeam así critican el modelo experimental:

1. Requiere que se mantenga constante el programa, en vez de facilitar su mejoramiento continuo.

2. Es útil para tomar decisiones solo después recorrido el ciclo y no durante su planeación y ejecución.

3. trata de controlar demasiadas condiciones, lo cual hace el programa aséptico que no se le puede generalizar.

El método experimental no requiere un programa estable, puede utilizarse aun cuando él programa de sus vueltas y revueltas. Los diseños aleatorizados son para estudiar los resultados. Si la cuestión es una comparación entre el “modelo” original y una versión del mismo que se haya ido informando naturalmente. Es posible dividir al programa en dos subunidades, una de las cuales se mantiene estable y la otra se le estimula para “mejorar continuamente” con fundamento en la opinión óptima; o bien, los principios básicos del programa puede establecerse y mantenerse, en tanto las variaciones pueden describirse y clasificarse después del hecho. Los resultados de la acción pueden compararse a intervalos regulares. No hay necesidad de que el programa haya completado

su ciclo. En el caso de subciclos más cortos es posible dejar un margen para un mayor número de variaciones. Gracias a las medidas tomadas entre cada etapa y a los subciclos más cortos, es posible enviar los resultados de la evaluación a los administradores. A su vez, se evalúan las modificaciones del programa, si varias unidades pueden realizarse simultáneamente o en serie resulta posible estudiar toda clase y variedad de contaminantes o interferencias.

USO DEL DISEÑO EXPERIMENTAL El problema consiste en ajustar el diseño de investigación a los fines de estudio. El diseño experimental es una manera de descubrir sus metas. Si tal es la cuestión el experimento es el diseño óptimo. Si el administrador del programa desea saber algo totalmente distinto deberá recurrir a otra clase de investigación aplicada y no a la evaluación. Si desea obtener información para los fines de la administración cotidiana, quizá lo que le preste mejores servicios sea un buen sistema de registros automatizados complementados con medidas periódicas de un seguimiento de los resultados. Si lo que desea es contar con información formativa acerca de la efectividad, lo único que necesita sean estimaciones bastas, y se hagan sobre el programa real a medida que se desvíe y cambie. El diseño experimental se presta para la realización de fines que quedan fuera del programa inmediato. El requisito esencial para el experimento es la asignación al azar de las personas. Cuando son escasos los recursos y algunas personas tienen que prescindir de ellos, la distribución al azar es posible; cuando se introducen nuevos programas, los recipientarios a los que se postergó pueden convertirse en los controles para quienes recibieron pronto los programas.

DISEÑOS CUASIEXPERIMENTALES

Campbell y Stanley han contribuido a legitimar los diseños cuasiexperimentales, o sea diseños que no cumplen los estrictos requisitos del experimento. Su trabajo cataloga diseños preexperimentales, experimentales y cuasiexperimentales de

diversos grados de idoneidad. El criterio para establecer idoneidad es el de mediciones de los resultados. Los mejores diseños son los que controlan los efectos exteriores que conducen a sacar inferencias válidas acerca de los efectos del programa. A diferencia del diseño experimental que protege casi todas las amenazas a la validez interna, los diseños cuasiexperimentales, por lo general, dejan sin controlar una o varias de ellas.Los cuasiexperimentales tienen la ventaja de ser prácticos cuando las condiciones una verdadera experimentación, poseen una forma y una lógica propias. Al reconocer qué es lo que hacen y lo que no controlan y las posibles interpretaciones equivocadas de los resultados, permiten sacar conclusiones con todo cuidado. Los cuasiexperimentos requieren que se proceda tan rigurosa como el diseño experimental.

DISEÑO DE SERIES TEMPORALES

Es uno de los cuasiexperimentos más atractivo. Consiste en una serie de mediciones, a intervalos periódicos, antes de que comience el programa y de mediciones después que haya terminado. La serie temporal protege la validez contra las amenazas, salvo la historia.

SERIES TEMPORALES MÚLTIPLES

Aun mejor es el diseño de series temporales múltiples. Este diseño parece ser especialmente adecuado para las evaluaciones de programa escolares, puesto que se aplican pruebas repetidamente de manera normal y se puede contar con largas series de puntuaciones anteriores y posteriores.

GRUPO CONTROL NO EQUIVALENTE

Otro diseño es el grupo de control no equivalente. En este caso no hay asignación aleatoria al programa, ni control como habría en un verdadero experimento, sino que se utilizan como controles individuos o grupos intactos que tengan características semejantes. A los controles no asignados al azar se les llama “grupos de comparación”.El diseño de control no equivalente es el diseño más común en la práctica. La cuestión es la de cómo hacer un grupo de comparación sea lo más semejante al grupo experimental. A veces se recurre a procedimientos de apareamiento, de apareamiento de miembros del grupo experimental y del de control conforme a las medidas con que

se cuente, o de apareamiento de todo el grupo experimental con un grupo semejante al principio del programa, la diferencia entre ambos podrá atribuirse al programa, pero el apareamiento es menos conveniente que la asignación al azar. El apareamiento se realiza a veces utilizando las puntuaciones a la implantación del programa. Si estas mediciones no son confiables el procedimiento tampoco será muy bueno. Puede producir resultados engañosos cuando los sujetos experimentales y de control se obtienen de poblaciones diferentes. La regresión no es obvia pero es sencillo de entender. Todas las mediciones contienen algún componente de “error” y algunas como las puntuaciones de un test o prueba y las medidas de actitud contienen una cantidad del mismo.La autoselección es otro problema al elegir un grupo de comparación. Las personas que participan en el programa suelen ser distintas de las que no quieren hacerlo. Y las diferencias previas hacen que las comparaciones entre los grupos que se ha “servido” y a los que “no ha servido” resulten riesgosas.La búsqueda de controles que se aparezcan lo más posibles a quienes participan en el programa ha llevado al uso de “inadvertentes” y de “inelegibles geográficos”. Cada estratagema ingeniosa resuelve algunos problemas y resuelve otros. Es importante eliminar la predisposición que da lugar la autoselección de un programa de evaluación. Es posible pensar en casos donde los que más necesitan el servicio son los que ingresan a un programa, por lo común son los riesgos mejores los que seleccionan a sí mismos. Si muestran mejores resultados que los controles, una explicación pausible será que habrían prosperado con programa o sin él.Los problemas de autoselección pueden superarse a veces cuando los experimentales como los controles se escogen de entre los voluntarios.Aun cuando no es factible una asignación al azar, por lo común es mejor contar con un grupo de comparación que no sea equivalente que prescindir totalmente el control. A veces es posible localizar grupo naturales para usarlos con fines de comparación. Cuanto más semejantes sean desde el punto de su reclutamiento y más parecidas sus respuestas en las mediciones anteriores, tanto más eficaces serán, controles. Las diferencias que pueden existir entre ellos y los participantes deberían medirse y comunicarse, y el evaluador indicaría la dirección de la predisposición originada en la no comparabilidad, señalando si tendría a rebajar o a exagerar los efectos del programa.

EL DISEÑO REMENDADO

El rasgo más atractivo y persuasivo del enfoque cuasiexperimental es que no resulta esencial protegerse contra posible fuente de error. La finalidad debería ser controlar aquellas fuentes de error que aparezcan. Así Campbell y Stanley mencionan un diseño “remendado” porque añade controles específicos, uno tras otro, para descartar diferentes fuentes de confusión.

VENTAJAS DE LOS DISEÑOS CUASIEXPERIMENTALES

La finalidad que se persigue al tratar de encontrar interpretaciones plausibles que rivalicen con el programa como fuente de cambio y el descartarlas en una clase de indiferencia con la que uno está familiarizado en situaciones que no tienen que ver con una investigación. Mientras que el diseño experimental goza de prestigio, poder y simetría, el diseño cuasiexperimental posee la virtud de que es factible realizarlo. El evaluador trata de realizar un experimento controlado, que tropieza con obstáculos y recurre a prácticas es menos productivo con el adopta sus diseños. Los diseños cuasiexperimentales pueden producir resultados convenientes para propósitos prácticos.

DISEÑOS NO EXPERIMENTALES

A veces es imposible el uso de diseños cuasiexperimentales. El evaluador a menos que se retire de las nóminas tiene que recurrir a uno de los tres diseños no experimentales comunes:

estudio antes-y-después de un solo programa. Estudio después-únicamente de los participantes en el

programa. Estudio después-únicamente, de los participantes y de

“controles” no tomados al azar.La debilidad inherente de estos diseños es que no controlan muchas de las explicaciones rivales. En el mejor de los casos, pueden estar llenos de pormenores y cosas imaginativas, resultar muy incitantes y abundar en agudas apreciaciones. Si se reúnen los datos pueden ofrecer más información con la que se podría haber obtenido sin ningún estudio. Con fines “formativos” puede ser acertado, con fines “sumativos” son menos convenientes que los diseños más rigurosos. En el peor

de los casos, los datos que producen pueden dar lugar a interpretaciones erróneas. En todos los casos dejan la realización de interpretaciones, diferente en cuánto ha sido el cambio que se ha producido y del cambio observado se debió a la operación del programa.En primer lugar, pueden proporcionar una visión preliminar de la eficacia de un programa; si un estudio de antes-y-después descubre poco cambio en los participantes, entonces el programa, no está produciendo mayores efectos. Tal vez no valga la pena hacer una inversión en una evaluación más rigurosa. Esta clase de reconocimiento puede ser apta para evaluación, porque:

a) la experiencia muestra que muchos programas producen poca utilidad.

b) La mayoría de los contaminantes elevan el nivel de utilidad.El descubrir el éxito de un diseño tiende a realizar la ilusión de éxito constituye una información importante. Si aparece el cambio, el programa suele someterse a un estudio mayor, en condiciones experimentales, para determinar qué parte del cambio puede atribuirse al programa.Una segunda razón para utilizar diseños no experimentales nace de una de las prácticas actuales del gobierno federal de los Estados Unidos. El sistema de abrir a concurso los contratos de evaluación deja en sus manos las decisiones primordiales. La manera en que funcione el sistema consiste en que el organismo publica una “convocatoria de proposiciones” para la evaluación. En la convocatoria se especifican los fines, los alcances, el diseño y el programa de tiempo del estudio. El evaluador puede escoger entre negarse o aceptar las especificaciones de la convocatoria. Muchas evaluaciones importantes seguirán haciéndose de esta manera y los evaluadores tendrán que aprovechar cualquier oportunidad que se les presente de complementar y ampliar el diseño.Otras circunstancias limitan las opciones del evaluador; talvez el programa vaya a medio camino, tal vez no se puede no se pueda echar mano de grupos para la comparación. Puesto que gran cantidad de evaluación se realiza en condiciones restrictivas, parece ser útil ponerse a pensar en si hay formas de superar algunos de los defectos fundamentales.

UN PROYECTO ANTES-Y-DESPUÉS

Este tipo de evaluación no es únicamente medidas anteriores y ulteriores. Puede tomar una serie de medidas cuando se vaya efectuando el programa y ver cuán bien se van alcanzando los

pasos sucesivos que se han establecido como hipótesis datos de esta clase pueden complementarse con un análisis cualitativo intensivo de los sucesos del programa, con la intención de entender cuáles son las relaciones que existen entre los servicios del programa y los progresos de los participantes. Si la organización se interesa en obtener información lo que respecta a entregar servicios, la evaluación puede estudiar los procesos de ejecución del programa y descubrir el grado de dicho programa está produciendo la cantidad, la calidad y la extensión de servicios que se quieren conseguir. Estos datos pueden relacionarse con los resultados de un solo estudio que no puede generalizarse para otros programas, sí pueden proporcionar apreciaciones agudas que ayudarán al programa a mejorar sus actuaciones.

ÚNICAMENTE DESPUÉS

En el diseño ex post facto los beneficios son más magros. El saber de cómo les va a los recipientarios sólo tiene sentido si existen buenas razones para temer cuál sería su condición sin el servicio, a menudo este no es el caso. Aunque pueden existir indicios de la experiencia pasada o de investigaciones anteriores. Lo primero que puede hacer el evaluador es reunir informes retrospectivos de los participantes antes del programa. Los autoinforme retrospectivos no son de confianza sobre todo a las mediaciones de actitud. A veces es posible encontrar expedientes que contienen datos confiables de los participantes con anterioridad al programa. El evaluador podrá formular preguntas acerca de las experiencias de los participantes a fin de permitir el análisis de los efectos de las experiencias.Con tal que los procedimientos de reclutamiento no hayan cambiado y no haya una elevada tasa de deserción, las comparaciones con las que se haya “graduado” en el programa, respecto de estas medidas, pueden proporcionarnos indicaciones de la efectividad del programa. Cualquiera que sea su grado de complejidad el diseño sigue muchos efectos que pueden confundir; el evaluador determina hasta que punto vienen al caso o no tales factores.

ÚNICAMENTE-DESPUÉS CON GRUPO DE COMPARACIÓN

Puede darse fuerza al diseño añadiendo un grupo de comparación que sea semejante a los recipientarios del programa. Cuando se cuenta con registro en lo que respecta a los periodos de antes y después se puede hacer uso de los mismos. A veces se pueden

recuperar datos a grupos semejantes, sin embargo se necesita mucha suerte para encontrar datos que vengan al caso, sean completos y exactos. Así como medidas confiables y estables como para ser útiles al evaluador. El grupo de comparación casi de manera inevitable, mostrará diferencias con el grupo participante; el simple hecho de que son los participantes quienes se seleccionan para formar parte del programa es indicador convincente. Sin los datos anteriores con los que se cuente el diseño cuasiexperimental denominado “grupo de control no equivalente” resulta difícil distinguir las diferencias que haya tenido el servicio del programa. A veces se utiliza procedimientos estadísticos a fin de igualar a los grupos del programa y de comparación. Los críticos pretenden que esto infraajusta, es muy poca monta de comparación con el volumen de efectos o efectos nulos del programa. Lo mejor es ampliar la recolección de datos y pasar a un diseño cuasiexperimental, a partir de mediciones posteriores de un grupo, el evaluador puede tomar medidas de grupos nuevos; las mediaciones ulteriores del primer grupo pueden compararse con las mediciones anteriores del grupo siguiente, las anteriores de este puede compararse con sus ulteriores. Procediendo así se pueden sacar conclusiones más válidas. Tiene gran valor para los programas un sistema de datos en el que figuren la información sobre los participantes, los servicios y los resultados.

EVALUACIÓN COMPARATIVA DE LOS PROGRAMAS

La mayoría de las evaluaciones se realizan trabajando con un programa por vez. El estudio de un solo programa puede mostrarnos si los participantes están mejor que antes. Si se utilizan grupos de control, la evaluación puede descubrir si el programa dio lugar a los beneficios en vez de las condiciones de fuera. Si los controles, en lugar de no recibir ningún servicio, reciben el tipo usual del programa, los resultados indican si el nuevo es superior al viejo.A veces no es esto todo lo que quienes toman decisiones desean saber. Necesitan información acerca de los beneficios comparativos de diferentes clases. Aun dentro de un solo programa, se ofrecen posibilidades para la realización del estudio comparativo. El estudio comparado de programas puede darnos información acerca del éxito que tengan los diferentes métodos de ejecución del programa. Hasta el estudio

de cierto número de proyectos están haciendo lo mismo podrá dar lugar a descubrimientos importantes. El incremento de la información es de dos clases:

Aumento en la posibilidad de generalizar los resultados. Aumento en la especificación de cuáles son la estrategia y las

condiciones que consiguen los mejores efectos con diferentes clases de participantes.

HASTA QUÉ PUNTO PUEDE GENERALIZARSE

La evaluación se suscribe a observar efectos en un tiempo y un lugar, con un personal en particular y un grupo de organización especifica en las circunstancias del momento. Resulta difícil saber los resultados observados a otras situaciones.La personalidad del innovador y la emoción dan origen que elevan al máximo la eficacia. Los resultados iniciales jamás se reproducen. Si se hubiese hecho una evaluación entre los diversos programas, el caso especial no se hubiese destacado ni dado lugar a interpretaciones erróneas.

ESPECIFICACIÓN

Los estudios comparativos nos permiten destacar características del programa que influyen en los resultados. El evaluador no tiene porque contentarse con promedios generales. Puede comparar con insumos diferentes y analizar los centros que tengan alguna característica con el resultado de otros centros. La posibilidad de aislar factores que funcionen es una de las aportaciones mediante la comparación entre programas. Sobre la base de varios programas nunca es factible el diseño experimental. En el trafago de la vida programática, un buen cuasiexperimento multiprogramático constituiría un gran paso hacia adelante.El estudio comparativo de programas se fundará en supuestos teóricos acerca de las necesidades y las clases de ayuda que ofrecen los programas. El estudio comparativo posee una gran fuerza, pero raramente se montan programas con variaciones consistentes y ordenadas para que las estudie el investigador. Ni tampoco posee la autoridad o la influencia para establecer conclusiones conducentes a un buen diseño. Se podrán capitalizar las variaciones de tal modo, estudiar un centenar de organismos de acción comunitaria.

Vanecko encontró que los organismos podían clasificarse de acuerdo a sus metas en tres grupos:

El de los que hacían hincapié en metas educativas y de servicio social.

El de los que tenían metas de organización de la comunidad.

El de los que perseguían metas de ocupación.

Sus análisis concentraron la atención sobre las actividades y los efectos de los programas en relación con esta triple clasificación.

ALGUNOS PROBLEMAS, ALGUNAS VENTAJAS

Los problemas siguen siendo una legión; como los proyectos no se asignan al azar a las comunidades y los clientes tampoco a los tipos de programas, existirá toda fuente de variación incontrolada y hasta inadvertida. Por mencionar unas: en los resultados se incluirán las condiciones del lugar, las estrategias del reclutamiento. Tal vez puedan descubrirse y medirse algunos de los factores y analizar los defectos, pero será enorme tarea y los puristas se lavarán las manos. Los resultados contendrán más variación incontrolada y la interpretación de los resultados nunca será precisa. Aun cuando se establecen “estrategias del programa” resulta difícil conseguir que se mantengan.El estudio comparativo de programas requiere gran cantidad de dinero y destrezas de administración de la investigación. A pesar de estos obstáculos, conserva el potencial de realización de contribuciones importantes a nuestra comprensión de lo que es programa social. La experiencia nos indica que valdrá la pena los esfuerzos y los gastos sobre todo en tres circunstancias:

1. cuando existan problemas reales, en el momentos en que los encargados se enfrenten a la necesidad de tomar decisiones entre diversas estrategias de acción.

2. cuando los programas están bien definidos, tienen fines semejantes, pero estrategias diferenciadas para alcanzarlo.

3. cuando se tienen pruebas de la viabilidad y fuerza como para concebir esperanzas del éxito. La evaluación comparativa debería ser el esfuerzo de una segunda etapa, luego que de un estudio anterior hubiese mostrado la probabilidad de obtener un resultado positivo.

Hasta que los planificadores no estén convencidos de la utilidad de decisiones que aporta la investigación, la existencia de condiciones necesarias para un buen estudio comparativo será un suceso

fortuito. En el entretanto son dos los sustitutos funcionales: un apoyarse en la teoría y la reproducción.

TEORÍA Y REPRODUCCIÓN

Uno de los elementos para realizar una evaluación útil consiste en el estudio en una perspectiva teórica. Se considera que los programas darán buenos resultados porque satisfagan necesidades, influyan en procesos, pongan en movimiento conjunto de acontecimientos. A medida que vamos haciendo explícitas las suposiciones y que vamos probando los eslabones o los vínculos, comenzamos a acumular conocimientos que pueden ser usados por toda una variedad de marcos de ejecución del programa a los que pueden transferirse. El mayor valor práctico consiste en sus indagaciones respecto a las premisas teóricas del programa.La reproducción constituye una rareza en la investigación sobre evaluación. La investigación repetida tiene un valor fundamental para establecer la confianza en la validez de los resultados de la evaluación. La repetición de resultados es la base de la generalización científica. Y podemos especificar cada vez más las condiciones en que los programas tienen éxito o fracasan y los procesos en virtud de los cuales se producen el éxito o el fracaso.

ANÁLISIS DE COSTO-BENEFICIO

Se considera que el análisis costo-beneficio puede sustituir a la investigación de evaluación, pero, en una lógica de la misma.Gran parte del análisis del costo-beneficio se ha efectuado prospectivamente, y ha consistido en estimar los costos y los beneficios probables a fin de alcanzar un determinado fin. Se ha hecho hincapié en la planeación: en ampliar opciones, estimar que es lo que se gastará en cada opción contra los dividendos que producirá e introducir el análisis en la toma de decisiones; muchas veces el análisis se ha aplicado retrospectivamente, para calcular los rendimientos de las inversiones pasadas. Es este el uso el que más se entrelaza con la evaluación, aunque haya un matiz evaluativo incluso en el análisis prospectivo. En los programas que no hayan sido ensayados escasearán los datos tanto de los costos como de los beneficios, pero conservan su validez. El analista de costo-beneficio trata de descubrir los beneficios de un programa, lo mismo tangible que intangible; examina los costos, así

directos como indirectos; luego trata de expresarlos en una medida común.Al tratar de señalar cuáles son los beneficios, el analista de costo-beneficio tiene que ocuparse de encontrar buenos indicadores de resultados, grupos de control de comparación intervalos para hacer cuentas, de recoger datos válidos; sin embargo, como la determinación de resultados es solo un aspecto del trabajo, y como los análisis de costo-beneficio, provienen de disciplinas que no se especializan en la recolección original de datos, confiará en los registros con que se cuente, en series estadísticas o en cualesquiera fuente que tenga en mano y realizará los ajustes necesarios. Un buen estudio evaluativo tendría gran valor para él, pues luego podría dedicarse más fácilmente a la cuantificación de beneficios y costos.

CUANTIFICACIÓN DE LOS BENEFICIOS

Es difícil cuantificar los beneficios intangibles de un programa. Algunos analistas han renunciado a calcular el valor monetario de intangibles como éstos y se han sujetado a apreciar las utilidades tangibles. Los analistas de costo-beneficio tienen que lidiar con este problema mediante una selección de indicadores de beneficios, y mediante la expresión cualitativa de los factores que no son susceptibles de expresión monetaria.La principal preocupación del análisis de costo-beneficio ha sido el nivel de ingreso nacional; se considera una buena inversión al programa que aumenta el ingreso total; pero la mayoría de los programas encierra lo mismo ganancias de pérdidas. Por consiguiente es importante la distribución de los costos y beneficios. A menudo los costos y beneficios corresponden a sectores diferentes de la población. El analista tiene que calcular la razón costo-beneficio correspondiente a la inversión incrementada. El análisis de costo-beneficio se emplea en estos casos:

a) cuando los datos existentes indican los alcances y el impacto del programa.

b) Cuando los beneficios pueden reducirse a una escala monetaria sin olvidarse de efectos cruciales.

c) Cuando el criterio principal es el nivel de beneficios general y no el cambio en la distribución de beneficios.

Uno de los atractivos de esta clase de análisis es que traslada las conclusiones evaluativas de la descripción hasta el sistema de valores y la terminología encargado de trazar las políticas. Hay algo en los cálculos de costo-beneficio algo tan convincente que quienes

no lo tienen en cuenta parecen andar queriendo recurrir en ineficiencias. Sobre todo en procedimientos para alcanzar fines semejantes, se racionaliza y simplifica el proceso de elección. Aun en los programas desemejantes, cuanto introducen información comparable a las ganancias que produce una inversión social.Tal análisis no puede sustituirse o hacer a un lado la toma de decisiones al reducir la cuestión de la elección. Aun la razón beneficio-costo fuese más elevada para un tipo de programa que para otro, no eligiéramos el programa de los dividendos más elevados. Depende de las metas, pero aporta elementos de claridad comparabilidad y simplificación a situaciones complejas, esto ayuda a trazar la política a expresar con exactitud sus preferencias de valores.

DESDE LA EVALUACIÓN HASTA LA PLANEACIÓN PROGRAMACIÓN Y FORMULACIÓN DEL PRESUPUESTO

Para que la evaluación y el análisis de costo-beneficio puedan ejercer influencia en las decisiones, tiene que existir alguna manera de pasar los datos hasta la decisión, algún sistema para transmitir información y alimentarla al proceso de decisiones. El sistema de Planeación-Programación-Presupuesto que ha puesto recientemente en el gobierno federal tal sistema comienza por el otro extremo, haciendo la definición de los objetivos del gobierno. Los conceptos del SPPP individualmente considerados, pero combinados ofrecen un enfoque sistemático a la planeación gubernamental. Las características del SPPP con las siguientes:

1) descubre y define los objetos fundamentales y considera las actividades de estos objetivos.

2) Señala explícita y sistemáticamente otras maneras de cumplir los objetivos.

3) Estima los costos totales, sin exceptuar los costos de capital y de no capital, a los costos directos y de apoyo.

4) Estima los beneficios de cada acción. Tiene alguna ventaja reducir los beneficios a términos monetarios, puede utilizarse información cualitativa.

5) Presenta las comparaciones de costo y beneficio resultante para cada acción, a la vez que señala los supuestos primordiales y las incertidumbres.

El SPPP se ha ocupado de las opciones futuras de la experiencia pasada; pero al estimar los beneficios esperados, tiene que deducir sus cifras. Aquí debería entrar la evaluación.

El proceso del análisis obliga a pensar en los objetivos de la actividad gubernamental, teniendo presentes beneficios y costos. El SPPP pone en relieve las comparaciones y permite a tomar decisiones en que se pueda disponer.Una de las limitaciones del SPPP es la carencia de buena información. Sin testimonios evaluativos todo el procedimiento se convierte en una serie de suposiciones. Sin datos los ejercicios del SPPP se convierten en un anual girar de ruedas. En parte porque la eficacia de la evaluación no ha mejorado en sus alcances o en su calidad. Además un corto número de cursos de acción podían analizarse en un determinado periodo, gran parte la toma de decisiones y de la formulación de presupuestos llevando a cabo el incremento y los programas consagrados por grupos electorales bien organizados. Se presentaron problemas de operación.Fueron rémoras para el sistema de vinculación al proceso de formulación del presupuesto con sus propias tradiciones y rutinas fijas.Cuando la investigación evaluativa logre recoger testimonios de los beneficios de un programa, el SPPP, o alguna variante del mismo, seguirá siendo un método potencial para vincular los datos de evaluación con el proceso de toma de decisiones.

ANÁLISIS DE LA INFORMACIÓN.

TÉCNICAS PARA EL ANÁLISIS DE DATOS

Esta obra no es lugar para llevar a cavo las técnicas existentes para analizar los datos, especialmente a los estudios cuantitativos, si es preciso abordar para garantizar la fiabilidad, validez y objetividad en la evaluación de procesos de enseñanza y aprendizaje, de no ser así serian inútiles. La garantía de una evaluación bien hecha es

irrenunciable para el profesorado, sus decisiones deben apoyarse en datos fundamentados.Trataremos dos técnicas para el análisis de datos:

1) la triangulación.2) El análisis de contenido.

TRIANGULACIÓN

Puede definirse como la utilización de diferentes medios para comprobar un dato o un indicador. En función de las distintas situaciones serán las fuentes, los métodos, las técnicas, los sujetos, los espacios etc. Se contrasta la información obtenida durante el proceso de enseñanza y aprendizaje, sirviéndose de diferentes enfoques y empleando diversos tipos de datos según los propósitos de la información. No es la triangulación una nueva técnica de obtención de datos, sino el uso de varias para llegar a la validación mediante otras. La evaluación colegiada se fundamenta en la triangulación que ahora abordaremos. Los únicos datos válidos son los distintos medios empleados. Si los datos no resultan coincidentes, conviene proseguir las observaciones, la discusión y el análisis hasta llegar a conclusiones validas del hecho evaluado.Los tipos de triangulación son las siguientes:

Triangulación de fuentes. Triangulación de evaluadores. Triangulación metodológica. Triangulación temporal. Triangulación espacial.

Todos estos tipos de triangulación son aplicables a los procesos de enseñanza y aprendizaje, aunque algunos deben serlo habitualmente, mientras que otros pueden utilizarse para determinar casos en que se ve más clara su necesidad.

ANÁLISIS DE CONTENIDO

La otra técnica es el análisis de contenido, se trata de datos obtenidos desde un enfoque cualitativo/descriptivo de la evaluación. La práctica establece un proceso secuencial para su realización, comprende las siguientes fases generales:

Determinación de la amplitud del análisis. Concreción de la unidad de análisis.

Identificación, selección y estructuración de las categorías de análisis.

Codificación de los datos. Análisis estadístico, en su caso.

También pueden utilizarse otras técnicas citadas por Santos en los siguientes tipos:

Arbóreo funcional. Arbóreo epistemológico. Comprensivo. Abierto. Significativo.

Desde una perspectiva general todo proceso evaluador, pueden formularse unas fases de análisis asequibles a nuestra realidad. Casanova:

Triangulación de los datos. Análisis sistemático del contenido de toda información

obtenida. Profundización, comentario y contraste de los datos entre los

implicados en la evaluación. Concreción y redacción de los resultados en un informe final.

Si se aplica este análisis de contenido a los procesos y resultados de los aprendizajes, este esquema general de trabajo deriva en la necesidad de establecer criterios de evaluación para analizar/corregir los trabajos, los procesos mediante los cuales se han realizado o las pruebas establecidas en determinados momentos del proceso. La corrección de los trabajos para llegar a conclusiones de los aprendizajes, debe realizarse teniendo en cuenta los criterios de evaluación estables por escrito. Por lo tanto, siempre que sea posible, se triangularán los datos en los cuales se evaluarán al alumno(a), y la corrección de los trabajos mediante un análisis de contenido riguroso, que permita corroborar los resultados obtenidos o la evolución durante el proceso de aprendizaje.

INSTRUMENTOS PARA LA RECOGIDA Y EL ANÁLISIS DE DATOS

Es imprescindible contar con instrumentos o registros adecuados a cada una de las técnicas. Constituyen una herramienta necesaria para anotar por escrito los datos conseguidos a lo largo del proceso de evaluación. Indudablemente, es un modelo cualitativo,

descriptivo y con técnicas procedentes del campo de las ciencias humanas para conseguir la información, la necesidad de instrumentos bien elaborados e idóneos para las variadas situaciones que se presenten.A continuación se describen los instrumentos más útiles y aplicables en la realidad y contexto de nuestros centros, ofreciendo modelos entre ellos. Hay que tener en cuenta que estos modelos son pautas del trabajo que después se debe adaptar a la situación concreta en que evalúa y los objetos de su evaluación. Si se quiere evaluar correctamente los procesos del aprendizaje que tienen lugar a cada área, el profesorado debe elaborar sus propios instrumentos para registrar los datos.No existe “receta” mecánica y automáticamente a cualquier proceso de enseñanza y aprendizaje.

ANECDOTARIO

Consiste en una ficha donde aparece el nombre del alumno(a), la observación realizada, fecha y firma del profesor. Los datos que reflejan son la conducta del alumno ya sea positivo o negativo.

ANECDOTARIO RESUMEN

Mensual o trimestralmente puede elaborarse donde se anotan las observaciones a lo largo del mes. Es un buen modo de visualizar el conjunto de la observación obtenida, es la plasmación del comportamiento del alumno.Todo lo positivo durante el proceso de enseñanza y aprendizaje convendrá destacarlo como apoyo para avanzar en la información del estudiante.

LISTA DE CONTROL

Consiste en un cuadro en el cuál se anotan los objetivos que deben alcanzarse o los indicadores que desean valorarse a lo largo del periodo. Sin embargo, no se valora el grado de consecución de cada objetivo, sino solamente si se ha conseguido o no. Si el proceso de aprendizaje que sigue ese grupo es el correcto la lista de control se irá cubriendo en todas sus cuadrículas. Para comprobar la marcha será necesario poner atención dos situaciones:

A) que alguna fila se quede incompleta, lo que significará que ese objetivo no está siendo considerado en la programación, por lo tanto, debe ser trabajado urgentemente.

B) Que en una columna no existan anotaciones, lo que llevará a la conclusión de que ese alumno no está alcanzando los objetivos.

La lista de control es válida para hacer el seguimiento de la evaluación continua y para realizar la evaluación final. La evaluación final no significa examen final. Ésta debe consistir en una reflexión final acerca de lo conseguido, es prescindidle poseer datos rigurosos obtenidos a lo largo del proceso, que pueden anotarse en la lista de control.Otra explicación funcional de la lista de control con objeto de decidir la promoción o no de un alumno de un ciclo siguiente o su titulación al finalizar una etapa educativa.

ESCALA DE VALORACIÓN

Consiste en un registro de datos en el cual se reflejan, ordenada y sistemáticamente, los objetivos o indicadores que pretenden evaluarse, valorando cada uno de los grados, que pueden expresarse en:

Numéricas. Gráfica. Descriptiva.

Escalas numéricas son las que valoran los objetivos o indicadores mediante una serie ordenada de números.

Escalas gráficas son las que valoran los objetivos o los indicadores dentro de un continuo.

Escalas descriptivas son las que valoran, mediante un conjunto de expresiones verbales, el grado de consecución es un objetivo o la valoración de un indicador determinado.

Estas escalas se elaboran para anotar la información necesaria durante el desarrollo de una unidad didáctica, por lo que requiere un ejemplar por unidad para cada alumno. En ella se plasman los objetivos señalados para la unidad. Con objeto de observar u obtener por otros medios los datos necesarios para valorar los objetivos reflejados en escala.

En las escalas pueden registrarse objetivos que impliquen la adquisición de contenidos conceptuales, procedimentales o actitudinales.Suelen ser más utilizadas para la evaluación de actitudes y procedimientos, pues permite la anotación rigurosa y sistemática a lo largo del proceso y las modificaciones oportunas. La escala es cumplimentada por el mismo evaluador que la aplica. Para su elaboración es importante tener en cuenta cinco consideraciones:

Es necesario un ejemplar de escala para cada alumno que se evalúa.

Pueden anotarse en ellas objetivos que implique la adquisición de contenidos conceptuales, procedimentales y actitudinales.

Cada ítem planteado plasmará una sola cuestión para evaluar.

Si aparecen enunciados positivos y negativos en los indicadores de la escala, conviene agruparlos en bloques: al principio los positivos y al final los negativos.

Es recomendable establecer un número par de tramos para valorar el mayor o el menor progreso en relación con cada objetivo.

Dentro de las escalas de valoración, cabe destacar las escalas de autoevaluación, que siguen los mismos esquemas anteriormente expuestos, su misma denominación indica, las respondería la propia persona evaluada, en este caso evaluada por sí misma.

CUESTIONARIO

Consiste en un conjunto de preguntas estructurales acerca de un tema; habitualmente se aplica por escrito a un determinado grupo. Es el instrumento adecuado para conseguir la información mediante la encuesta.El cuestionario puede ser:

a) de recogida de información para una encuesta.b) De control de procesos y resultados del aprendizaje.

CUESTIONARIO DE RECOGIDA DE INFORMACIÓN PARA UNA ENCUESTA

Se aplica a una muestra de población o a una población entera. Resulta útil cuando es preciso conseguir información en un tiempo limitado, circunstancia que haría inviable su obtención mediante la entrevista posee el anonimato de las respuestas siempre que se considere oportuno, lo que da garantía sobre la veracidad de los datos.Cuando se elabora un cuestionario es preciso respetar los requisitos que debe reunir para que cumpla su función y pueda ser cumplimentado sin problemas. Estos requisitos son los siguientes:

Lenguaje claro y adaptado a la población. Utilización de términos bien definidos, de manera que la

pregunta no se preste a interpretación dudosa. Preguntas únicas en cada cuestión planteada. Planteamiento no directivo de las preguntas, sin utilizar dobles

negaciones que las oscurezcan. Texto de la pregunta sin suposiciones implícitas, que pueden

responder o no a la realidad. Las preguntas deben reunir toda la información relevante para

la evaluación que se lleve a cabo. Anonimato de las respuestas, para avalar la confidencialidad

de las mismas y garantizar su veracidad. Aplicación del cuestionario a la población apropiada. Formato sencillo, que facilite su cumplimentación.

De acuerdo con el tipo de respuestas el cuestionario puede ser de tres tipos:

Cerrados Abiertos Mixtos

Los cuestionarios cerrados plantean preguntas que deben contestarse con un “si” o “no” o señalando uno de los apartados de opción.

Los cuestionarios abiertos plantean las preguntas sin sugerir ningún tipo de respuesta, dejan espacio para que el sujete exprese todo lo que considere oportuno.

Los cuestionarios mixtos están integrados por preguntas abiertas y cerradas, de modo que la mayor parte de la información resulte codificable

El cuestionario es aplicable y útil para diversos ámbitos de la evaluación; se emplea en los diferentes componentes del centro educativo y también en los procesos de enseñanza.

CUESTIONARIO DE CONTROL DE PROCESOS Y RESULTADOS DE APRENDIZAJE

Si el tipo de registro que estamos tratando contiene preguntas de las unidades que se desarrollan en el aula, por lo tanto en torno a los aprendizajes que van adquiriendo, nos encontramos ante los diferentes tipos de pruebas y planteamiento de trabajos que llevan a cabo la heteroevaluación de los estudiantes. Debe eliminarse el anonimato, pues tienen que servir para la valoración de cada sujeto.En cualquier caso, cuando se aplique un cuestionario para llegar al conocimiento del proceso y resultado será conveniente que:

Resulte comprensivo de las facetas más importantes de ese aprendizaje que se pretende.

Integre aprendizajes conceptuales y procedimentales. Plantee situaciones en la que sea posible manifestar

determinadas actitudes o puntos de vista. Permita valorar todos los objetivos básicos propuestos con el

trabajo llevado a cabo. Se evalué rigurosamente, mediante el establecimiento de los

criterios de evaluación. Se triangulen los datos de su valoración, con su

comprobación a través de otras técnicas o instrumentos o mediante el contraste con otros evaluadores.

SOCIOGRAMA Y PSICOGRAMA

Son dos formas gráficas de representación de los resultados obtenidos después de aplicar las técnicas sociométricas. Para llegar a ello es necesario establecer, el modelo de test sociométrico, con objeto de detectar las preferencias intelectuales y afectivas y los rechazos que pueden existir.Una vez cumplimentado el test por parte del grupo, en una aplicación colectiva y por escrito.El vaciado de los datos se plasma en la tabla sociométrica, al final del vaciado, se suman las elecciones obtenidas. Es interesante detectar, mediante el sociodrama:

La aceptación que un alumno posee en un grupo. El grado general de cohesión del grupo. La existencia o inexistencia de un líder. La localización de sujetos aislados, que no reciben ninguna

elección. La existencia o inexistencia de sujetos rechazados por el

grupo.Cualquiera que sea el modelo de instrumentos en el que se refleje la estructura del grupo, es recomendable que sea sencillo en su plasmación gráfica, pues facilita su correcta interpretación y posible análisis para la toma de decisiones.

DIARIO

La toma de datos más personal, menos formalizada pero más rica en interpretaciones y reflejo de las situaciones que van sucediendo desde el enfoque subjetivo, suele realizarse en el diario, como instrumento en el que se anotan hechos importantes. También se suelen registrar datos en torno a la programación que el docente desarrolla. Representa las experiencias, observaciones y estudiadas reflexiones de un participante. En un diario no hay restricciones de ningún tipo. El escritor es sincero y abierto.Al ser un documento que no se pretende enseñar a nadie, tiene la ventaja de la veracidad de los datos que se reflejen en él. Con el paso del tiempo, nuestra memoria selectiva hace que desechemos mucha información, esa información solo es recuperable si la hemos plasmado, en nuestro diario personal/profesional.

GRABACIÓN

Dadas las dificultades que plantea la observación rigurosa y el registro de información en casos específicos, como pueden ser relativos a la toma de datos en situaciones de comunicación ora, de manifestación de determinadas actitudes, de lenguaje, la grabación en cinta magnetofónica, en video o en fotografía resulta de gran utilidad.La grabación permite la reproducción permanentes de las situaciones, lo cual se puede escuchar cuantas veces sea necesario.

Todos los datos grabados por cualquier medio son pretexto para el diálogo entre evaluadores y alumnos.La grabación presenta ciertos inconvenientes:

Hay que contar con la aceptación por parte de todas las personas implicadas y su conocimiento de la finalidad del programa.

Aunque parece garantizar la objetividad por el reflejo fiel de los hechos, hay que tener en cuenta que el enfoque de las cámaras puede ocultar aspectos importantes.

Algunas personas pueden inhibirse al saber que se está grabando una determinada actividad.

Ante estos cuestionamientos, cabe plantearse la conveniencia o inconveniencia de utilizar grabaciones. La riqueza de datos que ofrece una grabación en video o en cinta es enorme. Igualmente, las posibilidades de autoevaluación y coevaluación que presenta son interesantes.

ELABORACIÓN DEL INFORME Y LA DIFUSIÓN DE LOS RESULTADOS.

EL INFORME DE EVALUACIÓN.

Todo proceso debe finalizar con la emisión de un informe que resuma la valoración de los datos más relevantes obtenidos durante el proceso y que refleje los resultados alcanzados.

Está obligado el profesorado a comentar todas cuestiones, do forma oral, para que el proceso de aprendizaje mejore de modo continuo: afianzando lo positivo y superando las dificultades que surjan.No obstante es obligado ofrecer una información periódica y por escrito. En coherencia hasta ahora este informe debe plasmar el momento de aprendizaje. Los pasos necesarios hasta llegar al informe serán:

a) Elaborar una lista de control, donde se reflejen los objetivos propuestos.

b) Resumir la formulación de los objetivos y seleccionar los más importantes.

c) Transcribir estos objetivos a un modelo de informe que permita valorarlos.

d) Reunir en un apartado específico las actitudes y serán valoradas por el profesorado.

e) Valorar los objetivos que aparecen en el informe.f) Formular las observaciones necesarias para que el alumno

continúe adecuadamente sus aprendizajes.

También es posible utilizar otra terminología, no estándar, sí sencilla, que no se identifique con las normas legales, de manera que favorezca el establecimiento de equivalencias no deseables. Otra opción, es el informe abierto, en el cual se redactaría todo lo importante acerca del proceso de aprendizaje. Este modelo no necesita modelo establecido alguno, sino el acuerdo por parte de todos. En cualquier informe descriptivo hay que cuidar la terminología. Otro tipo de informe es el que necesariamente se debe redactar cuando un alumno cambia de centro, finaliza un curso o ciclo.

TÉCNICAS Y PROCEDIMIENTOS PARA LA RECOGIDA DE INFORMACIÓN.

TÉCNICAS PARA LA RECOGIDA DE DATOS

Las técnicas que se utilicen para ello deben estar en consonancia y ser congruentes con el modelo y método de evaluación aplicadas. Con el resto de elementos que se utilicen durante el proceso evaluador con la finalidad que éste pretenda. Si la evaluación es

formativa todos los componentes deben serlo. Si es cualitativa, también han de responder a las técnicas e instrumentos.Las técnicas empleadas ara la obtención de datos han de favorecer que ésta resulte rigurosa, sistemática controlada y completa que se considere necesario el modelo de evaluación cumpla sus finalidades; es decir, que permita mejorar el proceso de enseñanza y aprendizaje.A continuación de presentan los instrumentos que suelen ser empleados durante esta recolección, acotando las virtualidades de cada uno de ellos.

OBSERVACIÓN.

Considerada como técnica para obtener datos consiste en el examen atento que un sujeto realiza sobre otro u otros sujetos o sobre determinados objetos y hechos, para llegar al conocimiento profundo de los medios mediante la consecución de una seri de datos, generalmente inalcanzables por otros medios.La observación es un proceso cuya función es recoger información sobre el objeto que se toma. Hay que tener en cuenta que la observación es la mayor fuente de datos, por lo que se utiliza en los procesos de evaluación. Ofrece información permanente a la persona acerca de lo que ocurre en su entorno.Para que los datos obtenidos por observación posean la finalidad y validez necesaria, debe plantearse una serie de características, entre las que cabe destacar:

Planificación. Definición clara y precisa de los objetivos. Sistematización. Delimitación de los datos que se deben conseguir. Registro de datos en los instrumentos o soportes

convenientes. Triangulación de las observaciones realizadas.

Se distinguen dos tipos fundamentales de observación: La participante. La no participante.

En la observación participante, el observador está integrado, en mayor o menor medida, en el grupo a que debe observar.En la observación no participante, el observador es absolutamente externo al grupo, se mantiene al margen de las situaciones y de las relaciones de sus miembros.

ENTREVISTA

Puede definirse cono una conversación intencional, también se conceptúa como un cuestionario.Esta técnica suele utilizarse en el campo clínico, investigador, orientador y de los medios de comunicación. Por ello las funciones son de carácter diagnostico, terapéutico, evaluador, investigador, orientador e informativo. Centrándola como medio para obtener información ofrece ventajas en comparación con otras técnicas entre las cuales cabe destacar:

Garantía de que los datos obtenidos son ciertos. Posibilidad de captar la actitud del entrevistado hacia el

problema o tema que se presente. Profundidad con las respuestas obtenidas.

Para que la entrevista satisfaga es necesario que las preguntas se ajusten a la situación que se investiga, siendo claras, precisas y objetivas.Sin embargo, la entrevista presenta ciertas dificultades como son:

El tiempo y la dedicación. La preparación previa. El sesgo de la información.

Por lo que se refiere al entrevistado, también plantea ciertos condicionamientos para la obtención de datos fiables y objetivos entre ellos están:

El afán de ser bien valorado. Influencia de una visión personal del problema. Ausencia de anonimato.

También esta técnica debe reunir una serie de condiciones para que pueda ser realizada en el proceso evaluador. Se destacan:

Definición clara de sus objetivos. Delimitación precisa de la información que se desea

conseguir. Conocimiento previo del tipo de relación que mantienen

entrevistador y entrevistado. Garantía para el entrevistado de reserva y confidencialidad en

cuanto a la información.

Registro de la conversación mantenida o de sus datos más destacados.

Los tipos de entrevista que pueden adoptarse, según los objetivos son: formal (estructurada, semiestructurada o abierta).

La entrevista formal es la preparada previamente. A su vez presenta grados de estructuración o apertura. En función de éstos, la entrevista será:Estructurada, cuando se sigue un cuestionario elaborado con antelación.Semiestructurada, en la que se sigue el cuestionario preestablecido, con la flexibilidad para modificar las preguntas.Libre o abierta, cuando está concertada de antemano sin guión determinado.La entrevista informal es la que no tiene preparación previa y en la que el entrevistador consigue información relevante que pueda aparecer espontáneo.

ENCUESTA

Consiste en la obtención de información relativa a un tema, problema o situación determinada, que se realiza habitualmente la aplicación de cuestionarios orales o escritos. Los objetivos de la encuesta pueden centrarse en:

Averiguar y describir las condiciones existentes en el desarrollo de la situación evaluada.

Descubrir formas de conducta o de funcionamiento con las que se puede comparar situaciones anteriores.

Determinar las relaciones existentes entre diversos acontecimientos o situaciones y entre personas.

De acuerdo, con la situación que se vaya a evaluar y las exigencias que la misma presenta para el estudio, la aplicación de la encuesta puede resultar sencilla o ciertamente compleja. En cualquier caso, requiere:

Conocer claramente la finalidad que se pretende con su utilización.

Determinar la población a la que se dirige, que debe poseer la información que se solicita.

Disponer de los recursos necesarios para llevarla a cabo.

Refiriéndose a la evaluación de los procesos de enseñanza y aprendizaje, cabe concretar la aplicación de la encuesta:

A) Al alumnado de un grupo: Para obtener información sobre los objetivos y

contenidos que han alcanzado tras el trabajo desarrollado.

Para solicitarle información acerca de las diferentes elementos de la programación.

B) al alumnado, profesorado y familias, de un centro para obtener datos acerca de la coherencia en la aplicación práctica en los proyectos institucionales.

SOCIOMETRÍA

Es una técnica que ofrece información acerca de la estructura interna de los grupos. Con su utilización se conocen los modos de agrupamiento espontáneos que aparecen en ellos, al igual de rechazos claros con relación a algún o algunos sujetos de los mismos.Su iniciador Jacob Levy Moreno la define como: el estudio de la evolución de los grupos y de la posición que en ellos ocupan los individuos, prescindiendo del problema de la estructura interna de cada individuo. Su aplicación en los procesos de enseñanza y aprendizaje se justifica por la incidencia reconocida que tiene una buena integración del individuo en el grupo y el adecuado clima del mismo para alcanzar un rendimiento adecuado.La utilización de las técnicas sociométricas es provechosa. Por otra parte, una vez representados los datos gráficamente favorecen:

comprobar la influencia que posee un líder dentro de un grupo.

Analizar el modo de funcionamiento de los grupos en los que no aparece líder alguno.

Determinar las consecuencias que tiene en el grupo la incorporación de nuevos sujetos.

Observar el grado de aceptación social. Estudiar la influencia que tienen ciertos factores diferenciados.

COLOQUIO

Consiste en un intercambio oral sobre un tema prefijado, mantenido por varias personas. Todos los participantes son receptores y emisores.La virtud del coloquio en el proceso de recolección de datos se concentra en:

a) Su utilización en situaciones de evaluación inicial o diagnóstica de un grupo de alumnos.

b) Su utilización en situaciones de coevaluación.

TRABAJOS DEL ALUMNO

En este va incluido todo tipo de tareas, ejercicios o actividades que los alumnos realizan en el aula o fuera de ella.Los objetivos que se pretenden conseguir y los contenidos seleccionados por ello, el alumnado debe realizarlo para llegar a los aprendizajes consecuentes. Cada una de las etapas educativas y las diversas áreas o materias curriculares requieren la práctica de tipos de trabajo diferenciado, ajustado a la madurez y a la especificidad de la disciplina.

ALCANCE Y UTILIDAD DE LOS RESULTADOS DE UNA EVALUACIÓN.

¿QUÉ NOS PUEDE DECIR UNA EVALUACIÓN?

Una cosa son los resultados de una evaluación y otra es el proceso de construcción de decisiones que implica una de carácter instrumental técnico y otra de carácter político.

Este asunto es equilibrar la efectividad de una acción educativa con la oportunidad política.Todos los datos fueron insuficientes por algo que se podría denominar, la sobre valoración de los datos “duros” que nos dan las pruebas objetivas de rendimiento, es decir, la supuesta prueba fehaciente de la efectividad de una acción educativa, que forman parte de una cultura y un colectivo sobre la evaluación y la calidad de la educación.Los estados del arte de la investigación de las innovaciones educativas y sus efectos en el mejoramiento de los rendimientos escolares indicaban resultados no concluyentes. La historia de la investigación educativa para el siglo XX realizada para determinar a través de pruebas de rendimiento, si los cambios en los modelos, procedimientos e instrumentos tenían un efecto positivo y significativo en los aprovechamientos escolares, indica la inutilidad de la investigación basada sobre las premisas.Sabemos que no vamos a encontrar diferencias entre los resultados de las pruebas y lo que han sido expuestos a modificaciones en los patrones didácticos. Ese enfoque de investigación plantea problemas falsos o una premisa parcialmente verdadera sobre la efectividad. El aprovechamiento, o con mayor precisión, el aprendizaje, es un fenómeno multifactorial por un solo método de verificación y una sola hipótesis de intervención.Los elementos de la validez de constructor hipotético que dio como resultado el diseño de una prueba de competencia elaborada por la Dirección General de la Evaluación de la SEP. Con esto se hizo una comparación entre alumnos de primaria y secundaria.El resultado fue: no había diferencia significativa.La enseñanza de la historia de la evaluación, es la centrada en las pruebas estandarizadas que nos dicen lo que hay que hacer, para mejorar las tareas educativas.Dicho lo anterior, cabe mencionar, como evaluadora, la existencia de un Instituto Nacional de Evaluación de la Educación por su significado para nuestro sistema educativo. El INEE está dedicado a los sondeos de calidad educativa medida por medio de pruebas, aunque están haciendo un trabajo de evaluaciones de centros escolares.

ELABORACIÓN DEL ESTADO DEL ARTE SOBRE LA EVALUACIÓN EDUCATIVA EN MÉXICO.

En 1980 la Comisión de Evaluación de la cobertura y la calidad de la Educación, tenía como tarea realizar un estado del arte de evaluación en México, tomando como límite temporal la década de los años 60 y 70.La primera presidenta de la comisión fue la que dirigió el primer intento de hacer un documento aceptable sobre el estado del arte respectivo.

LA EVALUACIÓN EDUCATIVA

La evaluación educativa nace en los Estados unidos en los primeros años del siglo XX. Los críticos resaltan Atkin, Cronbach, Scriven, Stake, Parlett, Hamilton y Stenhouse. La evolución del concepto de evaluación educativa tuvo cuatro conferencias en los años sesenta en Inglaterra.

1. en 1972 en ella se estableció que la evaluación debería

responder las necesidades, iluminar los procesos, ser relevante para las decisiones, y reportase en un lenguaje accesible.

2. en 1975 estuvo centrada en los métodos de la investigación mediante estudio de casos.

3. en 1979 se examinó el uso de los métodos naturalistas.4. en 1987 se abordó el tema del desempeño y las formas de

evaluar.

La evaluación en México tuvo gran impulso y aceptación en esto influyó la creación de CENEVAL en 1994 y del INEE en 2002. Las tareas de la evaluación en la población infantil están a cargo de:

INEE CENEVAL SEP SICRAE IDANIS SIME

La evaluación no tiene un solo significado, no es solo la aplicación de pruebas o exámenes sino otros objetivos que van más allá de la medición, es un asunto de conocimiento y de metodología. Es considerada como un mecanismo de control administrativo de poder y dominio.Tiene dos funciones básicas:

La evaluación como control administrativo. La evaluación como recurso de mejoramiento.

El Centro de Altos Estudios e Investigación Pedagógica hizo un análisis para evaluar cada una de las asignaturas en la educación primaria en 1993

Español. Matemáticas. Ciencias Naturales. Historia. Geografía. Educación Cívica.

La evaluación es una inversión para el desarrollo de un país. En México los últimos 30 años ha sido parcialmente cubierta pero en calidad educativa a sido insuficiente. En concreto se refieren tres temas de “decálogo de debilidades”:

Evaluación Individualización y reprobación. La investigación pedagógica.

ORIGEN DE LA EVALUACIÓN EDUCATIVA

Los orígenes de las decisiones evaluadoras son atribuidos por los griegos, los exámenes por los chinos, las modalidades evaluativas en Grecia y Roma. En el siglo XX la evaluación está vinculada al proceso de industrialización de Estados Unidos.Los acontecimientos más significativos de la evolución se pueden determinar en cinco periodos:

Periodo preTuler. Época tyleriana. Época de la inocencia. Época del realismo. Época del profesionalismo.

CONSTRUCCIÓN DEL CONCEPTO DE EVALUACIÓN EDUCATIVA

CONCEPTO DE EVALUACIÓN

Siendo el concepto más mencionado es el que menos aportaciones tiene, su origen es de contradicción en el efecto del análisis o planteamiento del mismo, ha ido evolucionando como concepto y como método. Para entenderlo claramente además de su significado se tiene que entender su relación en el proceso de enseñanza-aprendizaje.Su significado y su finalidad no puede lograrse de manera tan clara y contundente: evaluar es conocer para mejorar.El en entorno docente se identifican dos conceptos:

Evaluación. Examen.

A MODO DE CLASIFICACIÓN.

MEDIOS DE

INSTRUCCIÓN

CURRÍCULO

PRÁCTICA

DOCENTE

PROCESO

EDUCATIVO

ANÁLISIS INSTITUCIONAL

IMPACTO SOCIAL

SISTEMAS

EDUCATIVOS

APRENDIZAJE

OBJETOS DE

EVALUACIÓN

En la vida docente se ha desatado una batalla de los términos de evaluación de la cuál de hace una síntesis de las clasificaciones para el tabú de la evolución y sus clases.

En función de su fundamento psicopedagógico. En función del momento que se aplica en el proceso de

aprendizaje.

LA EVALUACIÓN DEL APRENDIZAJE EN LA NORMATIVA ACTUAL.

La evaluación esta sometida a dos niveles de concreción: La normativa establecida en los decretos curriculares de cada

etapa. La adaptación que los centros establecen en los proyectos

curriculares.

LOS CRITERIOS DE EVALUACIÓN EN EL PROYECTO CURRICULAR.

En este criterio se tienen previas las propuestas de la evaluación desarrollada en el aula.

PAPEL DE LA EVOLUCIÓN EN EL AULA.

Se destacaron tres puntos para que la Administración desarrollara el concepto de evaluación:

Presencia en el proceso de enseñanza-aprendizaje. Carácter formativo de la evolución. Evaluación y orientación.

DIMENSIONES DEL APRENDIZAJE

Una perspectiva constructivista, el conocimiento se desarrolla en dos dimensiones:

Aprendizajes nuevos que incrementen la cantidad. Complejidad de dichos aprendizajes.

COMO EVALUAR

Por medio de conocimientos del desarrollo de los objetivos y de los criterios. Es fundada por dos circunstancias:

El material didáctico. Planificación de la evaluación.

ANÁLISIS DE LA ENSEÑANZA Y LA EVALUACIÓN DEL APRENDIZAJE SEGÚN LOS MODELOS PEDAGÓGICOS.

La pedagogía solo es para niños.

PERSPECTIVAS Y MODELOS PEDAGÓGICOS.

Un modelo pedagógico representa el acto de enseñar y responder preguntas de manera sistemática y coherente mediante sus criterios de elegibilidad. Y los diferentes modelos del mismo son:

El modelo pedagógico tradicional. El modelo pedagógico romántico (experiencial o naturalista). El modelo pedagógico conductista. El modelo pedagógico social-cognitivo.

CONCLUSIÓN.

Se ha caracterizado las perspectivas pedagógicas para mostrar las posibilidades y alternativas de enseñanza y evaluación. Tiene sus ventajas no es perfecto ni aplicable por completo. Solo es una alternativa del profesor del cual es responsable del aprendizaje de sus alumnos.

INVESTIGACIÓN Y EVALUACIÓN:SEMEJANZAS Y DUFERENCIAS.

COMPARACIÓN ENTRE LA EVALUACIÓN.Y OTRAS INVESTIGACIONES.

La evaluación se plantea por medio del diseño, medición y análisis, a diferencia de la investigación ya que no es un método de estudio sino la intención, el objetivo o finalidad con el que se lleva a cabo.Entre sus diferencias están:

Uso para la toma de decisiones. Interrogantes derivados del programa. Calidad del juicio. Marco de acción. Conflictos entre papeles. Publicación. Fidelidad.

Sus semejanzas son: Describir. Comprender.

La evaluación se considera inferior a la investigación, los cuales son considerados como zánganos en el círculo académico.

LA EVALUACIÓN COMO PROCESO DE INVESTIGACIÓN

EL FRACASO DE LA INVESTIGACIÓN EDUCATIVA CONVENCIONAL.

Tal fracaso fue producido por dos distorsiones:

1. Involucrar una metodología diseñada para los estudios experimentales, de la que se deriva en cuatro pasos:

La observación de los hechos. La hipótesis. La experimentación. La generalización.

2. Aplicar teorías y marcos conceptuales extraños.

EL PROFESOR QUE EVALÚA Y EL INVESTIGADOR QUE ENSEÑA

El profesor que evalúa desempeña como preeminencia y responsable en el oficio, de la participación y actividad del estudiante depende el concepto del profesor tradicional o cognitivo del carácter de enseñanza para el dominio de la materia.El profesor investigador es totalmente diferente se caracteriza por ser:

Indagador. Actitud hermenéutica. Actitud dialéctica del indagador.

EVALUAR ES INVESTIGAR

La investigación en una interpretación cualitativa la cual puede identificarse con la evaluación por medio de los argumentos razonables y situaciones de enseñanza que consisten en comprender, evaluar, distinguir y resolver.

FUNSIONES DE LA EVALUACIÓN.

OBJETIVOSDE LA EVALUACIÓN

La evaluación es un estudio para obtener información y tomar decisiones de un programa, la cual, resulta en vano sino es aplicada en dicho programa.

No vale la pena realizarse cuando:

No se tiene nada que preguntar, El tema es claro, No se ponen de acuerdo las personas que la integran No se cuenta con el suficiente dinero para realizarse.

Las razones por la que se realiza son:

Aplazamiento. Eludir responsabilidades. Relaciones públicas. A fin de cumplir con los requisitos de un donativo.

La evaluación se divide en formativa y sumativa, y se encargan en la información del desarrollo del currículo que puede ser antes y después del mismo.

Los encargados en utilizar la evaluación son los siguientes:

Organización que concede el subsidio económico. Organismo nacional. Organismo local. Los directores de un proyecto específico. El personal del servicio directo. Clientes del programa. Académicos de diversas disciplinas.

EVALUACIÓN INTERNA Y EXTERNA

La estructura de la evaluación puede ser integrada por los mismos que llevan a cabo la investigación, por extraños que presten servicios para consulta y por organizaciones de investigaciones de fuera.

Para que una evaluación sea interna o externa deben tomarse en cuenta los siguientes factores:

Confianza de los administradores. Objetividad. Comprensión del programa. Potencial de utilización. Autonomía.

Los niveles están estructurados por:

Evaluadores. Administradores. Investigador. Organización encargada del programa.