TENDENCIAS EVALUACION.pdf

7/25/2019 TENDENCIAS EVALUACION.pdf

1/13

TENDENCIAS EN EVALUACIN

ERNEST

R. HOUSE *)

Cuando, hace ms de veinte aos, comenc mi carrera como evaluador, re-

cog todos los artculos que pude encontrar sobre esta materia, los coloqu en

una carpeta en un rincn de mi despacho y los le en un mes. Desde entonces

la evaluacin de programas se ha ido transformando, de ser una actividad pe-

quea y marginal, llevada a cabo por acadmicos a tiempo parcial, a convertir-

se en una industria profesionalizada, con sus propias revistas, sus premios, con-

venciones, organizaciones y

standars

El concepto de evaluacin, incluso, tiene

su propia entrada en el ictionary

of odern Thought

Bullock, Stallybrass

Trom bley, 1988) 1).

Durante todo este tiempo, tanto las bases estructurales como los pilares con-

ceptuales del campo de la evaluacin han cambiado profundamente. Mientras

que estructuralmente se ha ido integrando cada vez ms en el funcionamiento

organizativo de las instituciones, conceptualmente se ha desplazado desde la utili-

zacin de nociones monolticas al pluralismo conceptual y a la utilizacin y la

aceptacin de mtodos, criterios e intereses mltiples.

La evaluacin se define normalmente como la determinacin del valor de

algo; en nuestro caso, de los programas, las polticas y el personal educativos,

juzgados de acuerdo con criterios apropiados que han de ser, a su vez, explica-

dos y justificados. En el mejor de los casos, la evaluacin de programas sociales y

educativos aspira a ser una institucin para la democratizacin de las decisiones

pblicas, haciendo posible que los programas y las polticas estn ms abiertos al

escrutinio y a la deliberacin pblicos. En este sentido, la evaluacin debera ser-

vir a los intereses no slo de los patrocinadores, sino tambin de la sociedad, en

*)

Universidad de Colorado en Boulder.

1)

El concepto de evaluacin viene definido en dicho diccionario por Barry MacDonald, otro eva-

luador, en los siguientes trminos: En educacin, el proceso de adquisicin de informacin, normal-

mente para administradores y profesors, sobre los efectos y valores de las actividades educativas

Citado por la edicin inglesa; Bullock

et

aL

1988,

p. 291). N. de T.)

Revista de Educacin nm. 299 1992). pgs. 4935.

3


2/13

general, y de los diferentes grupos que comprende. Pero por supuesto, la evalua-

cin no siempre ha cumplido estas nobles aspiraciones.

CAM BIOS ESTRUCTURALES

El ms fuerte impulso para su desarrollo vino a travs de la legislacin pro-

mulgada por Lyndon Johnson para la Gran Sociedad, que aunque no fuera ca-

paz de cambiar la sociedad norteamericana en su totalidad, transform, cierta-

mente, la investigacin educativa. Debido a la insistencia del Senador

Robert

Kennedy,

la Ley sobre Educacin Primaria y Secundaria

Elementary and Secon-

dary E ducatum A ct) 2)

de 1965 aprob la evaluacin de los programas destinados

a los nios con desventajas sociales, extendindose este mandato, con el tiempo,

a todos los programas sociales e, incluso mucho ms all de las intenciones ori-

ginales, a otros programas educativos MacLaughlin, 1975). Antes de 1965, el tr-

mino evaluacin vena a significar el empleo de tests o evaluacin del currcu-

lum; estando el trabajo concentrado en un puado de especialistas en medicin

que se afanaban por mostrar la validez de los nuevos currcula propuestos. Des-

pus de 1965, el campo se pareca a los antiguos campos de oro de California,

con un gran nmero de investigadores llegados de diferentes y dispersas discipli-

nas intentando ofrecer sus ideas sobre cmo deberan hacerse evaluaciones. Jun-

to a especialistas en medicin y en contenido, se poda encontrar psiclogos, so-

cilogos, administradores e incluso algunos filsofos. Por esto, y aunque la eva-

luacin estuviera dominada inicialmente por el punto de vista psicolgico de lo

que era la investigacin, la nueva mezcla de gentes, ideas y problemas estaba

creciendo y madurando.

El campo se convirti en multidisciplinar, con tradiciones separadas y ml-

tiples opciones en desarrollo. Los evaluadores educativos suelen fechar hist-

ricamente sus comienzos en

Ralph Tyler,

los provenientes de la psicologa en

Donald Campbell y los de la sociologa en Edward Suchman 3). Su experiencia

previa con los tests y con el desarrollo del currculum supuso una ventaja para

los primeros que les ha convertido en los tericos ms influyentes, una vez con-

solidada la disciplina. Este es, desde luego, un logro inusitado para los investiga-

dores educativos, a quienes raramente se les concede un

status intelectual seme-

jante al de otros cientficos sociales.

De esta extraa mezcla emergieron algunas escuelas de evaluacin: Illinois,

con su larga experiencia en medicin y desarrollo curricular; Northwestern, con

sus diseos experimentales duros; Western Michigan, con su hincapi en la

toma de decisiones; UCLA, con el centro federal de investigacin y desarrollo; y

Standford, con sus esfuerzos interdisciplinares. Los proyectos se multiplicaron,

2

Vase nota

5 .

3 El autor se refiere a las siguientes obras: R.

Tyler 1949)

aunque los primeros escritos sobre

evaluacin de este autor datan de

1934,

una buena seleccin de sus trabajos se encuentra en

Madaus

y Stuffiebeam 1989 ,

D.

Cam pbell 1969), Cam pbell

y

Stanley 1963) y E.

Suchman 1967).

N. de T.)


3/13

los modelos de evaluacin proliferaron y se erigieron nuevas organizaciones. El

campo de la evaluacin se desarroll en este fermento intelectual y de contradic-

ciones por ms de una dcada, hasta que llegaron los recortes presupuestarios

en los programas sociales. Los aos de Reagan dieron pocas oportunidades a la

evaluacin, al menos a la evaluacin externa y basada en contratos; entrando en

una existencia ms sobria y adormecida, muy distinta de la correspondiente a

los anteriores das de la fiebre del oro.

No obstante, durante la apaciguada poca de los ochenta, otros cambios se

hicieron notar. La evaluacin pareci convertirse en algo demasiado importante

como para ser dejado en manos de los evaluadores. Las grandes burocracias des-

arrollaron sus propias agencias de evaluacin. No slo los distritos escolares y los

departamentos estatales de educacin, sino tambin organizaciones como el

FBI ,

el Ministerio de Alimentacin y Drogas y la Oficina General de Economa crea-

ron sus propios equipos internos de evaluacin. La aparicin de estas unidades

internas plante de inmediato nuevos problemas de credibilidad y procedimien-

to, dado que gran parte de la teora sobre la evaluacin haba sido construida y

fundamentada en razn de relaciones contractuales entre evaluadores externos y

organizaciones. Frente a quin son responsables los evaluadores internos?Qu

grado de publicidad debe tener su trabajo? Qu controles cientficos son posi-

bles? stas y otras cuestiones aparecieron a medida que la base estructural de la

evaluacin cambi.

Junto a ello, las nuevas reformas escolares iniciadas por las legislaturas es-

tatales, durante los aos de Reagan en la presidencia, marcaron un renovado

nfasis en los tests estandarizados de rendimiento con el claro propsito de

centralizar la exigencia de responsabilidades administrativas 4); por lo que, y

de modo creciente, los tests se emplearon mucho ms con propsitos de disci-

plina que de diagnstico. La interpretacin de los resultados de los tests se

transform claramente en un problema poltico, en el que los intereses ideol-

gicos sustituyeron a las causas putativas del declive o el resurgir educativo. In-

cluso el currculum de las escuelas comenz a reflejar el contenido que los

tests medan. Los evaluadores educativos, que haban pensado que ya estaban

lejos de considerar las puntuaciones de los tests como el nico criterio de xi-

to, se encontraron, en comparacin con tiempos pretritos, con una desmesu-

rada utilizacin de los mismos.

CAMBIOS CO NCEPTUALES

En parte como respuesta a las transformaciones estructurales operadas entre

1965 y 1990, la metodologa, la filosofa y la poltica de la evaluacin cambiaron

tambin sustancialmente. La evaluacin se desplaz de posiciones monolticas a

4)

En este contexto, el significado de la expresin inglesa utilizada por el autor,

accoun tabd i t y

est

directamente conectado con una forma tecnocrtica de valorar y burocrtica de exigir el cumplimien-

to de obligaciones. N. del T.)


4/13

concepciones pluralistas: una utilizacin de mtodos, medicinas, criterios, pers-

pectivas, audiencias e incluso intereses mltiples. Metodolgicamente, transfor-

m su nfasis inicial en los mtodos cuantitativos, en los que los tests estandari-

zados de rendimiento empleados en los diseos experimentales con grupos de

control elegidos al azar eran tenidos en la ms alta consideracin, a una actitud

mucho ms permisiva por la que los mtodos de investigacin cualitativos co-

menzaron a ser aceptados. Hasta el punto de que ahora el empleo simultneo

de mtodos cualitativos y cuantitativos es algo rutinario en ese espritu de ecu-

menismo metodolgico en el que nos encontramos. Habiendo alcanzado la legi-

timidad necesaria en la comunidad cientfica, los evaluadores cualitativos han co-

menzado a disputar entre s.

Filosficamente, los evaluadores dejaron de creer que su disciplina era una

disciplina neutral y asumieron que su prctica implicaba promover los valores

e intereses de unos grupos sobre otros; aunque no acostumbran tener claro, en

absoluto, qu hacer con semejante descubrimiento. Adems, los evaluadores

tuvieron que hacer frente a la disyuntiva, en apariencia conflictiva, entre ser

cientficos, por un lado, y tiles, por otro. Polticamente, por ltimo, se movie-

ron de una esfera en la que se conceban a s mismos como tcnicos expertos

opuestos a los males de la poltica, a otra en la que ahora admiten, francamen-

te, que la evaluacin misma es una actividad con efectos e implicaciones polti-

cos. Estos cambios conceptuales fueron estimulados por la rpida evolucin del

contexto social, en relacin con el cambio del carcter en la sociedad nortea-

mericana.

Tras la Segunda Guerra Mundial, los Estados Unidos alcanzaron una preemi-

nencia en la poltica mundial raramente igualada en la historia de la humanidad.

Agrupados en lo que Hodgson 1976) denomin la ideologa del consenso libe-

ral, los americanos creyeron que su sistema de libre empresa tena un claro po-

tencial revolucionario para la justicia social; que la economa podra producir en

cantidad suficiente para todos, de tal manera que los conflictos entre las clases, e

incluso en las clases mismas, se veran eliminados; y que los problemas sociales

podran resolverse definitivamente de la misma forma que los problemas indus-

triales. Una vez identificado el problema se pensaba, el Gobierno generara

iluminado por la ciencia social) la solucin pertinente, se aplicaran los recursos

y los problemas se resolveran. La clave de este sistema revolucionario era el in-

cesante crecimiento de la produccin econmica, que podra mantener suficien-

temente a todos.

En sus primeras formulaciones, a la evaluacin se le asign la tarea de descu-

brir qu programas educativos tales como el

Elem entary and S econdary Education

Ac t E S E A) ,

el

Head

Start

y el Follow T hrough 5)

funcionaban mejor. La mayora

5)

El

Elementary and Secondwy Education Act

E

EA)

1965) y concretamente, el

Tille I de esta ley

fueron aprobados con el objetivo de hacer frente y paliar las necesidades educativas especiales de

los alumnos en situaciones sociales y educativas de clara desventaja social, residentes en barrios mar-

ginales y pertenecientes a familias pobres. El

Head

Start

se orient a la educacin preescolar y el

o

l low Through FT)

se constituy como un

macroproyeao

formado en

1968

por doce proyectos o

mo.


5/13

de los evaluadores pens que las ciencias sociales indicaran con claridad las cau-

sas de los problemas sociales y el tipo de intervenciones necesarias para superar-

los; crey que dichas intervenciones podran ser aplicadas y evaluadas de tal ma-

nera que aportasen respuestas no ambiguas; y adems esperaba que los resulta-

dos fueran aceptados con entusiasmo por patrocinadores,

managen

y polticos y

que los problemas podran resolverse definitivamente. Pero todas estas esperan-

zas se transformaron en frustraciones (Cook y Shadish, 1986).

La metodologa que se consideraba como la mejor para realizar todas estas

tareas fue la experimental, ampliamente alabada en trabajos seminales: Este ca-

ptulo est comprometido con los experimentos como el nico medio para zan-

jar las disputas sobre la prctica educativa y como la nica va de verificar las

mejoras educativas... (Campbell y Stanley, 1963, p. 2). Este enfoque se expres

durante muchos arios en la poltica federal norteamericana y orient el trabajo

del evaluador hacia lo que Scriven (1983) denomin las doctrinas de la gestin

empresarial y del positivismo. Es decir, los anlisis se condujeron hacia el bene,

ficio de los gestores y directores de los programas y los evaluadores actuaron

como cientficos neutrales que depositaban su confianza en los mtodos acepta-

dos de las ciencias sociales como forma de proteccin frente a los sesgos. Las

evaluaciones eran primariamente experimentales, cuasiexperimentales o emplea-

ban el anlisis de muestras, pero se utilizaban siempre mediciones de resultados

cuantitativos con los que equipararse por analoga con las mediciones de des-

arrollo econmico.

CONJUNCIN M ETODOLGICA Y RUPTURA DEL CO NSENSO

Los evaluadores encontraron pronto en sus estudios cuantitativos a gran es-

cala muchos problemas que ni haban sido previstos, ni resultaban fcilmente su-

perables. Los programas educativos variaban ampliamente de un lugar a otro,

hasta el punto de que un programa como el

ol low Through

poda tener xito en

un lugar y fracasar en otro. Los modelos estadsticos (anlisis de covarianza, etc.)

sobreajustaban o infraajustaban. Los participantes disputaban entre s sobre

los propsitos de diferentes programas. Los tests disponibles en la medicin de

resultados apropiados para un programa no lo eran para otro. A esto haba que

aadir el que muchos de los proyectos de reforma no tenan efectos consisten-

tes. Las evaluaciones parecieron mucho ms equvocas a la hora de aportar res-

puestas definitivas de lo que se haba supuesto en un principio. Se cay en la

cuenta de que encontrar soluciones a los problemas sociales era mucho ms dif-

cil de lo que originalmente se pensaba.

delos,

como se les denominaba) curriculares (desde el desarrollo del lenguaje hasta la enseanza de las

matemticas). En 1969 se aadieron siete proyectos ms. El macroproyecto

Fo l low T hrough

dio lugar en

1969 al

ead Start Planned Variation

H.SPV),

que mantena la misma configuracin experimental que el

F T

con experimentos planificados de variacin: Programas diseados para probar diferentes enfo-

ques en la enseanza infantil en diferentes lugares al mismo tiempo (Rivlin y Timpane, 1975, p. 2).

Para ms informacin, adems del texto citado pueden consultarse los trabajos de McLaughlin (1975),

Rivlin 1971) y

House t

al

1978). N. del T.)

47


6/13

Es ms,

l

consenso social que hasta entonces haba existido en la sociedad

norteamericana se fue desemembrando. Martn Luther

King Junior, que comen-

z su cruzada por los derechos civiles como una afirmacin devota del sueo

americano, termin su vida en la desilusin y en su asesinato en 1968. Grupos

disidentes se manifestaron en las calles y no solamente por los derechos civiles y

contra la guerra del Vietnam, sino tambin por otras muchas causas, como por

ejemplo, l

feminismo, el poder negro, la liberacin homosexual y la ecologa.

La economa nacional misma se tambale. Los ingresos medios familiares, tras

haber alcanzado su cima en 1973, descendieron un 6 por 100 en 1984 y su distri-

bucin se hizo ms desigual Levy, 1987). Todo iba mal, incluida la tarta econ-

mica. Lo que comenz siendo una era de consenso social se diluy en una era

de conflicto y diversidad

La ruptura del consenso social se reflej igualmente en los mtodos de

evaluacin. Si diversos grupos esperaban diferentes cosas, entonces recoger

las opiniones de la gente en y alrededor de los programas mismos pareca te-

ner sentido. Los mtodos cualitativos, tiles para esta labor, se pusieron de

moda. Hasta entonces haban sido ampliamente utilizados en antropologa y

sociologa, pero se pensaba que eran demasiado subjetivos para emplearlos

en la evaluacin de programas. Con el impulso de evaluadores como

Robert

Stake

y Barry MacDonald, la metodologa cualitativa desarroll sus propios

seguidores, una prctica y, eventualmente, su propia lgica de investigacin.

Al mismo tiempo, otros muchos evaluadores continuaron comprometidos

plenamente con los mtodos cuantitativos como aquellos mtodos que haba

que elegir; con lo que las batallas entre defensores de una u otra metodolo-

ga fueron muy reidas durante los setenta Boruch y Riecken, 1975; Eisner,

1979). Gradualmente, pero slo tras dichas disputas,

e

alcanz una cierta

aproximacin gracias a la cual la mayora de los tericos propugnaron mto-

dos mixtos de investigacin Cronbach, 1982).

Pero aun as, la distincin entre mtodos cualitativos y cuantitativos consti-

tuye, todava, una marca importante de identidad entre los evaluadores. En un

ejercicio de escala multidimensional, contrastando catorce tericos de la evalua-

cin, Williams 1989) encontr que la cuestin terica ms importante por la que

se diferenciaban era su opcin entre las metodologias cualitativa o cuantitativa.

La segunda dimensin era la de responsabilidad

v rsus

asesoramiento. Esta di-

mensin indicaba si el evaluador deba juzgar programas y personal con el pro-

psito de pedir responsabilidades administrativas o si deba adoptar un estilo

ms informativo. La tercera dimensin fue la de participacin del cliente

v s u s

no participacin, es decir, el grado y la forma en los que los clientes deban im-

plicarse en la evaluacin.

El debate metodolgico, que ahora cumple veinte aos, se extendi a otras

cuestiones, adems de la legitimidad, y a otras reas de la investigacin educati-

va. Pero actualmente, dicho debate se encuentra centrado en la cuestin de si

los distintos enfoques metodolgicos representan perspectivas diferentes del

mundo o si son esencialmente compatibles Guba y

Lincoln,

1982; Smith, 1983 .

Muchos evaluadores aceptan el punto de vista segn el cual, si no totalmente


7/13

conmensurables, ambos mtodos son al menos complementarios; aunque nadie

hasta ahora ha mostrado exactamente de qu manera mtodos contrapuestos

pueden conjugarse. Una cuestin relacionada con esto es la de qu

st nd rds

re-

sultan apropiados para los estudios cualitativos y si aqullos pueden ser genri-

cos o si, por el contrario, han de ser derivados de las disciplinas de origen

owe

y Eisenhart, 1990).

Lo que subyace a estas disputas es el conflicto sobre la naturaleza misma

de la causalidad, Cronbach 1982) ha puesto en cuestin la concepcin

st nd rd

de causalidad, aduciendo que los fenmenos sociales son menos predecibles de

lo que la formulacin

st nd rd

supona y que las nociones tradicionales de vali-

dez interna y externa tienen que ser redefinidas de tal manera que quienes uti-

licen los resultados de una evaluacin puedan formular sus propios juicios y

determinar, asimismo, la utilidad de la evaluacin. Desde este punto de vista,

la validez externa depende parcialmente de los juicios del usuario en el contex-

to y, por ello, resulta mucho ms importante que la validez interna. Estas ideas

todava no han sido asimiladas y probablemente provoquen un debate mucho

ms extenso 6).

LA UTILIZACIN DE LOS RESULTADOS

Otro rea de inters durante los ltimos diez aos ha sido la de la utilizacin

de los resultados de las evaluaciones. La idea segn la cual los administradores y

directores de los programas podran aceptar fcilmente los resultados de las eva-

luaciones, ajustando o concluyendo, en su caso, los programas en concordancia

con aqullos, no ha sido, ciertamente, ratificada por el curso de los aconteci-

mientos. Un intenso debate se ha generado sobre la cuestin de en qu medida

han sido utilizados alguna vez los resultados de las evaluaciones. Weis

1988),

por

ejemplo, ha afirmado que el uso instrumental, es decir, la revisin de los progra-

mas como un resultado directo de la evaluacin, raramente ocurre. Para

Weis

el

proceso de utilizacin de los resultados es un proceso de interpretacin y esclare-

cimiento a travs del cual dichos resultados se van incorporando gradualmente

en las estructuras generales de referencia de los usuarios. Por el contrario, Pat-

ton 1988) ha insistido en la validez del uso instrumental, afirmando que los re-

sultados sern usados si son presentados de forma apropiada.

Al parecer, algunas de las diferencias en cuanto al uso de las evaluaciones re-

side, probablemente, en el nivel jerrquico de decisin poltica en el que haya-

mos centrado nuestra atencin. Mientras que los cambios en el nivel federal o

estatal parecen producirse muy irregularmente y en relacin con las fuerzas

ideolgicas y polticas predominantes, los cambios en los distritos escolares loca-

les se generan de un modo mucho ms instrumental Smith, 1989). Una cuestin

en la que los evaluadores s estn de acuerdo es la que plantea que si las evalua-

6)

Las ltimas posiciones epistemolgicas del autor se encuentran en

House 1991) . N. del T.)


8/13

ciones

pretenden ser tiles, deben ofrecer mejores descripciones de los progra-

mas y de sus contextos de actuacin.

Otra idea emergente es la del uso errneo de los resultados. Aunque, como

acabo de decir, el debate se centr en un principio sobre el uso o el no uso de

los mismos, se ha tenido que reconocer que estudios de evaluacin pobremente

concebidos haban tenido frecuentemente una amplia publicidad y que, por con-

tra, los resultados de buenos estudios haban llegado a ser utilizados de forma

impropia. Alkin 1990) ha propuesto una taxonoma de los usos errneos de los

resultados de evaluacin en los que uso y uso errneo se encuentran en los

extremos opuestos de una escala en la que el no uso se sita en el centro. El

hecho generalizado actualmente de que los resultados de tantos tests estandariza-

dos de rendimiento se hagan pblicos y que sus interpretaciones y la indicacin

de las cuestiones pertinentes resultantes se dejen en manos de los medios de co-

municacin y de los burcratas del Gobierno provoca que el uso errneo sea,

ciertamente, un acontecimiento particularmente destacado e importante.

De hecho, en los standards

profesionales para la evaluacin, desarrollados por

un comit dirigido por Daniel Stufflebeam, se ha dedicado un considerable espa-

cio a la cuestin del uso errneo; pero el contexto en el que se presentan los re-

sultados de las evaluaciones no suele orientarse por el empleo de dichos

stan-

dards,

incluso aunque hayan sido ampliamente aceptados por la comunidad de

evaluadores

Joint Conirnittee,

1981). Desde luego, lo que no est, bajo ningn con-

cepto, claro es cmo atenuar o reducir este uso errneo de los resultados de las

evaluaciones

EL PAPEL DE LOS VALORES

Durante -las dos ltimas dcadas, el creciente conflicto social ha colocado el

problema de los valores en un lugar destacado.

De

dnde proceden los valores

en una evaluacin? El acto de evaluacin pblica exige que sean establecidos al-

gunos criterios de mrito y que estos criterios sean justificados. Tradicionalmen-

te los objetivos propuestos en el programa han servido como fuente de criterios;

centrndose la evaluacin en el examen de si el programa haba logrado, o no,

dichos objetivos. Es ms, aceptando que el patrocinador del programa fuera el

cliente por excelencia de la evaluacin, el evaluador poda actuar en razn de lo

que era importante para aqul.

Sin embargo, muchos tericos han cuestionado que la aceptacin sin paliati-

vos de los objetivos del programa sea la esencia de la evaluacin. Scriven, en

particular, ha estudiado la estructura de la lgica de la evaluacin, sealando

que la cuestin Ces bueno malo, indiferente)? y sus variantes den qu medi-

da

es bueno?, des mejor que

y?

constituyen las preguntas evaluadoras protot-

picas y que una respuesta a dichas preguntas necesitara identificar y validar

standards

de mrito para x, as como descubrir las distintas actuaciones de x en

las dimensiones que estuvieran relacionadas con el mrito Scriven, 1980). De

acuerdo con este razonamiento, los objetivos mismos del programa han de ser

50


9/13

tambin examinados. Por ejemplo, un evaluador responsable no aceptara como

criterio de evaluacin de automviles la suposicin de la

eneral

Motors

segn la

cual el mejor automvil sera aqul que consiguiera mayores beneficios.

Esta lgica genrica todava deja sin plantear la procedencia de los crite-

rios particulares de mrito. Se puede afirmar, de modo general, que los crite-

rios se derivan de lo que es apropiado para cuestiones de esa clase. Por ejem-

plo, no sera correcto afirmar que un currculum que pervirtiera la personali-

dad y retrasase

l

desarrollo intelectual constituira un buen programa educa-

tivo, a pesar de que sus diseadores quisieran provocar, justamente, ese efec-

to. Dada una entidad particular en un contexto particular, los criterios de

mrito no pueden ser arbitrarios, sino que han de estar justificados. El fruto de

este razonamiento es que los juicios valorativos no pueden ser tan arbitrarios

como lo pueda ser un enunciado descriptivo del estilo de un elefante es

grande comparado con otros animales, pero pequeo en comparacin con

un moderno edificio de oficinas.

Por supuesto, el mundo social no es tan simple. Para entidades complejas

como los programas educativos, existen mltiples y a menudo conflictivos crite-

rios de mrito. Existen disputas en torno a los temas de aprendizaje inmediato o

aprendizaje a largo plazo, conocimiento de hechos o pensamiento crtico; ms his-

toria o ms matemticas. Es ms, la gente no siempre espera las mismas cosas

de los programas pblicos. Sus valores y, de hecho, sus intereses difieren. Un

programa bueno para un grupo puede no serlo para otro. Incluso para el evalua-

dor en accin, no existe otra opcin que la de elegir entre los diversos criterios

de mrito en controversia.

Muchos eligen las acostumbradas mediciones del rendimiento educativo,

creyendo que stas reflejan de la mejor manera posible los intereses generales.

Otros sostienen que padres, estudiantes, administradores, profesores y ciudada-

nos deberan ser tenidos en cuenta a la hora de definir lo que es importante

para la evaluacin; solicitando sus opiniones, contando con ellos como parte de

la audiencia o incluso implicndoles en la conduccin del estudio mismo. Mlti-

ples criterios, mltiples perspectivas, mltiples audiencias, mltiples intereses

concepciones pluralistas reflejan el cambio del consenso al pluralismo que se

ha dado en la sociedad en general.

Por supuesto, el tener mltiples criterios no resuelve el problema de cmo

combinar estas multiplicidades en un juicio global. Cmo fusionar los resul-

tados de diferentes metodologas, por ejemplo? Cmo combinar mltiples

perspectivas? Cmo compatibilizar los intereses contrapuestos de los grupos?

Sobre estas cuestiones existe poco acuerdo. Algunos evaluadores creen que

ellos mismos deberan juzgar; otros, que deberan solamente presentar los re-

sultados y hacer que las diferentes audiencias formulasen sus propios juicios.

Unos proponen vas para resolver los conflictos de inters invocando tcnicas

como los anlisis de costo-eficacia Levin, 1983) y otros apelan, sin embargo, a

procedimientos como el acuerdo negociado o el empleo explcito de teoras de

la justicia House, 1980).

51


10/13

EL PAPEL DE LA POLTICA

Tras estos aos, la evaluacin ha sido aceptada como una actitud poltica;

es decir, una actividad que se ve afectada por fuerzas polticas y que tiene, a su

vez, efectos polticos. Las dos cuestiones crticas que se plantean en este mbi-

to son las siguientes: a qu intereses sirve la evaluacin y cmo son representa-

dos en ella.

Como acabo de sealar, en un principio se asuma que los intereses de todas

las partes eran reflejados adecuadamente por las tradicionales medidas de resul-

tados. Esta suposicin fue cuestionada y se reconoci que diferentes grupos po-

sean diferentes intereses y que podan ser afectados de forma tambin diferente

tanto por el programa como por la evaluacin. En la literatura inglesa ha co-

menzado a utilizarse el trmino

staheholders,

en el sentido de interesados o impli-

cados 7)

aqullos que tienen algn inters, que se juegan algo, en

l programa

analizado), de tal manera que representar las visiones y los intereses de los impli-

cados en la misma evaluacin es ya una prctica aceptada.

El concepto de evaluacin por implicados o interesados

stakeholders)

se basa

en la teora actualmente predominante de la democracia como equilibrio y plu-

ralismo de lites; teora que renuncia a formular cualquier juicio normativo y

que mantiene que los actuales sistemas de partes en competencia y grupos de

presin tienen la funcin democrtica de equilibrar las distintas y cambiantes de-

mandas polticas MacPherson, 1987). Se cree que la mejor manera de ajustarse

al contexto poltico en el que los evaluadores operan consiste en describir lo que

otros valoran, porque la toma de decisiones depende de los valores mantenidos

tanto por los polticos como por los implicados e interesados relevantes. Presu-

miblemente, estas partes usarn los resultados para tomar decisiones informa-

das. Se supone que ni los administradores polticos ni los evaluadores interven-

drn para apoyar un inters particular determinado, sino slo para aportar infor-

macin que sea objetiva y neutral respecto a los intereses y valores en juego. El

inters de los diferentes grupos se disolver de algn modo en los valores de los

que tienen que tomar decisiones y de todos los implicados.

Sin embargo, este enfoque de evaluacin posee importantes limitaciones. Por

ejemplo, en dos decisivas evaluaciones llevadas a cabo segn este enfoque y fi-

nanciadas por el Gobierno federal, la de

Cities in Sc hools

8) y la del programa de

esse ackson

PUSHIExcel 9),

los evaluadores trabajaron justamente en contra de los

7)

Stakeholder

es un trmino ingls, procedente del mundo del juego, que viene a significar corre-

dor de apuestas. Sin embargo, en el contexto de la literatura especializada en evaluacin se usa ms

bien en el sentido de apostador, aqul que se juega algo. El trmino

s n

se usa para referirse tanto

a apuestas como, en un sentido ms genrico, a intereses. N. del T.)

8)

Cit ies

n

schools

era un conjunto de proyectos y programas urbanos de asistencia y ayuda a jve-

nes residentes en

ghettos.

El primero comenz en la ciudad de

New

York y fue patrocinado poltica-

mente por el matrimonio Carter. N. del T.)

9)

La idea de

Push for Excellence

fue el fruto de una campaa lanzada por J. jackson, a finales de

los setenta, en las escuelas urbanas de secundaria, para ayudar a los jvenes negros a apartarse de la

droga y a motivarles en el estudio. N. del T.)

52


11/13

intereses de los participantes y de los estudiantes beneficiarios de los programas;

grupos a los que, se supona, iban a servir, poniendo en cuestin, por ello, la jus-

ticia misma de estas evaluaciones

House, 1988; Stake, 1986). Adems los resulta-

dos de la evaluacin del proyecto PUSHI xcel

fueron utilizados no solamente

para desacreditarlo, sino tambin para poner en entredicho la habilidad y la ca-

pacidad de Jessy Jackson para coordinar grandes empresas polticas, precisamen-

te de cara a la, por entonces, prxima campaa presidencial. Segn estas expe-

riencias, los implicados no tienen igual poder de influencia y uso de la evalua-

cin y no gozan tampoco de igual proteccin frente a ella.

Los problemas de encontrarse con intereses mltiples y de cmo deberan

ser representados colocan la evaluacin en el mbito de la justicia social.

Aunque se reconozca la existencia de diversos implicados en una evaluacin

con legtimos intereses y, a menudo, en colisin, la cuestin de cmo conju-

garlos permanece sin ser resuelta todava. La prctica de describirlos de for-

ma neutral parece inadecuada y la coyuntura actual, por la que gran parte de

la actividad evaluadora se desarrolla dentro de grandes instituciones (estando

sujeta, por tanto, a la autoridad burocrtica), aade, desde luego, nuevas pre-

siones. La decisiva cuestin poltica se mantiene: clA los intereses de quines

debe servir la evaluacin?

SUMARIO

La evaluacin se desarroll originalmente como una estrategia para encon-

trar grandes soluciones a los problemas sociales, pero sta ha resultado ser una

aventura decepcionante y aleccionadora. El consenso ideolgico inicial asumi

que la solucin para los problemas educativos se encontraba en la utilizacin

de la metodologa apropiada, que por entonces significaba medicin cuantitati-

va de resultados empleando diseos experimentales, cuasiexperimentales o

anlisis muestral. Se aceptaba que diversos grupos sociales podran verse repre-

sentados a travs de la medicin clsica de rendimientos y objetivos educati-

vos. Se asuma igualmente que los directores de los programas y los adminis-

tradores polticos aceptaran de modo entusiasta los resultados de las evalua-

ciones, para poder as revisar o concluir el programa. Ninguno de estos supues-

tos ha resultado ser correcto.

A

medida que el amplio consenso social se fue fragmentando, los evaluado-

res se volvieron hacia los mtodos cualitativos, para poder recoger los puntos de

vista de os participantes y de los clientes, es decir, de los implicados en los

programas. Gradualmente, los evaluadores reconocieron que haba muchos inte-

reses que tener en cuenta en una evaluacin y que algunos de ellos podran es-

tar en abierto conflicto entre s. Como resultado emergi una concepcin plura-

lista de la evaluacin de programas; una concepcin en la que los diversos y

mltiples mtodos, mediciones, criterios, perspectivas, audiencias e intereses se

fueran considerando. Conceptualmente, la evaluacin se desplaz desde una po-

sicin monoltica a otra pluralista, con la que se quera reflejar el cambio, del

consenso al pluralismo, acaecido en la sociedad norteamericana. De qu manera

53


12/13

poder sintetizar resolver y conjugar todas estas multiplicidades constituye toda-

va un problema formidable tanto para los

evaluadores

como para la sociedad

en general. La evaluacin que fue inventada para solucionar nuestros problemas

sociales se encuentra afectada hoy en da precisamente por los mismos proble-

mas que tenia que resolver.

BIBLIOGRAFA

Alkin, M. C. Debates on ev aluation. Beverly Hills,

SAGE

Publishing 1990.

Boruch, R. F. y Riecken, W. H. Eds.),

Experimental testing of public policy.

Bopulder, CO,

Westview

Press

1975.

Bullock, A.; Stallybrass, O. y Trombley, S.,

T he harper dictionary of m oderm thought.

New York,

Harper and Row, 1988 edic. rev.).

Campbell,

D. T., Reforms as experiments. Am er ican Psicho log is t , 19 ,

19 69 pp. 409-429.

Carnpbell, D. T. y Stanley, J. C.,

Experimental and

quasi-experimental designs f or research.

Chica-

go, Rand

McNally, 1963

traduccin espaola en Amorrortu, Buenos Aires).

Cook, T. D. y Shadish, W. R.

Jr.

Program evaluation: The worldly science.

Am e r i c a n

Re -

view 91 Psychology 37

1986 pp. 19 3-232.

Cronbach, L.

J.,

Designing ev aluations o f educational and social

program s. San Francisco Jossey-

Bass 1982.

Eisner,

E. W.,

The Ed ucational im agination. New

York, McMillan, 1979.

Guba, E. G. y

Lincoln Y. S. Effect ive e va luat ion . San Francisco Jossey-Bass 19 82.

Hodgson, G., A m erican in

our time.

New

York, Vintage, 1976.

House

E. R. Ev aluating w ith validity.

Beverly Hills,

SAGE

Publishing 1980.

Jesse Jackson and the politics of ch arism a: Th e rise and fall of the PU S H/Ex cel

Program. Boulder

CO, Westview

Press

1988.

Realism in research.

Educat iona l Researcher , 20 8) ,

19 91 pp. 2-25.

House

E. R.

et al.

No simple answer: Critique

of the Follow Through

Evaluation

Har-

vard Educational R eview

48 2 ) ,

1978

pp. 128-192.

Howe K. y Eisenhart M.,

Standards for qualitative and quantitative) research: A prolego-

menon. Educational Researcher

19 4) ,

19 90 pp. 2-9.

Joint

Committee on Standards for Educational

Evaluation

Standards

fo r ev aluations of

educa-

tional program s projects and m aterials.

New

York, McGraw Hill, 1981.

Levin,

H. M.,

Cost-Effectiveness:

A primer.

Beverly Hills,

Sage Publications 1983.


13/13

Levy,

F.,

Dollars and dreams: The changing american income distribution.

New

York, Russell

Sage

Foundation, 1987.

Macpherson,

C. B.,

The roe

and

fall of economic justice.

Oxford, Oxford University Press,

1987.

McLaughlin, M. W.,

Evaluation and reform: The elementary and secondary act of 1965/Title

Cambridge,

MA , Ballinger, 19 65.

Madaus,

G. F. y Stufflebeam, D. L. Comps.),

Educational evaluation: Classic

worin

of Ralph W

Tyler.

Boston, Kluwer Academic Publishers, 1989.

Patton, M. Q, The evaluator s responsibility for utilization.

Evaluation Practice, 9 2),

1988,

pp. 5-24.

Rivlin,

A. M.,

Systematic thinking for social action.

Washington, DC, Brookings

Institution,

1971.

Rivlin,

A. M. y Timpane,

P. M. Com ps.),

Planned variation

in education: Should we give

up or

try harder?

Washington, DC, The Brookings

Institution, 19 75 .

Suchman,

E.,

Evaluative research Principies and practice in public service and social action

pro

grams.

New

York, Russel

Sage Foundation, 1967.

Scriven, M.

S.,

The logic

of evaluation.

Inverness,

CA, Edgepress, 198 0.

Scriven, M.

A., Evaluatin ideologies, en G. F. Madaus, M. Scriven y D. L. SMifiebeam

C omps.),

Evaluation models: Viewpoints on eductional and human services evaluation.

Boston,

MA , Kluwer-Nijhoff, 198 3, pp. 229 -260.

Smith,

J. K.,

Quantitative

versus interpretive: The problem

of conducting

social inquiry,

en E. R.

House

Comp.),

Philosophy

of evaluation,

San Francisco, Jossey-Bass, 1983, pp.

27-51.

Smith,

N. L.,

(([he Weiss-Patton

debate:

Illumination of the

fundamental concerns.

Eva

luation Practice, 10 1),

1989 ,

pp. 5.13.

Stake,

R. E.,

Quieting reform: Social science and social action in

an urban youth

program.

Urbana,

IL, University

of

Illinois

Press, 19 86.

Tyler,

R. W. 19 49),

Principios bsicos del currculum.

Buenos Aires, Troquel, 1973.

Weiss,

C. H.,

Evaluation for decisions: Is anybody there? Does anybody care?.

Evaluation

Practice, 9 1),

1988 ,

pp. 5-19.

Williams,

J. E.,

A numerical taxonomy

of evaluation theory and practice.

Los Angeles University

of

California Graduale School of Education, 1989 mimeo).

Traduccin: J. Flix Angulo Rasco. Universidad de Mlaga.

Documents

TENDENCIAS EVALUACION.pdf