Universidad de Costa Rica

Sistema de Estudios de Posgrado

Maestría en Evaluación de programas y proyectos de desarrollo

Curso: Fundamentos ontológicos y epistemológicos de la evaluación

Profesora: Dra. Jacqueline García Fallas

Abril, 2015

Reflexiones en torno a la Evaluación centrada en el Uso, propuesta por Michael Patton María Alejandra Escalona - Carné A41920

En el presente ensayo se presenta un análisis del modelo de Evaluación centrada en

el uso, desarrollado por el sociólogo estadounidense Michael Quinn Patton. Tomando

en cuenta aspectos de su biografía y obra, se analiza el concepto de evaluación que

propone el autor, su manera de relacionarse con el objeto de evaluación y cómo se

construye conocimiento sobre el mismo. Por último, se revisan los valores y

desempeños que describen el rol del evaluador en este modelo. La información que

se presenta fue obtenida en el marco de una investigación documental.

2

INTRODUCCIÓN

El presente ensayo está motivado en conocer y proponer discusiones alrededor

del modelo de evaluación centrada en el uso, desarrollado por el sociólogo

estadounidense Michel Quinn Patton. En el marco de un proceso formativo en la

disciplina evaluativa, la revisión de los aportes del autor se coloca como una tarea

imprescindible, no sólo porque se trata de un prolífico cuerpo de conocimiento,

sino porque actualmente se considera uno de los modelos y perspectivas más

influyentes en el campo.

A partir de un análisis documental se revisan las premisas del modelo siguiendo

criterios ontológicos, epistemológicos, metodológicos y axiológicos, cada uno de

los cuales corresponde a un apartado del presente texto. Se procura destacar las

virtudes, así como los cuestionamientos ante un modelo que reivindica a los

usuarios y establece como eje trasversal y prioritario, el uso de la evaluación. A

manera de cierre, en el último apartado se brinda un balance general sobre el

análisis realizado.

EL AUTOR Y SU MODELO DE EVALUACIÓN CENTRADA EN EL USO

Michael Quinn Patton, de origen estadounidense, estudió Sociología en la

Universidad de Wisconsin, obteniendo su bachillerato, una Maestría en Sociología

Rural y un doctorado en Sociología (Sage, 2015).

Fue miembro de la facultad de la Universidad de Minnesota por 18 años (1973-

1991), donde fungió como Director del Minnesota Center for Social Research por

cinco años y colaboró otros diez en el servicio de extensión de dicha institución.

En este periodo fue electo presidente de la American Evaluation Association,

posición que ocupó en 1988 (Moleko, 2011).

Su obra es prolífica, y ha sido reconocido por su labor docente (Morse-Amoco

Award, en la Universidad de Minnesota), por su contribución a la práctica y la

teoría evaluativa (Alva and Gunner Myrdal Award de la Evaluation Research

Society; el Paul F. Lazarfeld Award de la American Evaluation Association) y más

3

recientemente por su aporte a la Sociología aplicada (Lester F. Ward Award de la

Society for Applied Sociology) (Sage, 2015).

Actualmente se desempeña como consultor independiente y se dedica a impartir

talleres formativos para la American Evaluation Association, la Universidad de

Claremont y el International Program por Development Evaluation Training, del

cual es miembro fundador. Este último, es patrocinado por el Banco Mundial y

otros organismos internacionales (Sage, 2015).

Para Patton (2010) las evaluaciones deben valorarse de acuerdo con cuatro

criterios principales:

- Su utilidad, considerando que la evaluación debe ser relevante y útil.

- Su factibilidad, pues la evaluación debe ser realista, prudente, diplomática y

sobria.

- Su precisión: la evaluación debe ser técnicamente adecuada para determinar

el mérito o valor.

- Debe ser apropiada: la evaluación debe ser respetuosa y cumplir con criterios

éticos y legales.

En relación con el énfasis que el autor le otorga al primero de estos criterios, en el

presente ensayo interesa analizar las premisas del modelo evaluativo que ha

promovido el autor desde finales de la década de los setentas: la evaluación

centrada en el uso, o la Utilization Focused Evaluation, como es conocida en el

idioma Inglés1. Se valorará dicho planteamiento considerando criterios

ontológicos, epistemológicos, metodológicos y axiológicos, sin dejar de lado que

éstos se entrelazan y complementan. Como parte de este ejercicio, se expondrá

desde un punto de vista personal un juicio valorativo sobre las virtudes y bemoles

de la propuesta del autor.

ONTOLOGÍA: EL USO COMO PROCESO Y PROPÓSITO DE LA EVALUACIÓN

Como punto de partida para entender el concepto de evaluación que plantea

Patton, es importante conocer sus influencias iniciales. Moleko (2011), analizó que

1 Debido a que la obra del autor se encuentra en el idioma Inglés, se hizo una traducción de los textos

disponibles que se consideraron más relevantes, procurando mantener el sentido original con el que fueron planteados.

4

siendo estudiante, este evaluador se interesó por la Sociología organizacional,

específicamente en temas relacionados con la gestión del cambio y los conflictos

asociados a la transición de una manera de hacer las cosas, a otra.

De igual manera, captaron su atención teorías sobre el Poder desarrolladas por

autores como Michael Crozier, que le ayudaron a concebir el conocimiento como

fuente de poder para las personas. Esto incidió en que su perspectiva sobre la

evaluación considerara premisas como “El uso de la evaluación ocurre en

proporción directa a su capacidad de empoderamiento” (Patton, 2004, en Moleko,

2011, p.14). Este poder se relaciona con el interés de los stakeholders2 por reducir

la incertidumbre, sobretodo de aquellos que cuentan con experiencia directa en los

temas a tratar, y para quienes la evaluación sería particularmente útil.

Patton también rescató los aportes de Everett Rogers sobre la difusión de las

innovaciones, por considerarla esencial para la adopción y diseminación de ideas.

También se interesó en el rol que propone el autor para los agentes de cambio y

se vio influenciado por su visión de desarrollo, entendido como un proceso

participativo de cambio en el que la sociedad avanza social y materialmente a

través de un mayor control del entorno por parte de la gente (Moleko, 2011).

Una cuarta influencia identificada por Moleko (2011) fue el pragmatismo que John

Dewey propuso en el campo educativo. Luego de comparar la educación

tradicional con posturas más progresistas sobre el contenido y la metodología

empleada en los sistemas educativos, este último autor valoró que la educación

debe formar individuos para que sean miembros efectivos en la sociedad

democrática. En este sentido, los educadores deben brindar a los estudiantes

experiencias valiosas en su quehacer inmediato, sobre todo aquellas que les

permitan contribuir a una mejor sociedad. Es decir, que los contenidos que se

aprenden tienen un correlato práctico cercano.

Lo anterior contribuye a dimensionar que para Patton (2010) las evaluaciones

deben ser juzgadas por su utilidad real. En su modelo, concebido como un marco

2 Se entenderá por el término “stakeholders” aquel grupo de personas con alguna cuota de interés en la

evaluación o el proyecto en cuestión.

5

para la toma de decisiones que promueve la utilidad y el uso mismo de las

evaluaciones, éstas deben ser diseñadas y facilitadas con una cuidadosa

consideración de cómo todo lo que se hará, de principio a fin, afectará su uso.

En términos prácticos, el uso que define el autor es distinto de hacer reportes o de

divulgar resultados de la evaluación. Este uso es más un proceso, cuyas

expectativas y acuerdos deben establecerse junto a los stakeholders desde el

inicio. En esta línea, una de las premisas del modelo es que la evaluación debe

realizarse desde el diseño del programa, pues desde ese momento se requiere

contar con información que sea pertinente para clarificar los objetivos de la

iniciativa y sus líneas de acción; es decir, la teoría del programa y su ruta al

cambio (Patton, 2010).

Incluso, el autor apunta a un “proceso de uso de la evaluación” (process use) el

cual remite a cambios en el pensamiento y el comportamiento de los stakeholders

involucrados en la evaluación, y en los procedimientos y la cultura organizacional

producto del aprendizaje generado durante el proceso de evaluación. Para su

puesta en práctica se debe revisar cómo la evaluación contribuiría a elaborar una

visión compartida respecto al programa evaluado, cómo puede apoyar y reforzar la

intervención, fortalecer habilidades, conocimiento, autoeficacia y apropiación de

las personas involucradas, y qué efectos pueden tener las mediciones que se

realicen en la dinámica organizacional (Patton, 2010, 2013a).

Como resultado del proceso evaluativo, Patton esperaría escuchar expresiones

como: “el impacto de nuestro programa no vino mucho de los resultados, sino de

pasar por el proceso de pensamiento que requiere la evaluación” (Patton, 2010,

p.31). Este tipo de cambios no sucederán naturalmente o automáticamente, sino

que deben ser facilitados por el evaluador.

Como tal, la meta del modelo consiste en el uso previsto de la evaluación, por

parte de los usuarios previstos (“intended use by intended users”). Para ello, uno

de los primeros pasos en la realización de una evaluación centrada en el uso, es

identificar, reconocer e involucrar a los usuarios prioritarios de la evaluación

suponiendo que es más probable que el proceso sea útil si se involucra a los

6

usuarios de manera significativa, de manera que se apropien de la evaluación, si

encuentran preguntas relevantes y se interesan por los hallazgos (Patton, 2013).

En esta identificación se hace una especie de filtro, pasando de tener una

audiencia, a tener un grupo de stakeholders, para finalmente identificar a quienes

tienen una participación directa y reconocible en la evaluación. Será indispensable

involucrarlos durante el proceso, al priorizar interrogantes, plantear el diseño

metodológico, interpretar datos y dar seguimiento; aclarándoles la importancia de

su rol y procurando mantener su interés (Patton, 2010, 2013a).

Aunado a esto, en este modelo es particularmente importante identificar cuáles

son los usos posibles de la evaluación que se solicita, y priorizarlos. Patton (2010)

es enfático en que no se puede cumplir con todos los propósitos o intereses de los

stakeholders, sino que se deben priorizar para evitar ambigüedades y confusiones.

De manera consecuente con el fin último del modelo, es interesante la apertura

que el autor muestra al contemplar que una evaluación puede ser útil para

mejorar del programa (formativas), para favorecer la toma de decisiones a partir

de juicios sobre el mérito, el valor o el significado (sumativas), para la rendición de

cuentas, el monitoreo o la generación de conocimiento a través de la identificación

de buenas prácticas y lecciones aprendidas (Patton, 2013a).

Quizá gracias a lo anterior, y al énfasis en algo tan funcional como el uso, es que

Patton ha podido contribuir, a través de investigaciones aplicadas y evaluaciones,

en temáticas tan variadas como la lucha contra la pobreza, el desarrollo del

liderazgo, educación, medio ambiente, salud pública y mental, la extensión

agrícola, la justicia penal, el desarrollo comunitario, el cambio de sistemas, la

eficacia de políticas públicas, la gestión por resultados e indicadores de

desempeño. De igual manera, ha logrado involucrarse con organizaciones y

programas a nivel local, provincial, estatal e internacional, de tipo filantrópico, sin

fines de lucro, privadas y gubernamentales (Sage, 2015). Es decir que el modelo

planteado por el autor tiene un amplio margen de aplicabilidad, una vez que el

contexto sugiera que es pertinente.

7

De esta manera, es posible inferir que, en términos ontológicos, para Patton

evaluar es un proceso participativo y formativo, en el que junto a usuarios clave en

un contexto organizacional específico, se busca reducir la incertidumbre respecto

a un programa, favoreciendo el pensamiento evaluativo por parte de los

involucrados y a nivel de la cultura organizacional. Debido a que el modelo está

centrado en la utilización de la evaluación, se trata de un planteamiento con un

amplio sentido pragmático y con un interesante marco de aplicabilidad.

EPISTEMOLÓGICAMENTE, DEL POSITIVISMO AL PRAGMATISMO UTILITARIO

Al revisar los aportes del autor desde un punto de vista epistemológico, uno de los

primeros aspectos que llama la atención es la influencia de la formación que tuvo

en Sociología, tal como lo afirma en la siguiente frase: “La Sociología me dio una

sólida formación en métodos cuantitativos, la construcción de teoría, filosofía de la

ciencia y la sociología del conocimiento, todos los cuales han influido en mi

pensamiento y práctica de la evaluación” (Patton, 2004 en Moleko, 2011: 12-13).

No obstante, al lado de esta formación, otras experiencias educativas moldearían

su posicionamiento frente a sus objetos de estudio. Como parte de su tesis

doctoral evaluó “aulas abiertas” en North Dakota (1972-1973), las cuales se

caracterizan por ser más informales, orientadas al desarrollo de proyectos y con

mayor involucramiento de la comunidad; lo cual le hizo apreciar metodologías

cualitativas de la mano con la influencia del University of North Dakota Study

Group on Evaluation (Moleko, 2011).

Este acercamiento a las metodologías cualitativas se contrapuso a la formación

que había recibido en la Universidad de Wisconsin, y significó que realizara una

evaluación cualitativa para los usuarios del estudio en los centros educativos, y

otra de corte cuantitativo (utilizando modelos de regresión linear) para cumplir con

las expectativas del comité evaluador de su tesis doctoral (Moleko, 2011). Este es

un primer indicio de que el autor no renunciaría a ninguno de estos abordajes.

Al contrario, la difusión del conocimiento sobre estrategias metodológicas de corte

naturalista se convertiría en uno de los ejes de su trabajo y producción académica.

8

Patton es reconocido, quizá no por haber innovado el campo metodológico de la

evaluación, sino por haberle “dado voz” a los métodos cualitativos en una época

en la que no eran valorados positivamente, integrando los aportes de otros

estudiosos en un frente coordinado y poco timorato (Moleko, 2011).

Al respecto, es importante notar cómo el autor evoluciona de una formación

positivista, en la que se privilegia la metodología cuantitativa y se apela a la

“objetividad” del investigador para construir conocimiento, hacia la consideración

de fundamentos epistemológicos constructivistas, con ciertos rasgos

emancipatorios, en los que se conciben realidades múltiples, construidas

socialmente, situadas en contexto, en las que se construye conocimiento junto a

los participantes.

Entre las influencias rastreadas por Moleko (2011) en la obra de Patton, se

identificó a Egon Guba (miembro del University of North Dakota Study Group on

Evaluation), quien hacia finales de los 70’s, analizaba los estudios experimentales

como “cajas negras” que no permiten conocer su proceso interior y criticó las

condiciones artificiales y controladas de un ambiente de laboratorio. Al momento,

este autor empleaba métodos cualitativos en el campo de la educación, y los

defendía de manera “asertiva, contundente y sin complejos”.

Haciendo eco de esto, Patton analizó que los “factores personales”, humanos,

políticos y económicos conspiran contra los ambientes controlados; y la

evaluación, más que pretender anularlos, debe responder al contexto en el que se

desarrolla. Poco tiempo después, dedicaría sus primeros esfuerzos a debatir la

imparcialidad con la que se privilegia el uso de métodos cuantitativos en la

evaluación, considerados el paradigma dominante en la construcción de

conocimiento científico (Moleko, 2011).

Además de su consideración contextual, uno de los elementos que muestra

posicionamientos construccionistas por parte del autor es su concepción de la

Evaluación centrada en el uso como un modelo entre muchos otros posibles, lo

cual implica su apertura para concebir múltiples realidades, así como múltiples

maneras de estudiarlas. En línea con esto, al plantear los pasos y premisas

9

esenciales para llevar a cabo una evaluación de este tipo, Patton (2013a) aclara

que éstos no son lineales ni secuenciales, sino que se trata de un proceso

complejo, dinámico y adaptativo de las relaciones con los diversos elementos y

pasos que interactúan.

Más cercano a posturas emancipatorias, bajo las premisas de Patton (2013a), la

construcción de conocimiento útil y relevante implica el involucramiento formativo

de los usuarios, la toma de decisiones conjunta, negociaciones y la priorización de

criterios en el proceso evaluativo en función de su uso. En el proceso, el evaluador

desempeña un rol clave como facilitador en constante interacción con los usuarios,

y se convierte en un instrumento. Para ello, debe valerse de “factores personales”

como experticia, experiencia y sensibilidad cultural para aportar significativa y

pertinentemente al trabajo que realiza. Es decir, que los valores y los

conocimientos teórico-prácticos del evaluador median la producción de

conocimiento, finalmente dirigido a su utilización en el contexto organizacional.

No obstante, desde un punto de vista emancipatorio es cuestionable el “propósito

final” de la evaluación planteada por Patton. El autor propone que la evaluación

procure apoyar el pensamiento evaluativo por parte de los usuarios, y en la cultura

organizacional en la que se desempeñan, en un modelo circunscrito al uso de la

evaluación misma y sin perseguir, al menos deliberadamente, que dicho proceso

signifique la eliminación o el favorecimiento de ciertas condiciones en la calidad de

vida de las personas. Esto genera ciertas dudas respecto a cuestiones éticas

relacionadas al planteamiento de Patton, que se abordarán en el apartado sobre

su visión axiológica.

Finalmente, y a manera de enlace con la discusión sobre la metodología empleada

por el autor, otro rasgo de carácter emancipatorio es la disposición de Patton hacia

el uso de métodos cualitativos y cuantitativos. El posicionamiento metodológico del

autor termina siendo equilibrado, de alguna manera “neutral” y consistente en el

tiempo, apelando a que más allá del paradigma, lo importante es valorar cuál

abordaje es el más pertinente al objeto de estudio. En 1985, planteaba:

10

“Mi enfoque no es para tratar de resolver el debate entre paradigmas.

Trato de establecer un ambiente de tolerancia y respeto de los diferentes

puntos de vista, y luego centrar la discusión en la información real que

necesita cada grupo: ¿puntajes en una prueba?, ¿entrevistas?,

¿observaciones? El empleo de múltiples métodos y medidas le dará a

cada grupo lo que quiere” (Patton, 1985, en Moleko, 2011, p. 25).

De igual manera, hacia el cierre de uno de sus libros centrado en instruir sobre el

uso de métodos cualitativos en evaluación (How to Use Qualitative Methods in

Evaluation, 1987), afirmó que con esta obra su intención fue expandir el repertorio

metodológico de los evaluadores ayudándoles a distinguir cuándo son pertinentes

los abordajes cualitativos y cómo se desarrollan de manera que se produzca

información útil y válida; lo cual se aleja de un intento por argumentar que son

“mejores”. Incluso, cuando analiza la común predilección de los stakeholders por

datos cuantitativos, Patton destaca que se debe evitar ser “anti números”, sino que

se debe ser “pro significado”, procurando que se enfatice en las preguntas y en la

información realmente importantes sobre el programa.

De lo anterior, es posible inferir que el planteamiento epistemológico del autor es

definitivamente fenomenológico, con bases constructivistas, y enriquecido con

ciertos rasgos de carácter emancipatorio, relacionados con el uso de metodologías

tanto cualitativas como cuantitativas, y la actuación facilitadora del evaluador en el

proceso de construcción del conocimiento.

Dicho esto, cabe acotar que siendo un modelo está centrado en la utilización, y

que hay cierta renuencia del autor a privilegiar un método sobre otro, es

comprensible que Patton declare su posicionamiento como un “pragmatismo

utilitario” (Patton, en Moleko, 2011), según el cual un investigador o evaluador en

no está alineado a cualquier filosofía ideológica, sino que emplea cualquier modelo

que promueva el uso. Patton dice que el foco del utilitarismo pragmático es

responder a preguntas concretas utilizando métodos prácticos y análisis directos,

reconociendo criterios de precisión y confiabilidad de la información, así como su

pertinencia y utilidad. De acuerdo con esto, y como se ha dicho anteriormente,

para ello se requiere elaborar las preguntas evaluativas en contexto y como

11

respuesta a necesidades específicas de los usuarios, dominar el uso de diversas

metodologías, y creatividad.

Ante esto, desde un punto de vista personal, considero que sólo de la mano con

criterios metodológicos sólidos, y las condiciones necesarias para que la

información recolectada sea válida y confiable, es posible concebir que la práctica

investigativa o evaluativa deba estar estrictamente sujeta al uso de la información.

METODOLOGÍA: LA PERTINENCIA DE LA EVALUACIÓN COMO REGLA DE ORO

De manera congruente con lo planteado en los apartados previos, la metodología

que propone el autor para desarrollar evaluaciones centradas en el uso mantiene

el pragmatismo que caracteriza el modelo, y promueve la gestión de condiciones

que favorezcan y hagan sostenible el uso intencionado de la evaluación por parte

de los usuarios previstos, tal como es concebida.

Como se ha dicho, todavía en años recientes el autor sostiene que “la regla de

oro” en la evaluación es la pertinencia metodológica, más que la ortodoxia o la

rigidez, por cuanto considera que no existe un método “universalmente” fuerte y

que hay múltiples maneras de establecer causalidad. Para él, el reto metodológico

consiste en empatar el diseño de la evaluación, con el propósito del programa, los

recursos disponibles y el cronograma en el que se debe trabajar, con el fin de

optimizar el uso de la evaluación (Patton, 2010, 2013a). Parte de esto también

vendrá derivado del involucramiento de los usuarios en prácticamente todas las

decisiones sobre la evaluación.

Un paso inicial es la valoración y el fortalecimiento de las condiciones del

programa o de la organización para una evaluación centrada en el uso, lo cual

implica examinar la receptividad a un proceso evaluativo. La premisa subyacente

es que el uso de la evaluación es más probable cuando los usuarios directos de la

evaluación están interesados en contar con evidencias, piensan de manera

evaluativa y en cómo usar los hallazgos. Patton (2013a) prioriza el “factor

personal” en la evaluación, según el cual la gente es el elemento central en el uso

que se pretende.

12

En segundo lugar, el análisis profundo del contexto hace que la evaluación sea

realista, y sucede de la mano con los usuarios primarios de la evaluación,

identificando, valorando, comprendiendo y actuando junto a ellos en los factores

situacionales que marcan la dinámica organizacional, y el proceso evaluativo

(Patton, 2013a).

Junto a los usuarios también se definen aspectos elementales del diseño

evaluativo, por ejemplo, al precisar y priorizar las interrogantes de evaluación.

Aquí la clave radica en que la evaluación no puede valorarlo todo, y se deben

elaborar las preguntas considerando las posibilidades reales de responderlas de

manera oportuna, a un costo razonable y de manera que favorezcan la

comprensión, la toma de decisiones y acciones sobre el programa (Patton, 2013a).

Este paso es valioso, no solo en este modelo evaluativo, sino en términos de la

viabilidad de cualquier evaluación.

Un aspecto que debe cuidar el evaluador es que el abordaje de las preguntas de

evaluación sea apropiado, en términos de la etapa de desarrollo del proyecto y las

acciones que se puedan tomar a partir de la información analizada (en el caso de

preguntas respecto a su implementación); sus condiciones de evaluabilidad3 (en

caso que interese conocer los resultados) y las posibilidades de establecer

causalidad (cuando interese establecer atribución de los resultados al programa o

proyecto) considerando las dificultades que suele implicar la tarea de generar

evidencia confiable que apoye este tipo de juicios (Patton, 2013a). Es aquí donde

el criterio del evaluador parece entrar en juego más evidentemente.

Una vez hecho esto, se debe negociar la selección de los métodos adecuados

para generar hallazgos confiables, de manera que apoyen el uso de la evaluación

por parte de los usuarios prioritarios, y asegurándose que éstos comprendan las

implicaciones de la decisión. Este es sin duda un paso clave en términos

metodológicos, y cabe notar que, a diferencia de esquemas en los que puede

considerarse al evaluador como “experto” y único responsable de este tipo de

decisiones, en este modelo debe realizarse considerando el criterio de los

3 Implica que los objetivos del programa estén planteados de manera específica y medible, que sean

alcanzables, relevantes y situados temporalmente (Patton, 2013).

13

principales involucrados. Esta no es una decisión que el evaluador pueda

determinar por su cuenta o imponer, pero sí debe ser vigilante de criterios de

calidad para la evaluación, atendiendo la calidad del dato, su confiabilidad y

utilidad (Patton, 2013a).

Al respecto, es importante el criterio metodológico que el evaluador logre

establecer en relación con las demandas que se plantean al proceso. Por ejemplo,

en análisis recientes acerca de las tendencias contemporáneas sobre el uso de

métodos cualitativos, Patton (2013b) advierte que la solicitud de contar con

información útil, bajo cronogramas estrechos y en estudios grandes en varias

sedes, está conduciendo a la recopilación de información superficial a través de

entrevistas, y estrategias como la observación participante es menos empleada.

Esto hace que la estrategia metodológica cualitativa se esté realizando sin un

sustento teórico importante, lo cual parece preocupante para el autor.

Un aspecto clave en este paso es la formación que el evaluador debe favorecer en

los usuarios, respecto a las alternativas metodológicas posibles, las fortalezas y

virtudes de los abordajes y controversias alrededor de esta decisión, procurando

sostener debates prácticos y útiles, no académicos o pedantes al respecto. El

autor sostiene que los usuarios deberían conocer las implicaciones que la decisión

del método puede tener en la credibilidad de la evaluación, con base en cierto

conocimiento sobre el uso de datos cuantitativos y cualitativos, diseños

experimentales y no experimentales, la aleatorización o la selección de casos, el

establecimiento de generalizaciones o consideraciones sensibles al contexto y

mantener posturas más pragmáticas más rígidas metodológicamente (Patton,

2013a).

Sin duda, lo anterior se coloca como un reto para el evaluador, en términos del

dominio epistemológico y metodológico que esto implica, sumado a la labor de

enseñarlo a los usuarios de la evaluación en términos cercanos y prácticos para

ellos.

Al momento de realizar la recolección de datos, Patton (2013a) plantea la

importancia de gestionar adecuadamente el proceso, capacitando a quienes

14

participen en este paso, cuidando la calidad del dato y la credibilidad de la

evaluación. También será importante estar al tanto de los problemas que surjan y

corregirlos, adaptando los métodos a cambios que sucedan en el contexto. Este

paso, así como los anteriores, implica un proceso de constante comunicación con

los usuarios, con el fin de informarles y mantenerlos involucrados, al comentarles

hallazgos preliminares, por ejemplo.

En el análisis de la información y la socialización de los resultados también son

evidentes la rigurosidad metodológica y el pragmatismo el autor. Con base en la

primera, Patton apela a la triangulación de los datos bajo la consideración de que

ningún método por sí solo resuelve el problema de las explicaciones rivales con

las cuales comprender hallazgos, además de que cada uno revela distintos

aspectos de la realidad empírica. En esta línea, aún sabiendo que son costosas en

tiempo y esfuerzo, motiva la triangulación por medio del uso de distintos métodos,

fuentes de información, que varios analistas brinden su criterio sobre la misma

información, o valiéndose de distintas teorías (Patton, 1987, 2013a).

En línea con el pragmatismo, Patton (2013a) apunta que la organización y

presentación de los hallazgos debe facilitar la interpretación por parte de los

usuarios prioritarios, contemplando emplear distintos formatos de manera creativa

y pertinente a la audiencia. El momento de reportar información debe ser

oportuno, y también señala la importancia de emplear recursos que permitan

visualizar la complejidad de la información, sobre todo de tipo cualitativo, pues los

usuarios deberían involucrarse en la generación de juicios evaluativos y en el

planteamiento de recomendaciones.

Una vez hecho esto, será importante darle seguimiento a la evaluación. En este

sentido, el reporte de los hallazgos no es final del proceso, y más bien debe

motivarse su continuación a través de la aplicación del conocimiento generado y la

implementación de las recomendaciones planteadas. Con el fin de promover el

uso continuo de la evaluación, también se debe estar atento a datos y preguntas

emergentes, o a nuevas audiencias que puedan interesarse en los resultados del

proceso (Patton, 2013a).

15

A partir de lo anterior se estima que un elemento de dificultad en el planteamiento

metodológico de este modelo es el tiempo que implica para los usuarios, la

organización y el evaluador su involucramiento cercano y concienzudo en el

proceso antes descrito. Quizá de ahí venga el énfasis de Patton en valorar la

receptividad hacia la evaluación desde el momento inicial, así como la importancia

de mantener el interés y compromiso en la misma durante el proceso. Sin duda,

esto se coloca como un criterio de viabilidad al pretender seguir este modelo al

realizar una evaluación.

A manera de síntesis, cabe decir que consistentemente con su perspectiva

ontológica en cuanto a cómo debe ser la evaluación, y su punto de vista

epistemológico, la metodología dentro del modelo planteado por Patton tiene como

eje trasversal el uso de la evaluación, pues con este criterio se deben tomar las

decisiones respecto al diseño de la evaluación, qué tipo de datos interesan y cómo

deben recolectarse y analizarse. Otro aspecto nodal es el involucramiento y la

participación de los usuarios en el proceso anterior, en alianza con la riguridad que

debe procurar el evaluador para garantizar la calidad y confiablidad de los datos.

La interacción entre éstos tres elementos es lo que parece garantizar, o procurar,

que la evaluación sea pertinente, válida y que cuente con credibilidad entre los

usuarios.

AXIOLOGÍA: ENTRE LA RIGUROSIDAD Y LOS VALORES PROPIOS DEL EVALUADOR

A este punto es claro que en el modelo de evaluación centrada en el uso,

planteado por Michael Patton, tiene como finalidad motivar la utilización del

proceso en los usuarios del mismo; propósito que además se coloca de manera

trasversal al concepto de evaluación y la metodología sugerida por el autor. Ahora

bien, también es posible identificar algunos de los valores que se desprenden de

este marco evaluativo analizando la especie de ‘perfil de evaluador’ que describe

Patton en distintos textos.

Para empezar, Patton (2010) concibe que el uso que se haga de la evaluación es

parte de la rendición de cuentas de la evaluación misma, y es parte del desarrollo

16

profesional continuo de quien la facilita. Muestra de ello es que se coloque la

metaevaluación del proceso realizado como uno de los últimos pasos del mismo,

dirigido a hacerse responsable, aprender y mejorar (2013a).

Según establece, la metaevaluación debe ser tomada en serio y de manera

sistemática, destinando el tiempo necesario para ello. Esto sería parte del

compromiso con una práctica profesional reflexiva respecto a qué salió bien y no

tan bien durante la evaluación, cuáles fueron las competencias y habilidades que

requería el proceso y cuáles entraron realmente en juego, y usar dicho aprendizaje

para mejorar sus prácticas (Patton, 2013a).

Eso implica una figura de responsabilidad y compromiso con la mejora continua y

con la profesionalización de la práctica evaluativa. En línea con esto, tal como se

anotó en el apartado metodológico, el ejercicio de facilitar un proceso evaluativo

bajo este modelo implica una formación sólida en discusiones epistemológicas,

conceptuales y metodológicas, así como la elaboración de un criterio propio según

el cual formar y apoyar el conocimiento de los usuarios en la materia.

No por ello el evaluador será un metodólogo, sino que también deberá reunir una

serie de atributos sociales necesarios para establecer una relación empática, de

cercanía y acompañamiento pertinente con los usuarios. De tal manera lo expresó

en una entrevista en la que se le consultó por las principales competencias que

debe tener un evaluador para mantenerse al ritmo de las nuevas tendencias:

"Los evaluadores no sólo tienen que ser metodológicamente

competentes, sino también tener habilidades para analizar situaciones,

tener sensibilidad cultural en su trabajo, ser políticamente consciente

de cómo se utilizan los datos y métodos en la era del conocimiento, y

entender cómo se cruza de evaluación con la política en todos los

niveles. Además, los evaluadores tienen que ser muy buenos

comunicadores y facilitadores, al menos si están haciendo la

evaluación centrada en la utilización y con el objetivo de trabajar con

las familias y los miembros de la comunidad de una manera

mutuamente respetuosas y útiles" (Patton, en Coffman, 2002)4.

4 Entrevista realizada en el marco de una publicación enfocada en proyectos de apoyo a familias en Estados

Unidos.

17

En línea con las demandas que plantea este modelo a la figura del evaluador, en

textos más recientes, Patton (2013a) incluso apunta que uno de los primeros

pasos para desarrollar un proceso evaluativo centrado en la utilización consiste en

valorar y motivar la preparación del evaluador para asumirla. La premisa consiste

en que se requieren habilidades y una “filosofía” particular para ello, las cuales

concretiza en la siguiente lista:

1. Conocimiento de la práctica profesional.

2. Habilidades para la investigación sistemática.

3. Habilidades para el análisis de situación.

4. Habilidades para la administración de proyectos.

5. Competencias para la práctica reflexiva.

6. Habilidades interpersonales.

7. Sensibilidad cultural (cultural competence).

De manera interesante, Moleko (2011) logró rastrear que la sensibilidad cultural a

la cual apela Patton tiene raíces en su experiencia como voluntario en el Cuerpo

de Paz en Burkina Faso a finales de los sesentas. Según expresó el mismo

Patton, esta vivencia enriqueció su empatía, sus habilidades personales y

organizativas, así como su sentido pragmático. De ahí, también se establece su

privilegio a los “usuarios intencionados de la evaluación”, pues desde ese

momento determinó que su nicho sería facilitar el uso de la evaluación por parte

de otras personas, entre las que debe considerarse la población beneficiaria

directa.

Ahora, un aspecto digno de analizar es la dimensión ética y política de este

modelo, que el mismo Patton destaca como elemento que atraviesa la evaluación.

Según analizó Moleko (2011), este planteamiento tiene implícito el riesgo del

"clientelismo", según el cual el evaluador, o el proceso mismo, podrían convertirse

en una herramienta política de intereses particulares, sobre todo debido a la

importancia otorgada a los usuarios y a la información que éstos requieran. Si bien

esto puede suceder con cualquier modelo evaluativo, la visión parcializado que

éste implica, coloca el uso de la evaluación como un tema éticamente sensible.

18

Como también reportó Moleko (2011), cuando se le ha planteado este tipo de

cuestionamientos a Patton, su respuesta ha remitido a que desde el inicio de la

evaluación, cuando se está analizando el contexto y el uso pretendido del proceso,

el evaluador debe ser "deliberado e intencional" respecto sus posicionamientos

éticos y morales, consultando y aclarando cuáles son los intereses detrás de la

evaluación, de quiénes provienen y quién podrá tener acceso a los resultados. Es

en este momento que la integridad del evaluador entra en juego, de la mano con el

respeto a los principios profesionales y a las necesidades y creencias de los

usuarios primarios.

Ante esta postura, cabe preguntarse cuál sería la acción correcta en caso de no

haber coincidencia en los criterios éticos y morales alrededor del uso de la

información generada en el proceso. En este sentido, Moleko (2011) estima que la

recomendación de Patton sería retirarse de la evaluación, pues el este podría

convertirse en un obstáculo para el uso.

En relación con cuestiones éticas, Patton (2013b) ha sido más claro respecto a

temas como la anticipación del impacto que tendrán los resultados sobre los

participantes, la confidencialidad de la información cuando se trabaja con

muestras pequeñas, o la compensación por participar en la recolección de datos.

No así, en aspectos relacionados con usos no previstos, y quizá polémicos, de la

información generada, y cuál debería ser la posición del evaluador al respecto.

Por tanto, como parte del análisis axiológico, se considera valiosa la exigencia de

dominio conceptual y metodológico que plantea este modelo a la figura del

evaluador, así como las habilidades interpersonales que también plantea como

necesarias para desarrollar el proceso de manera responsable y pertinente. No

obstante, dentro del modelo, parece ser el criterio ético y moral de cada facilitador

el que determinará su participación en los procesos evaluativos, pues no se

plantea un "propósito ulterior" de la evaluación (como sucedería desde

posicionamientos emancipatorios) y el uso de éstos por parte de los usuarios

previstos es el criterio que parece imperar.

19

REFLEXIONES Y CONSIDERACIONES FINALES

El modelo de la Evaluación centrada en el uso, planteado por Patton es

consistente en su perspectiva ontológica, epistemológica, metodológica y

axiológica, al colocar como eje trasversal y prioritario la utilización del proceso por

parte de los usuarios. Ontológicamente, la evaluación que propone Patton consiste

en un proceso dinámico, contextualizado, participativo, adaptativo y dirigido a

motivar el pensamiento evaluativo entre los involucrados en el mismo. De la mano

con privilegiar la elaboración de criterios y la toma de decisiones junto a los

usuarios, desde un punto de vista epistemológico el modelo tiene bases

construccionistas, y se nutre de ciertos rasgos emancipatorios, relacionados con el

uso de metodologías tanto cualitativas como cuantitativas, y la actuación

facilitadora del evaluador en el proceso de construcción del conocimiento.

Metodológicamente, la propuesta es interesante, en parte por la anuencia a

trabajar desde diseños mixtos, privilegiando que el abordaje del objeto de

evaluación de interés para los usuarios sea el adecuado, y el que permita generar

la información necesaria. Además, plantea un reto importante para el evaluador

pues debe tener dominio y criterio propio sobre las estrategias posibles, las

fortalezas y virtudes de los abordajes y controversias alrededor de las decisiones

sobre el método a emplear.

Esto último será fundamental para proteger la calidad de la información

recolectada, y por ende, de la evaluación misma, en un marco que con la

priorización de los usuarios, corre el riesgo de caer en un pragmatismo excesivo.

Ante esto, el autor destaca la importancia de formar un criterio evaluativo también

en los usuarios, lo cual aunado a ser una tarea loable, puede convertirse en un

importante factor de sostenibilidad para los procesos evaluativos en una

organización.

Finalmente, también en la dimensión axiológica del modelo la figura del evaluador

se torna fundamental, pues en él recae la determinación de los criterios éticos y

morales que puedan entrar en juego en el proceso evaluativo. En este sentido se

20

torna crucial que el evaluador logre equilibrar de manera congruente sus valores

con el uso pretendido de la evaluación por parte de los usuarios de la misma.

21

FUENTES DE INFORMACIÓN

Coffman, J. (2002). A conversation with Michael Quinn Patton. The Evaluation

Exchange. 8 (1), 10-11. Recuperado de: http://www.hfrp.org/evaluation/the-evaluation-exchange/issue-archive/family-support/a-conversation-with-michael-quinn-patton

Moleko, M. (2011). Influence and originality in Michael Quinn Patton’s Utilization-Focused Evaluation. (Tesis para optar por el grado de Maestría en Filosofía de las métodos en Ciencias Sociales). Stellenbosch University, Sur África.

Patton, M. (1987). How to Use Qualitative Methods in Evaluation. California, Estados Unidos: Sage Publications.

Patton, M. (2010, setiembre). Utilization-Focused Evaluation with Michael Quinn. Recuperado de http://ccer.org/service/documents/Michael%20Patton/U-FE%20workshop.pdf

Patton, M. (2013, enero). Utilization-Focused Evaluation (U-FE) Checklist . Recuperado de: http://www.wmich.edu/evalctr/wp-content/uploads/2010/05/UFE.pdf

Patton, M. (2013, octubre). The State of Qualitative Methods in the Early 21stCentury: Top Ten Developments Over the Last Decade and Emergent Challenges. Presentación realizada en el evento Evaluation 2013: Evaluation Practice in the Early 21st Century. Recuperado de: http://comm.eval.org/communities/resources/viewdocument/?DocumentKey=724ee6ff-7860-45f7-a1b8-5ce9e1ead639

Sage Publications. (2015). Michael Quinn Patton. Recuperado de: http://www.sagepub.com/authorDetails.nav?contribId=501968