Upload
wing-terrell
View
80
Download
3
Embed Size (px)
DESCRIPTION
Programas basados en competencias y su evaluación. La experiencia del Tecnológico de Monterrey TEOFILO J. RAMOS San Salvador, El Salvador Mayo 16, 2013. Contexto Institucional. Contexto Institucional. - PowerPoint PPT Presentation
Citation preview
Programas basados en competencias y su
evaluaciónLa experiencia del Tecnológico de Monterrey
TEOFILO J. RAMOS
San Salvador, El SalvadorMayo 16, 2013
1
2
Contexto Institucional
Contexto Institucional
• El Tecnológico de Monterrey fue fundado en 1943 por un grupo de empresarios mexicanos, bajo el liderazgo de Don Eugenio Garza Sada
• Institución privada sin fines de lucro
• Independiente
• Genera los recursos necesarios para su operación
3
www.itesm.edu
• 31 Campus y una Universidad Virtual
• 96,649 estudiantes:Preparatoria: 24,592Profesional: 54,777Posgrado: 17,280 (8380 en la UV)
• 48.25% con beca o apoyo financiero
• 8,391 profesores
Contexto Institucional
4
Contexto Institucional
• 58 carreras profesionales• 18 programas de especialidades
médicas• 42 programas de maestría• 10 programas de doctorado
• 185,797 egresados de carreras profesionales
• 44,483 egresados de programas de posgrado
• 18% de las 200 empresas más importantes de México son dirigidas por egresados 5
Contexto Institucional
• 21 oficinas de enlace internacional
• 6,959 estudiantes nuestros en universidades extranjeras
• 4,423 estudiantes internacionales
• 754 profesores participaron en proyectos internacionales
• 911 profesores extranjeros impartieron cursos en alguno de los campus
• 372 convenios con universidades internacionales de prestigio
6
7
Programas académicos acreditados(a junio 2012)
% de prog. Acreditados * 100%
Organismo # de programasCOPAES 199CIEES 10TOTAL 209Programas acreditables** 209
Organismo # de programasAACSB 6ABET 22CLAEP 1TOTAL 29
ProfesionalIn
tern
acio
nal
Nac
iona
lPosgrado
% de prog. Acreditados* 80%
Organismo # de programasPNPC - CONACYT 59CIEES 21Total 80Programas acreditables** 100
Organismo # de programasTriple Corona(AACSB, EQUIS-EFMD y AMBA) – EGADE Mty
8
AMBA: CCM, CEM, QRO 3
TOTAL 11• Meta institucional: 100% de los programas de profesional y posgrado
acreditados por algún organismo nacional **Programas acreditables: programas que se ofrecen de manera completa en un campus y han graduado al menos a tres generaciones
Calidad Académica en el Tecnológico de Monterrey
Mej
ora
Conti
nua
Medición de competencias de egreso “Learning outcomes” (Programas académicos)
Evaluación de Programas Académico
Institucionales y de Programas Nacionales e InternacionalesAcreditaciones
Estándares de admisión (College Board) Pruebas estandarizadas Antecedentes académicos
Selección de Alumnos
Exámenes estandarizados Pruebas nacionales
Evaluación del Aprendizaje
Estudios de egresados: Candidatos a graduarse, 3 meses de graduados, Trayectoria de graduados 5,10, 15, 20 y 25 años
Empleadores
Seguimiento de Egresados
Indicadores de Excelencia Académica: IDEA (alumnos, profesores, directivos), Tableros
Juntas de Evaluación
Efectividad Institucional
8
9
Algunos resultados de estos procesos
Campus que viven la filosofía del mejoramiento continuo.
Reconocimiento y prestigio nacional e internacional por la acreditación externa de los programas académicos.
Profesores más competentes. Mejores alumnos en lo académico y más
comprometidos en el desarrollo de sus comunidades.
Mejores bibliotecas, infraestructura, y recursos de apoyo al aprendizaje.
Identificación de áreas de oportunidad para mejorar.
Se refuerza la visión del quehacer importante, desde el cumplimiento de la Misión hasta los Perfiles de Egreso y de que hay que demostrar que se está logrando (rendición de cuentas)
Desarrollo de la cultura de la “documentación”.
Resultados
10
Se facilitan las conversaciones con aliados académicos internacionales (actuales y potenciales).
Ciclo virtuoso de calidad
Enfoque al aseguramiento de la calidad académica.
Enriquecimiento del modelo educativo (formación y evaluación por competencias)
Inversión importante en recursos humanos y económicos.
Resultados
11
Contexto de programas basados en competencias
Fortalecimiento de la rendición de cuentas
Énfasis en la medición del aprendizaje versus medición de la infraestructura y los procesos académicos
Tendencia internacional de las acreditaciones
12
Objetivo
Asegurar el cumplimiento del perfil de egreso de los programas académicos.
13
ABET
“The program must regularly use appropriate, documented processes for assessing and evaluating the extent to which both the program educational objectives and the student outcomes are being attained. The results of these evaluations must be systematically utilized as input for the continuous improvement of the program. Other available information may also be used to assist in the continuous improvement of the program.”
14
SACS
The institution identifies expected outcomes, assess the extent to which theses outcomes, and provides evidence of improvement based on analysis of the results in each of the following areas:
Educational programs, to include student learning outcomes.
15
Assessment
“A systematic process of looking at student achievement within and across courses by gathering, interpreting and using information about student learning for educational improvement”American Association of Higher Education
16
Nuestra definición de Assessment
Assessment es la evaluación sistemática de los programas académicos con base en resultados del aprendizaje (learning outcomes*) y utilizando los resultados de la evaluación para la mejora continua
*En el Tecnológico de Monterrey las denominamos competencias de egreso
17
Evaluación a nivel curso
Semestres1er 2d
o 3er 4to 5to …. 9no
M11
M12
M13
M14 …. …. M1
9M21
M22
M23
M24 …. …. M2
9M31
M32
M33
M34 …. …. M3
9… … … … … ... …Mn1
Mn2
Mn3
Mn4 …. …. Mn
9
Evaluación de programa y ciclos de mejora
Logros esperadosAl momento de graduarse
Competencias de Egreso(CE’s):
Alumnos• Generales• Comunes del área• De la especialidad
• En cada materia, los profesores y departamentos académicos evalúan objetivos de aprendizaje del curso: conocimientos, habilidades, actitudes y valores.
• Para ser evaluadas las CE´s, tienen que ser expresadas en criterios de desempeño.
Esto es lo que ya se hace Esto se añade
Evaluación de programas18
Definición
Acciones educativa
s
Cursos, actividadesco-curriculares,
programas de apoyo, recursos de aprendizaje
Directa Indirecta
Valoración
Medición
Evaluación
Decisión de mejora continua
Plan de Evaluació
n
Competencias de egreso
Criterios de desempeño
Proceso de evaluación de programas 19
Etapa 1. Perfil de egreso basado en competencias
Etapa 2. Plan de evaluación del programa
Etapa 3. Evaluación y Resultados
Etapa 4. Acciones de mejora
Etapas del proceso de evaluación de programas20
Etapa 1.Perfil de Egreso basado en
Competencias
21
Etapa 1. Perfil de Egreso basado en competencias
Profesionales:• Básicas de la Profesión
• Administración• Ingeniería• Ciencias Sociales y
Humanidades• Ciencias de la
Salud
Profesionales:• De la Especialidad
• Mecánico Administrador
• Mecatrónica• Biotecnología• Médico Cirujano• Psicología Laboral• Arquitecto• Ciencia Política• Etc.
Personales:1. Dominio del Inglés2. Ética3. Ciudadanía4. Capacidad
emprendedora y de innovación
5. Liderazgo6. Confianza en sí
mismo7. Compromiso con el
medio ambiente 8. Comunicación oral y
escrita9. Perspectiva global
22
Combinación de atributos — con respecto al conocimiento y su aplicación, a las actitudes
y a las responsabilidades— que hacen referencia a las capacidades que un
estudiante debe haber desarrollado al momento de su graduación.
Competencias de Egreso (CEs)
Etapa 1. Perfil de Egreso basado en competencias23
Criterios de Desempeño (CDs)
Enunciados específicos medibles que identifican comportamientos
observables que evidencian el desarrollo de una competencia.
Se definen al menos 2 por cada CE
Etapa 1. Perfil de Egreso basado en competencias24
Objetivos de Programa
Los objetivos de un programa son declaraciones amplias que describen los logros de un egresado de un programa después de cierto tiempo de su graduación
La medición de los objetivos puede utilizarse para determinar el progreso del programa hacia el cumplimiento de su oferta académica
Típicamente, un programa tiene alrededor de 5 a 7 objetivos
25
Objetivos de Programa
Deben reflejar las necesidades de los grupos de interés a los que sirve el programaDeben ser consistentes con la Misión de la institución y estar publicadosDeben medirse para evaluar el programa en función de su cumplimientoSe deben revisar periódicamente para reflejar posibles cambios en las necesidades del entornoEl proceso de definición, medición, evaluación y mejora debe estar documentado
26
Ejemplo:Carrera Ingeniero en Sistemas Computacionales
Objetivos del programa
1. Los egresados basan, consistentemente, en criterios éticos las decisiones que toman en relación con su persona, su práctica profesional y su entorno.1.1 Los egresados basan, consistentemente, en criterios éticos las decisiones que toman en relación con su persona, su práctica profesional y su entorno y reportan que generalmente o la mayoría de las veces, aplican un razonamiento que les permite asegurar que su decisión será válida o justificable en el futuro y no sólo en el momento presente.2. Los egresados consideran las consecuencias de su actuación personal, social y profesional para las personas y su entorno.3. Los egresados se mantienen actualizados sobre el acontecer social, económico y político.4. Los egresados participan en organizaciones o actividades que contribuyen al mejoramiento de su comunidad.
27
1. El alumno diseñará, desarrollará, implementará, probará y mantendrá proyectos de software de acuerdo a criterios de cumplimiento previamente establecidos. <<>>
Ejemplo:Carrera Ingeniero en Sistemas Computacionales
Competencia de egreso:
Criterios de desempeño:1.1 El alumno aplica los conceptos del ciclo de vida de sistemas en el desarrollo de proyectos de software. Tendrá la habilidad de hacer un análisis de la problemática, modelar una solución, desarrollar y probar el producto de software, cuidando que se satisfaga la problemática inicial1.2 El alumno será capaz de aplicar de manera adecuada, diferentes modelos del ciclo de vida del desarrollo de software.1.3 El alumno define la problemática de TI, realiza un diagnóstico para identificar requerimientos y genera alternativas de solución.1.4 El alumno modela, diseña y codifica satisfactoriamente la solución de un problema de tecnología de información aplicando herramientas de diseño y desarrollo
28
Etapa 2.Plan de Evaluación de cada carrera
29
Es la guía para realizar la evaluación del programa.
Para cada criterio de desempeño de cada una de las competencias de egreso, identificar:
o Frecuencia de la medicióno Método de medicióno Dónde mediro Forma de cumplimiento y metaso Responsable de la medición
Etapa 2. Plan de Evaluación de cada carrera30
Etapa 2. Plan de Evaluación de cada carrera
Semestre Método de evaluación Cuándo Dónde Responsable Meta
Agosto - Diciembre, 2011
Rúbrica Anual TC2011 Sistemas Inteligentes Carlos Ramiírez Gutiérrez 80%
31
Etapa 2. Plan de Evaluación de cada carrera
Rúbrica Niveles de desarrollo
1 2 3 4
Propuestas de mejora de soluciones existentes mediante el uso de IA.
Es incapaz de proponer o juzgar mejoras a soluciones ya existentes de problemas, mediante el uso de técnicas y algoritmos de IA.
Propone mejoras parciales a soluciones ya existentes de problemas, mediante el uso de técnicas y algoritmos de IA.
Propone mejoras efectivas a soluciones ya existentes de problemas, mediante el uso de técnicas y algoritmos de IA.
Propone, justifica y critica mejoras efectivas a soluciones ya existentes de problemas, mediante el uso de técnicas y algoritmos de IA.
Desarrollo de reportes técnicos y artículos científicos para conferencia en el área de Inteligencia Artificial y afines, a partir de los proyectos desarrollados.
Es incapaz de analizar, documentar formalmente y juzgar teorías de solución a problemas reales, que involucran estrategias y algoritmos de IA.
Analiza pero es incapaz de documentar formalmente y juzgar teorías de solución a problemas reales, que involucran estrategias y algoritmos de IA.
Analiza, elabora y documenta formalmente teorías de solución a problemas reales, que involucran estrategias y algoritmos de IA.
Elabora, documenta formalmente y critica teorías de solución a problemas reales, que involucran estrategias y algoritmos de IA.
Utilización efectiva de técnicas y algoritmos de Inteligencia Artificial en la solución de problemas teóricos y en el desarrollo de proyectos.
Es incapaz de aplicar técnicas y algoritmos de IA en sus proyectos.
Aplica de forma muy limitada técnicas y algoritmos de IA en los proyectos del curso.
Aplica en la mayoría de los casos técnicas y algoritmos efectivos de IA los proyectos del curso.
Aplica consistentemente técnicas y algoritmos efectivos de IA en los proyectos del curso.
32
Consideraciones metodológicas:
Es una tarea adicional a la evaluación del curso pero puede hacerse sobre el producto de un curso (course embedded assessment)
También es posible realizarlo en un evento especial (assessment center)
Etapa 2. Plan de Evaluación de cada carrera33
Consideraciones metodológicas:
Se evalúa el programa académico, y no al alumno o al profesor en lo individual, a través de evidencias del desarrollo de las competencias a nivel programa.
Etapa 2. Plan de Evaluación de cada carrera34
Consideraciones metodológicas:
Se pueden utilizar los siguientes métodos de medición:
o Métodos indirectos: mediante los resultados de encuestas. Ejemplo: Instrumento de Competencias Éticas y Ciudadanas
o Métodos directos: se observa de primera mano el desempeño del alumno. Ejemplos:• Examen estandarizado (EGEL, TOEFL).• Aplicación de rúbrica (evaluación de un ensayo, proyecto,
presentación oral).
Etapa 2. Plan de Evaluación de cada carrera35
Consideraciones metodológicas:
No se requiere medir todo, ni todo el tiempo: o La medición puede ser semestral o anualo La medición se realiza sobre una muestra
aleatoria
Etapa 2. Plan de Evaluación de cada carrera36
Etapa 3.Evaluación y Resultados
37
Ejecutar el plan de evaluación
Realizar la medición de las competencias de egreso de acuerdo con el plan de evaluación.
Integrar reportes para el análisis colegiado y la toma de decisiones de mejor.
Etapa 3. Evaluación y resultados38
Etapa 4.Documentación de Acciones de Mejora
39
Realizar el análisis de resultados de la medición y la definición de acciones de mejora y su implementación (se recomienda integrar esas actividades dentro del plan semestral de trabajo departamental)
Documentar y dar seguimiento a los acuerdos
Asegurar el inicio de un nuevo ciclo de medición y mejora
Etapa 4. Documentación de Acciones de Mejora40
Sistema para Administrar la Evaluación de Programas
Académicos (SAEP)
Tecnológico de MonterreyVicerrectoría Académica
Junio 2012
41
Herramienta de apoyo para administrar la evaluación: Sistema en líneaPermite dar seguimiento a la evaluación de programaEnlaza los resultados de evaluaciones oficiales (pruebas
nacionales, encuestas institucionales y externas) con criterios de desempeño
Facilita la evaluación de evidencias a través de rúbricas Documenta los resultados del desarrollo de competencias
y las acciones de mejora establecidas
SAEP42
Proceso de evaluación
enSAEP
Etapa 1: Perfil
Etapa 2:Plan de
evaluación
Etapa 3: Evaluació
n
Etapa 4: Acciones
de mejora
SAEP como herramienta de ayuda en el proceso de evaluación de programas académicos
• Se define el plan de evaluación por carrera-campus:• Métodos de evaluación (encuestas, rúbricas y exámenes)
• Formas de cumplimiento, responsables y metas
• Permite generar reportes en word o html
• Se visualiza el perfil de egreso por carrera
• Permite generar reportes en word o html
• Permite a los profesores evaluar trabajos de alumnos a través de rúbricas
• Obtiene de fuentes oficiales resultados de exámenes (TOEFL, CENEVAL) y encuestas (Trayectoria, ICEC, NSSE)
• Permite generar reportes de avance en word o html
• Funcionalidad de exportar a Excel los resultados
• Permite agregar por criterio de desempeño acciones de mejora
• Funcionalidad de documentar información adicional
43