11
El compromiso académico y social a través de la investigación e innovación educativas en la Enseñanza Superior Rosabel Roig-Vila (Ed.) universidad

Agentes evaluadores de actividades formativas on-line · 91. Agentes evaluadores de actividades formativas on-line Antonia Cascales-Martínez1 y María Ángeles Gomariz Vicente2 1Universidad

  • Upload
    others

  • View
    4

  • Download
    1

Embed Size (px)

Citation preview

El compromiso académico y social a través de la investigación e innovación educativas en la Enseñanza Superior

Rosabel Roig-Vila (Ed.)

universidad universidad

El compromiso académico y social a través de la investigación e innovación educativas en la Enseñanza Superior

El libro que aquí se presenta, El compromiso académico y social a través de la investigación e innovación educativas en la Enseñanza Superior, es un compendio de investigaciones e innovaciones educativas llevadas a cabo en el contexto de la Educación Superior.

En la primera parte de este libro se recogen investigaciones que anali-zan problemas o métodos para mejorar los “Resultados de investigación sobre la docencia en la Educación Superior” en prácticamente todas las ramas, campos, ciencias y disciplinas universitarias (capítulos 1-80). En la segunda parte, más específica, se atiende a la “Innovación docente en torno a los procesos de enseñanza-aprendizaje inclusivos” (capítu-los 81-88). Sigue una tercera parte, de similar número de capítulos, en la que se desciende al detalle de la generación de “Acciones de apoyo, orientación y refuerzo al alumnado para la mejora de la formación y de los resultados en la Educación Superior” (capítulos 89-99). A continua-ción y de nuevo con extensión similar, se encuentran las aportaciones a las “Nuevas metodologías basadas en el uso de las tecnologías (TIC o TAC) en la Educación Superior” (capítulos 100-116), para terminar en la quinta parte del libro en la que se desarrollan los trabajos referidos a la “Investigación e innovación en enseñanza no universitaria para tender puentes con la Educación Superior” (capítulos 117-122).

EL C

OMPR

OMIS

O AC

ADÉM

ICO

Y SO

CIAL

A T

RAVÉ

S DE

LA

INVE

STIG

ACIÓ

N E

INNO

VACI

ÓN E

DUCA

TIVA

S EN

LA

ENSE

ÑANZ

A SU

PERI

ORR

osab

el R

oig-

Vila

(Ed.

)

Rosabel Roig-Vila (Ed.)

El compromiso académico y social a través de la investigación e innovación educativas en la Enseñanza Superior

Primera edición: octubre de 2018

© De la edición: Rosabel Roig-Vila

© Del texto: Las autoras y autores

© De esta edición:

Ediciones OCTAEDRO, S.L. C/ Bailen, 5 – 08010 Barcelona Tel.: 93 246 40 02 – Fax: 93 231 18 68

www.octaedro.com – [email protected]

El compromiso académico y social a través de la investigación e innovación educativas en la Enseñanza Superior

Edición:Rosabel Roig-Vila

Comité científico internacionalProf. Dr. Julio Cabero Almenara, Universidad de SevillaProf. Dr. Antonio Cortijo Ocaña, University of California at Santa BarbaraProfa. Dra. Floriana Falcinelli, Università degli Studi di PeruggiaProfa. Dra. Carolina Flores Lueg, Universidad del Bío-BíoProfa. Dra. Chiara Maria Gemma, Università degli studi di Bari Aldo MoroProf. Manuel León Urrutia, University of SouthamptonProfa. Dra. Victoria I. Marín, Universidad de OldenburgoProf. Dr. Enric Mallorquí-Ruscalleda, Indiana University-Purdue University, IndianapolisProf. Dr. Santiago Mengual Andres, Universitat de ValènciaProf. Dr. Fabrizio Manuel Sirignano, Università degli Studi Suor Orsola Benincasa di Napoli

Comite tecnico:Jordi M. Antolí Martínez, Universidad de AlicanteGladys Merma Molina, Universidad de Alicante

Revisión y maquetación: ICE de la Universidad de Alicante

ISBN: 978-84-17219-25-3

Producción: Ediciones OctaedroCualquier forma de reproducción, distribución, comunicación pública o transformación de esta obra solo puede ser realizada con la autorización de sus titulares, salvo excepción prevista por la ley. Diríjase a CEDRO (Centro Español de Derechos Reprográficos, www.cedro.org) si necesita fotocopiar o escanear algún fragmento de esta obra.

NOTA EDITORIAL: Las opiniones y contenidos de los textos publicados en esta obra son de responsabilidad exclusiva de los autores.

91. Agentes evaluadores de actividades formativas on-line

Antonia Cascales-Martínez1 y María Ángeles Gomariz Vicente2

1Universidad de Murcia, [email protected]; 2Universidad de Murcia, [email protected]

RESUMEN

El presente trabajo consiste en la puesta en práctica de un proyecto de innovación educativa en la que los estudiantes del Máster Universitario en Formación del Profesorado de Educación Secundaria y Bachillerato, Ciclos Formativos, de la especialidad de Orientación educativa, actúan como evalua-dores de actividades formativas, NOOC, realizadas en el contexto de la asignatura y los resultados de dichas evaluaciones. Para ello se diseñó ad hoc un cuestionario de evaluación de la calidad de las actividades formativas, divido en dos partes, lo datos sociodemográficos del evaluador, y 30 ítems que determinan la calidad en cuanto la calidad general, de la metodología y calidad tecnica de cada actividad. La muestra participante ha sido de 30 estudiantes. Se han evaluado ocho NOOC cuyos con-tenidos están vinculados con la Acción Tutorial y los destinatarios de los mismos han sido familias, docentes y alumnado de Educación Secundaria. Los resultados ponen de relieve el empoderamiento del alumnado, en la medida que es protagonista activo y creativo de su aprendizaje, ejerciendo un doble rol, creador y validador experto de la actividad formativa on line, NOOC.

PALABRAS CLAVE: Máster en Formación del Profesorado, acción tutorial, innovación docente, agentes evaluadores, NOOC

1. INTRODUCCIÓNEl presente estudio se centra en el análisis de los resultados obtenidos tras la puesta en práctica de un proyecto de innovación cuyo propósito es el diseño de acción formativas on-line para dar respuesta ajustada en el tiempo y en los contenidos a los planteamientos de la Acción Tutorial, y evaluar dichas acciones, por parte de los estudiantes, que han sido formados para ello. Para ello es fundamental tener presente las competencias profesionales de los orientadores, funciones y tareas que desempeñan en el ámbito educativo (Caja, Cascales-Martínez y Gomariz, 2017; Cedillo, 2008; Martín y Luna, 2011; Santana Vega, 2009).

Actualmente en el terreno de la formación se están planteando iniciativas atractivas que intentan atraer a potenciales estudiantes y que está alterando de forma significativa la formación en todas sus modalidades. Dentro de las modalidades, los Cursos Online Masivos y Abiertos (MOOC) en sus di-ferentes modalidades, NOOC (Nano Open Online Course), SPOOC (Small Private Online Course)y COOC (Corporate Open Online Course) cuyo objetivo es el diseño de materiales que faciliten la comprensión y adquisición del contenido en experiencias concretas(Santamaría, 2014; INTEF, 2016; Peñalvo, Blanco y Echaluce, 2017). En este sentido, la educación actualmente, afronta desafíos tales como la formación on line a traves de este tipo acciones formativas y las innovaciones que suponen al focalizar como protagonista principal del proceso al estudiante, como participante activo y creativo de su propio aprendizaje, conllevando su empoderamiento (Gil Quintana y Martínez Pérez, 2018).

El diseño pedagógico de este tipo de acciones formativas aparece como una de las grandes líneas de investigación, junto con las interacciones entre los estudiantes con los entornos mediados por TIC. En cuanto al diseño la estructura se apoya en la presencia de facilitadores externos, utilización de una amplia gama de materiales, y la potenciación de altos niveles decontrol del aprendiz sobre los modos

922 El compromiso académico y social a través de la investigación e innovación educativas en la Enseñanza Superior

y lugares de interacción (Cabero Almenara, Llorente Cejudo y Vázquez Martínez, 2014). En este sentido, desde nuestro punto una de las necesidades más urgentes es analizar las posibilidades educa-tivas que tienen este tipo de acciones formativas, dado que desconocemos el proceso de validación/evaluación previa a los que están sometidos este tipo de acciones formativas.

La evaluación aplicada a la enseñanza-aprendizaje reside en un proceso sistemático y riguroso de obtención de datos, integrado al proceso educativo desde su inicio, de manera que sea posible dis-poner de información continua y significativa, entendiendo que el fin principal de la evaluación es perfeccionar (Stufflebeam & Shinkfield, 1987).

En el caso de los NOOC, que es de lo que se ocupa esta experiencia nuestra apuesta innovadora apuesta por establecer unos criterios de evaluación sobre los aspectos que debe incluir un NOOC para que sea de calidad previo a la implementación de los mismo, y por otro definir la noción de evaluador experto para que dicha valoración sea correcta.

Crespo (2007) define experto como persona o grupo de personas competentes, que ofrecen eva-luaciones conclusivas sobre un determinado aspecto, realizar pronósticos reales y objetivos sobre el efecto, aplicabilidad, viabilidad y relevancia que pueda tener en la práctica la solución que se pro-pone, y brindar recomendaciones para mejorarla. Ahondando en el nivel de experiencia, Weinstein (1993) distingue dos tipos: una fundamentada en el conocimiento y otra basada en la actividad. Para seleccionar la muestra de expertos a la evaluación de una actividad formativa vinculada con las TIC, siguiendo a Barroso y Cabero (2013), es necesario tener experiencia laboral en el ámbito de la Tec-nología Educativa y en la Formación Virtual. Si bien han de tenerse en cuenta otros aspectos como son la etica profesional, el grado de conocimiento de la materia, la amplitud de enfoques, el nivel de motivación y disposición a participar, la independencia de juicios, y otros aspectos que se consideren relevantes en función de la acción formativa a evaluar.

Nuestro trabajo se centra en el diseño de NOOC siguiendo unos estándares definidos y la evalua-ción de los mismos, siendo estos sometidos a juicio crítico de expertos para determinar su calidad. En esta contribución presentamos el modelo establecido para evaluar las actividades formativas, NOOC, realizadas en el contexto de la asignatura y los resultados de dichas evaluaciones.

El objetivo es formar a los estudiantes del Máster Universitario en Formación del Profesorado de Educación Secundaria y Bachillerato, Ciclos Formativos, de la especialidad de Orientación educati-va, competencias necesarias que les permitan diseñar y evaluar acciones formativas, como agentes expertos, con recursos digitales para innovar en el desarrollo de programas y acciones de Orientación y Acción Tutorial que respondan a necesidades reales de la comunidad educativa (profesorado, estu-diantes y familias) de las etapas educativas de Educación Secundaria. Para conseguir dicho propósito nos planteamos los siguientes objetivos:

1. Diseñar actividades formativas on-line (NOOC) por parte del alumnado que cursa la especia-lidad de Orientación Educativa del Máster en Formación del Profesorado, para dar respuesta a toda la comunidad educativa desde el Departamento de Orientación dentro del PAT.

2. Evaluar la adecuación y calidad de los NOOC diseñados para contribuir al desarrollo del PAT por agentes expertos, como paso previo a la oferta e implementación de los mismos.

2. MÉTODOEl planteamiento metodológico por el que se ha apostado es una perspectiva cuantitativa no experi-mental descriptiva mediante encuesta diseñada ad hocpara evaluar los NOOC diseñados para trabajar la Acción Tutorial (McMillan & Shumacher, 2005).

923Acciones de apoyo, orientación y refuerzo al alumnado para la mejora de la formación y de los resultados en la E S

2.1. Descripción del contexto yde los participantesEste trabajo se contextualiza dentro del Máster Oficial en Formación del Profesorado de Educación-Secundaria y Bachillerato, Formación Profesional, Enseñanzas de Idiomas y Enseñanzas Artísticasde la Universidad de Murcia, en la Especialidad de Orientación Educativa, dentro de la asignaturade “Plan de Acción Tutorial: Diseño, desarrollo y evaluación”. La muestra participante reúne a los 28 estudiantes que han cursado esta asignatura durante el curso 2017-2018 que han actuado como dise-ñadores y agentes evaluadores expertos. De los cuales 85.7 % son alumnas y 14.3% alumnos, el 60.7 % del alumnado tienen menos de 25 años de edad mientras que el 39.3% tiene entre 26 y 35 años. La titulación de procedencia es variada, el 14.3% son alumnos procedentes del Grado de Maestro en Educación Primaria, el 32.1% del Grado de Pedagogía, el 42.9% del Grado de Psicología y un 10.7% de otras titulaciones. Un 10.7 % manifiestan tener una breve experiencia en TIC inferior a 3 años, mientras que el 89.3% dice tener una experiencia superior a 3 años.

2.2. InstrumentosLos datos de este estudio se han recogido mediante un cuestionario ad hoc que fue respondido por los 28 alumnos de la asignatura de Plan de Acción Tutorial: diseño, desarrollo y evaluación pertene-ciente al Máster en Formación del Profesorado de Educación Secundaria Obligatoria y Bachillerato, Formación Profesional, Enseñanza de Idiomas y Enseñanzas Artísticas de la Facultad de Educación de la Universidad de Murcia. Se aplicó al finalizar de revisar cada uno de los NOOC, se realizó en horario de clase y fueron debidamente informados del anonimato del mismo. El cuestionario se alojó en la aplicación Google Forms, no era necesario registrarse para realizarlo.

Este instrumento consta de dos partes: una referida a los datos sociodemográficos, como edad, genero, estudios de procedencia, experiencia con el trabajo colaborativo y las tecnologías. Y una segunda parte que está compuesta por 30 ítems referidos a la diseño y contenido el NOOC. La escala de respuesta de esta segunda parte es de cinco opciones de respuesta: 1: Totalmente en desacuerdo; 2: En desacuerdo; 3: Indiferente; 4: De acuerdo y 5: Totalmente de acuerdo.

Finalmente, para determinar la fiabilidad del instrumento se hemos realizado el coeficiente de Alfa de Cronbach los resultados arrojan un coeficiente de Alfa de Cronbach de ,91 siendo, según De Vellis (2003), excelente al obtener una puntuación mayor de ,90.

2.3. ProcedimientoEl procedimiento seguido para llevar a cabo la presente estudio ha constado de una sucesión de fases que a continuación describimos:

Fase I: “Diseño de los NOOC”. En este primer momento abordamos los agrupamientos, definición de las temáticas y la estructura de cada uno de ellos. Ello se realizó en sesiones presenciales en clase.

Fase II: “Elaboración de los NOOC”. Durante este tiempo, los estudiantes realizaron y publi-caron, el NOOC y lo expusieron al grupo clase. Para ello dispusieron de toda una variedad de he-rramientas, recursos y aplicaciones tecnológicas que hay en la red. Para ello se les facilito diversos manuales, tutoriales y video tutoriales que ayudaban a la utilización de dichas herramientas recursos y aplicaciones.

Fase III: “Evaluación de los NOOC como agentes evaluadores”. En un primer momento a los alumnos se les formó como agentes evaluadores expertos. Posteriormente, ya como agentes evalua-dores externos, revisaron cada uno de los NOOC elaborados y cumplimentaron el instrumento de validación diseñado al efecto.

924 El compromiso académico y social a través de la investigación e innovación educativas en la Enseñanza Superior

3. RESULTADOSObjetivo 1: Diseñar y elaborar NOOC por parte del alumnado que cursa la especialidad de Orientación Educativa del Máster en Formación del Profesorado, para dar respuesta a toda la comunidad educativa desde el Departamento de Orientación.

Para el diseño y posterior elaboración de los NOOC se ha planteado desde una doble perspectiva, por un lado el diseño de contenidos y recursos didácticos y por otro lado el diseño metodológico (Vila, Andrés y Guerrero, 2014). Se ha tenido especial cuidado para que los contenidos y recursos se ajusta-sen a los objetivos del Plan de Acción Tutorial de un centro de Educación Secundaria, así como a las necesidades de los destinatarios y que cumpliesen criterios de calidad.

Los NOOC elaborados por los estudiantes han abordado temáticas que responden a necesidades actuales de los diferentes agentes que componen la comunidad educativa (véase Tabla 1).

Tabla 1. NOOC diseñados para el desarrollo del Plan de Acción Tutorial

Nº Título Destinatarios Descripción

N-1 Influencer Alumnado En esta accion formativa pretende mostrar a los adolescentes conocimientos sobre los “youtubers”/ ”influencers” (trabajo, implicación, economía, consecuencias, etc.) para fomentar en ellos una conciencia crítica de los mismos.

N-2 El móvil, un incomunica-dor

Familia Las relaciones dentro de la familia se ven afectadas por el uso del Smartphone, este fenómeno se acrecentado en adolescentes, pues parece como si el uso fuese esencial y ab-solutamente necesaria para comunicarse con los amigos/as y tener “vida social”. Con esta acción formativa se pretende dar pautas para resolver esta problemática.

N-3 Gamificación Profesorado Este NOOC pretende orientar al docente de Educación Se-cundaria de como trabajar con metodologias activas y más concretamente mediante la gamificación.

N-4 #Visualización del aula Profesorado Con esta acción formativa se pretende dar a conocer al profesorado de Educación Secundaria las redes sociales, su funcionamiento y el uso educativo que podemos darle para trabajar dentro y fuera del aula.

N-5 Relaciones tóxicas Familias La adolescencia es una epoca propicia para mantener relaciones con otras personas quizás ocupa más tiempo de tu vida que antes. Estas relaciones pueden ser unas de las cosas más positivas que te ocurran en tu vida; puede que vayan más allá de la amistad o el compañerismo, que sean románticas, excitantes, divertidas, provocarte sentimientos positivos muy intensos… Pero, a veces, también pueden ser algo complicado y provocar sentimientos negativos e incluso dolor.

N-6La seducción en las redes: Consecuencias

Familias El diseño de este NOOC se ha realizado dada la necesidad de prevenir y formar a las familias sobre el impacto actual que tienen las redes sociales en los adolescentes, en concre-to, la seducción a los jóvenes a traves de estas y las conse-cuencias que esto conlleva.

N-7 Valores en los videojuegos Alumnado Este NOOC esta diseñado para trabajar en los adolescents los sentimientos que les provocan los videojuegos y como canalizarlos en un momento determinado.

925Acciones de apoyo, orientación y refuerzo al alumnado para la mejora de la formación y de los resultados en la E S

Estos NOOC esta concebidos para abordar, de forma inmediata, este tipo de situaciones, pudiendo ser considerados como una herramienta más de educación y orientación. En el caso de las temáticas elegidas en los NOOC, se avanza considerablemente, dado que están preparados para dar respuestas a las motivaciones e intereses de cada uno de los miembros de la comunidad educativa de forma inmediata, favoreciendo un compromiso con los mismos.

Objetivo 2: Evaluar la adecuación y calidad de los NOOC diseñados para contribuir al desarrollo del PAT por agentes expertos, como paso previo a la oferta e implementación de los mismos.

En primer lugar hemos realizado que presentamos los resultados procedentes de la aplicación de la estadística descriptiva: media y desviación típica de cada NOOC. A continuación, hemos realizado la prueba W de Kendall para cada actividades formativas (NOOC), estimando de este modo el grado de concordancia entre los expertos evaluadores (Siegel & Castellan, 1988).

Los datos de la tabla 2, donde queda reflejado la homogeneidad de los valores de media asignados a cada una de los ítems de los siete acciones formativa. Los datos muestran en todos los NOOC una puntuación media superior al valor 3, lo que quiere decir que las acciones formativas diseñadas contienen los requisitos para ser consideradas de calidad, si bien en ningún caso, se ha considerado por parte de los evaluadores como excelente (5). Los aspectos que han sido peor valorados por los agentes expertos, hacen referencia a la distribución temporal, concretamente, los evaluadores consideran que no se indica la duración de cada tarea, ni que se detalle en que momento del NOOC se está trabajando, aspectos que se han repetido en las siete acciones formativas y que de debería mejorar antes de comenzar a implementarlo. Otro aspecto, que es mejorable, según la opinión de los expertos, está relacionado con la evaluación, entienden que no queda definidos los criterios de evaluación previamente y que estos no están en total consonancia con los objetivos planteados.

Tabla 2. Media global de la evaluación de todas los NOOC.

N-1 N-2 N-3 N-4 N-5 N-6 N-7

1. La línea de acción tutorial desarrollada en el NOOC es coherente con el planteamiento general del PAT.

4,75 4,79 4,93 4,79 4,79 4,72 4,82

2. La temática elegida tiene relevancia en la actualidad

4,93 4,96 4,93 4,68 4,93 4,83 4,86

3. El curso, nivel o ciclo en el que se contextualiza el programa es adecuado

4,82 4,75 4,75 4,68 4,54 4,79 4,64

4. El título elegido es atractivo. 4,50 4,57 3,96 3,79 4,32 4,29 4,21

5. La guía didáctica expresa claramente como integrar el NOOC en el proceso de enseñanza-aprendizaje.

3,54 3,46 3,61 3,71 3,54 3,54 3,64

6. Los objetivos planteados para el NOOC son alcanzables y realistas

4,79 3,39 4,86 4,68 4,61 4,79 4,64

7. El número de horas de dedicación para los destinarios es adecuado.

4,29 4,00 4,18 3,96 3,64 4,32 4,14

8. Los contenidos del programa aparecen detallados

4,57 4,32 4,61 3,96 4,46 4,54 4,54

926 El compromiso académico y social a través de la investigación e innovación educativas en la Enseñanza Superior

9. Los contenidos son coherentes con los objetivos planteados

4,86 4,14 4,79 4,21 4,54 4,71 4,82

10. Los conceptos se introducen mediante videos, esquemas, infografias, presentaciones …

4,71 4,79 4,79 4,71 4,68 4,79 4,57

11. Las tareas aparecen descritas con detalle 4,64 4,61 4,86 4,68 4,71 4,71 4,57

12. Las tareas planteadas para conseguir es adecuado

4,79 4,54 4,75 4,79 4,64 4,64 4,50

13. Se presenta los recursos materiales y/o personales necesarios

4,64 4,54 4,86 4,50 4,54 4,50 4,61

14. Los recursos son atractivos para los destinatarios

4,64 4,50 4,93 4,57 4,57 4,61 4,71

15. La calidad de las imágenes, vídeos, animaciones, gráficos, audios, … es buena

4,79 4,61 4,82 4,82 4,75 4,89 4,82

16. La ortografía, corrección gramatical y sintáctica de los textos es correcta.

4,79 4,75 4,71 4,79 4,14 4,79 4,79

17. Los agentes (alumnos, facilitadores, diseñadores del NOOC) que intervienen y sus funciones aparecen descritos

3,71 3,46 3,93 3,96 3,57 3,79 3,36

18. Se plantean actividades de evaluación atractivas y motivadoras

4,32 4,29 4,89 4,21 4,29 4,43 4,57

19. Se plantean tareas de refuerzo 3,21 4,04 3,00 4,00 3,71 4,25 3,43

20. Las tareas fomentan la creatividad 4,32 4,36 4,96 4,36 4,14 4,29 4,29

20. El NOOC tiene coherencia curricular 4,61 4,57 4,75 4,79 4,54 4,64 4,64

21. El NOOC permite adaptarse a las necesidades del usuario

4,36 4,54 4,75 4,71 4,50 4,64 4,64

22. Se indica la duración de cada una de las tareas.

1,89 1,68 1,61 1,86 1,75 2,04 2,32

23. Se detalla el momento del NOOC en el que se esta trabajando

2,29 2,04 2,50 2,43 2,14 2,57 2,64

24. Se evalúa en base a unos criterios de evaluación previamente establecidos.

1,96 1,89 1,96 2,32 1,96 2,21 1,93

25. Los criterios de evaluación son coherentes con los objetivos planteados

2,32 2,39 2,46 2,75 2,32 2,36 2,29

26. Se incluye algún instrumento de evaluación

4,32 4,46 4,86 4,61 4,57 4,27 4,57

27. Se fomenta el uso de las redes sociales 4,36 3,11 3,25 4,86 2,75 3,39 2,46

28. Se puede recurrir a un sistema de ayudas y refuerzos constantes sobre los contenidos

3,68 4,21 3,61 4,32 4,04 4,39 3,79

29. Se indica el nombre de los autores 4,11 4,29 4,39 4,57 4,04 4,14 4,07

30. Se indica el tipo de licencia sobre dere-chos de autor

1,21 1,25 1,29 1,64 1,18 1,36 3,25

927Acciones de apoyo, orientación y refuerzo al alumnado para la mejora de la formación y de los resultados en la E S

Para completar el análisis de este objetivo hemos realizado la prueba W de Kendall para cada una de las siete NOOC, estimando de este modo el grado de concordancia entre las diferentes dimensio-nes que forman el cuestionario.

Los test de Kendall, (véase Tabla 3) arrojan resultados que indica que existe acuerdo entre los evaluadores. El coeficiente obtenido en cada una de las unidades pone de manifiesto que existe con-cordancia y homogeneidad entre las diferentes dimensiones que aborda el cuestionario en cada una de las seis Unidades, si bien el grado de concordancia se revela estable como se puede apreciar en la Tabla 58. Así, donde los coeficientes W evidencian un grado de concordancia alto.

Tabla 3. Resultados de las pruebas W de Kendall o coeficientes de concordancia globales de cada NOOC

Influencer El móvil, un incomunicador Gamificación Visualización

del aulaRelaciones

tóxicasLa seducción en las redes

Valores de los videojuegos

W .915 .846 .877 .893 .842 .869 .869

p .000* .000* .000* .000* .000* .000* .000*

*Significativa al 5% o superior

4. DISCUSIÓN Y CONCLUSIONESA partir de los objetivos planteados y de los resultados analizados previamente, los NOOC diseñados y elaborados por los estudiantes para el desarrollo del PAT se ajustan a los planteamientos de diseño y es-trategias metodológicas consideradas por Vila, et al, (2014). Asimismo, según han estimado los agentes expertos, estan centrados en los protagonistas, familias, docentes y alumnado, como participantes acti-vos de su propio aprendizaje siguiendo las líneas establecidas por Gil Quintana y Martínez Pérez (2018).

En cuanto a los agentes expertos, en este caso los estudiantes, que fueron formados en esta tarea durante el desarrollo de la asignatura, los resultados muestran un alto grado de concordancia en las valoraciones realizadas ello refleja la importancia de abordar aspectos como son el conocimiento en la temática, en este caso la Acción Tutorial, el grado de motivación y la disposición a participar en este tipo de actividades, y la independencia de juicios en consonancia con los estudios de Crespo (2007) y Barroso y Cabero (2013).

A partir de lo expuesto en el apartado de resultados y tras la discusión que aquí realizamos, podemos afirmar que participar en este tipo acciones formativas, tanto en el diseño como en la evaluación como agentes expertos, abre posibilidades a los estudiantes en la medida que abre un entorno profesional realista y ajustada a la necesidades que la sociedad plantea en este momento, partiendo del análisis de necesidades de los diversos agentes de la comunidad educativa, apostando por un proceso de enseñanza-aprendizaje basado en la colaboración interdisciplinar, escenario cercano a la realidad que el orientador se encuentra en el día a día en los centros educativos o instituciones en las que puede desarrollar su labor profesional. Al mismo tiempo, este enfoque de innovación educativa focalizada en el protagonismo del estudiante como constructor de su propio aprendizaje y agente experto de evaluación de la formación, le ofrece legitimidad para el desarrollo de prototipos profesionales desde una perspectiva emprendedora.

AGRADECIMIENTOSA la Universidad de Murcia (Vicerrectorado de Estudios y Vicerrectorado de Economía e Infraestruc-tura) que ha apoyado este trabajo dentro de la Convocatoria para promover experiencias de Innova-ción Educativa en el Aula Virtual de la Universidad de Murcia correspondiente al curso 2017/2018.

928 El compromiso académico y social a través de la investigación e innovación educativas en la Enseñanza Superior

5. REFERENCIAS Barroso, J. M., & Cabero, J. (2013). La utilización del juicio de experto para la evaluación de TIC: el

coeficiente de competencia experta. Bordón. Revista de Pedagogía, 65(2), 25-38.Cabero, J., Llorente, M. D. C., & Vázquez, A. I. (2014). Las tipologías de MOOC: su diseño e impli-

caciones educativas.Caja, C., Cascales-Martínez, A., & Gomariz, M. A. (2017). Valoración desde la perspectiva de los

orientadores de Educación Secundaria de la Región de Murcia del portal de Atención a la Diver-sidad ORIENTAMUR. Revista Electrónica Interuniversitaria de Formación del Profesorado, 20(1), 49-68.

Cedillo, A. C. (2008). La construcción del perfil de los orientadores y orientadoras de educación: las competencias profesionales requeridas para el momento actual. Revista Española de Orienta-ción y Psicopedagogía, 19(3), 334-338.

Crespo, T. (2007). Respuestas a 16 preguntas sobre el empleo de expertos en la investigación peda-gógica. Lima, Perú: San Marcos.

Cruz, M., Cepena, M., & Caridad, M. (2012). Perfeccionamiento de un instrumento para la selección de expertos en las investigaciones educativas. Revista Electrónica de Investigación Educativa, 14(2), 167-179.

De Vellis, R. F. (2003). Scale development: Theory and applications (2ª ed.). Thousand Oaks, CA: Sage.

Gil, J., & Martínez, J. (2018). El empoderamiento del alumnado en los MOOC. Revista Complutense de Educación, 29(1), 43-60.

INTEF (2016). ¿Qué es un NOOC? Recuperado de http://educalab.es/intef/ formacion/formacion-en-red/nooc

Martín, E., & Luna, M. (2011). El asesoramiento a la elaboración, el seguimiento y la mejora de pro-yectos curriculares de centro basados en competencias. En E. Martín, & J. Onrubia (Coords.), Orientación educativa: procesos de innovación y mejora de la enseñanza (pp. 33-53). Barcelo-na: Graó.

McMillan, J. H., & Shumacher, S. (2005). Investigación educativa. Madrid: Pearson-Adisson Wesley.Peñalvo, F. J. G., Blanco, A. F., & Echaluce, M. L. S. (2017). Los MOOC: Un análisis desde una pers-

pectiva de la innovación institucional universitaria. La Cuestión Universitaria, (9), 117-135.Santamaría, M. (2014a). MOOCS y SPOCS: sus posibilidades para la formación del profesorado.

Revista Hamut’ay, 1(1), enero- junio, 6-17.Santana, L. (2009). Orientación educativa e intervención psicopedagógica: cambian los tiempos,

cambian las responsabilidades profesionales. Madrid: Pirámide.Siegel, S. C., & Castellan, J. N. J (1988). Nonparametric statistics for the behavioural sciences. New

York: McGraw-Hill.Stufflebeam, D. L., & Shinkfield, A. J. (1987). Evaluación sistemática: guía teórica y práctica (Nº

658.312 5 STUe). Barcelona: Paidós.Vila, R. R., Andrés, S. M., & Guerrero, C. S. (2014). Evaluación de la calidad pedagógica de los

MOOC. Profesorado: Revista de Currículum y Formación del Profesorado, 18(1), 27-41.Weinstein, B. D. (1993). What is an expert? Theoretical Medicine, 14, 57–73.

929Acciones de apoyo, orientación y refuerzo al alumnado para la mejora de la formación y de los resultados en la E S