COMIT ORGANIZADORSEMINARIO REGIONAL DE EVALUACIN DE LA EDUCACIN - ZONA NORTEINSTITUTO COLOMBIANO PARA EL FOMENTO DE LA EDUCACIN SUPERIOR ICFESGENISBERTO LPEZ CONDE - Director General (e)ARACELI MORA - Asesora Direccin GeneralUNIVERSIDAD AUTNOMA DEL CARIBESILVIA BEATRIZ GETTE PONCE - RectoraTAMID TURBAY ECHEVERRA - Vice RectorESTELA VANEGAS DE BRIEZ - Directora AcadmicaSANDRA OSORIO BASTOS - Dir. Prog. Administracin de Empresas Tursticas y HotelerasBELINDA GARCA JIMNEZ - Dir. Prog. de Comunicacin Social-PeriodismoSILVIA GUTIRREZ PAREJO - Dir. Prog. de Direccin y Produccin de Radio y TelevisinJOHN PEZ SANTAMARA - Dir. del Centro de Desarrollo de SistemasMARYORIE AMAYA VILLALOBOS - Dir. del Centro de Produccin de Radio y TelevisinRECONOCIMIENTOSElComitOrganizadordelSeminarioRegionaldeEvaluacindela Educacin Zona Norte expresa sus ms sinceros agradecimientos al grupo deprofesionalesdelInstitutoColombianoparaelFomentodelaEducacin Superior-ICFES,porsudesinteresadayconstructivaparticipacinenla realizacin de los talleres que se dieron en el marco de este encuentro.Igualmente, reconoce el aporte y apoyo prestado por la Universidad Autnoma delCaribe,sinelcualnohubierasidoposiblelograrlospropsitosdel seminario.DISEO MATERIAL TALLERSara Esperanza Bohrquez RodrguezMartha Castillo BallnErnesto Cuchimaque DazaHctor Orlando Daz RamrezMoravia Elizabeth Gonzlez PelezMyriam Gonzlez BuitragoCristina Hennig M.Zandra A. Parra NioFlor Patricia Pedraza DazaMartha Rocha G.Mnica Roldn TorresClaudia Luca Senz Blanco7ZONA NORTE: Taller Elaboracin de temsEJERCICIO DE ENTRADA INSTRUCCIN1.Teniendo en cuenta la informacin que le brinda el siguiente textoyhaciendousodelaplantilla,construyauntemque pueda servir para evaluar un saber hacer en la disciplina o campo de su especialidad.2.Haga la caracterizacin del tem atendiendo a la informacin que exige la plantilla.1. EJERCICIO DE ENTRADAELABOREMOS UN TEMLea atentamente el siguiente texto:Gobiernoexpidenuevodecretoque busca mejorar la calidad del aireLanormabuscareducirlaspartculasgrandes de humo, tierra, polvo y txicos que expulsan las fbricas a la atmsfera. Estos agentes llamados materialparticuladoPM10,sonlosmayores contaminantes del aire. Actualmente, en el pas seregistranndicesdecontaminacinanuales de70microgramos/metrocbico(mg/m3), mientrasqueellmiteinternacionalesde50. Lanuevanormadecalidaddeaire,expedida ayerporelMinisteriodeAmbiente,Vivienday Desarrollo Territorial, busca reducir a 60 mg/m3 lacontaminacinparael2009ya50parael 2011. Hasta el momento, Colombia no contaba con una reglamentacin clara al respecto, pese aqueloscostosrelacionadosconefectos enlasaludpblicaasciendena1,5billones depesos(principalmenteporenfermedades respiratorias), es decir el 0,80 por ciento del PIB, segnunestudiodeleconomistaambiental Bjorn Larsen (del 2004). Antelapolmicaquedesatentre ambientalistas y mdicos el jar metas a largo plazo,laministradeestacartera,Sandra Surez,explicqueesnecesariohaceresta disminucindemaneragradual,porfaltade recursos econmicos para lograrlo. Colombia esunpassubdesarrolladoquenopuede cumplirconelestndar.Senecesitaran inversionesmuyaltasyelpasnolastiene. ParaelneumlogoJairoRoa,laspersonas seguirnenfermndoseporlosaltosniveles de contaminacin, y la industria, amparada en la norma y en los supuestos elevados costos paralaconversinindustrial,notomar medidas antes del 2011.Entonces, el dao ser incalculable; tendremos unairesinningntipodecalidad,puesel estndarinternacional(50)deporsesmalo, resalt Roa.El decreto establece procedimientos de medicin delacalidaddelaire,atravsdenuevas estaciones de monitoreo, a cargo del Ideam. Y encarg a las autoridades ambientales de cada jurisdiccin elaborar programas de reduccin de contaminacin, enfocados en la modernizacin delparqueautomotor,laampliacindereas verdes y la prevencin en salud, entre otras.Para quienes infrinjan lo estipulado habr multas hastapor300salariosmnimosmensuales; suspensindelregistro,licencia,permisoo autorizacin de funcionamiento, y cierre temporal o denitivo.8PLANTILLA PARA ELABORACIN DE TEMSCONTEXTO/ ENUNCIADOOPCIONES DE RESPUESTACLAVE:JUSTIFICACIN DE LAS OPCIONES9ZONA NORTE: Taller Elaboracin de temsCategora disciplinarOBJETO DE EVALUACINCategora cognitivaTarea de evaluacinOBSERVACIONES O RECOMENDACIONESEDICIN:APLICACIN:CALIFICACIN:OTRAS:AUTORFECHA DE CDIGO O IDENTIFICADORELABORACINPOBLACIN OBJETIVOEXPECTATIVA DEJUICIO DE EXPERTOS/DIFICULTADAPLICACIN PILOTOEdad: Nivel educativo:Gnero: Observaciones:Probabilidad de respuesta correcta (entre 0 y 1)Pertinenciafrenteaestructura de prueba/correlacinALTAMEDIABAJAObservaciones:10REGLAS GENERALESVericarqueeltemcorrespondaconlos propsitos de la evaluacin, la estructura de la prueba y con las dimensiones disciplinares Todaslaspreguntasdeunapruebadeben ser independientes entre s.La informacin de un tem no debe servir de pautaparacontestarotra,nilarespuestaa un tem debe depender de haber encontrado primero la de otra anterior.Evitarlostemsquepuedencontestarsepor sentidocomnyaquelloscuyarespuesta dependa nicamente de recordar un trmino, un smbolo, un dato o la fecha en que ocurri un evento.Evitarexpresionesrebuscadasquepuedan confundir. Se recomienda emplear un lenguaje directo, sencillo ycomprensible.Lostemsnodebentenerjuiciosdevalor explcitos o implcitos.REGLAS SOBRE LOS ENUNCIADOSLosenunciadosdebenserarmativos,en casodesernecesarialanegacin,sedebe resaltarparallamarlaatencinhaciala formulacinnegativa.Ladoblenegacin afecta la comprensin (No es cierto que no procedan los recursos).Evitarenunciadosdemasiadoextensos ypocoatractivosyaquedesmotivanla Reglas para la construccin de temslectura,disminuyeneltiempoderespuesta y fatigan.Garantizar la coherencia interna del enunciado y de este con las opciones de respuesta.REGLAS SOBRE LAS OPCIONESLas opciones de respuesta deben pertenecer al mismo campo semntico.Lasopcionesdeuntemnodebendar indicacionessobrelaclaveporofrecerun cierto contraste evidente de:- longitud precisin / imprecisin- uso comn / tcnico- generalizacin/particularizacinNosedebenrepetirexpresionesenlas opcionesderespuesta,sistassepueden incluirenelenunciadodeltem.Repetirla mismapalabradelenunciadoencualquiera de las opciones lleva a que sea elegida como respuesta, sin serlo necesariamente.Debe evitarse en las opciones las expresiones todasoningunadelasanteriores,ensu lugaresnecesarioconstruiralternativasde respuestaplausiblesparalaspersonasque no tengan el dominio conceptual que exige el tem.Realizar una revisin gramatical y ortogrca de cada uno de los tems. 11ZONA NORTE: Taller Elaboracin de temsTEMS PARA ANLISIS1213ZONA NORTE: Taller Elaboracin de tems1415ZONA NORTE: Taller Elaboracin de temsICFESMARTHA JEANETH CASTILLO BALLN*La pregunta por el conocimiento ysu accin pragmtica* Profesional Especializado en el rea de lenguaje del ICFESSireexionamossobreloquehacemos cuandoqueremossabersiotrapersonatiene conocimientos en un dominio dado, descubrimos quebuscamosuncomportamientooaccin adecuadosdeesapersonaenesedominio, alplantearunapreguntaimplcitaoexplcita dentrodeundominio.Siconsideramosqueel comportamiento o la accin (o la descripcin del posible comportamiento o accin) dados como respuesta a nuestra pregunta resulta adecuada oefectivaeneldominioqueespecicamos, armamosquelapersonasabe.Si,porel contrario, consideramos que tal comportamiento o accin no resultan adecuado o efectivo en el dominioestipuladoporlapregunta,armamos quelapersonanotieneconocimientodeese dominio. El conocimiento es entonces el comportamiento aceptado?Oesalgoquelesubyaceal comportamiento del observado que remite a un referente conceptual y procedimental aceptado desdeundominioenuncampo?Enlosdos casosdedndesesacanloscriteriospara determinarsiuncomportamientooaccin esadecuadooinadecuado?Paramuchos, enelcontextodelainvestigacincientca,el conocimientoeselcomportamientoaceptado como adecuado por parte de un observador, u observadora,queparticipadeunacomunidad enelcampoodominiodeterminado,luegoel criterio o los criterios son consensuados en una comunidadquecomparteciertasexperiencias frenteaciertosfenmenosypostulados,tanto as,queladiferenciadealgnexponente enelcampoodominiotraelarevisindelos postulados existentes y probablemente la nueva experienciageneranuevosconsensossobre nuevos criterios. Contrarioaloquesepercibeenelcampode la investigacin cientca, en el contexto escolar elreferenteenunapreguntasevemediado porlaaccinpedaggicadeundocenteque construye los criterios, ya no desde la experiencia consensuadasino,desdesuexperiencia individualenlaenseanzadeunrea,bajola concepcin de una estructura que crea a travs de la experiencia de indagar o preguntarse sobre el cmo ensear, por ejemplo la matemtica o la biologa. En este caso, el conocimiento se trata de un comportamiento aceptado o adecuado en lamedidaenquelaaccinocomportamiento del observado coincida con la estructura creada desdelaexperienciaindividualdeldocente. Lo anterior hace que la pregunta en la escuela limitelaactuacinfrenteaundominioalos criteriosdisciplinares.Algoqueesvlidoen lamedidaenqueseacomprendidocomo unodelosmltiplescaminosporloscualesel observador puede determinar la validez o no del comportamientodeunobservadofrenteauna problemticaqueremiteauncampo,esdecir aundominiomsamplioqueeldisciplinar. Las ciencias no se desenvuelven en un terreno virgen, no brotan misteriosamente de una fuente de primigenia epistemolgica de carcter puro. Lascienciasprocedendefuentesquenoson ellasmismassinoenlamedidaenquehacen parte de las otras.16Elpreguntardesdelasreasparavalorarel comportamiento adecuado de un sujeto frente a un dominio ignora la dialctica de las ciencias. Estadialcticaincluyetantocontradicciones internas a la ciencia (de unas ciencias con otras ciencias, as como de una ciencia consigo misma) comocontradiccionesexternas,dadasenlas intersecciones con los contextos extracientcos. La pregunta por el conocimiento debe dar lugar a explicitar las convergencias y contradicciones entre las ciencias y en una misma ciencia frente aun fenmeno o problema.Msqueevaluarunateoraodisciplina estableciendopatronesnormativosgenerales, lo que se persigue, por una parte, es captar la importancia losca de la misma. Esto signica exigir de la teora en cuestin un punto de vista que nos permita una mejor comprensin de un sector de la realidad que debiera ser coherente con una concepcin de la totalidad de la misma. Ello implica el establecimiento de una relacin de cooperacin entre las disciplinas que componen el campo de las ciencias.Lanocindecampohasidoplanteadapor Bourdieuparadarcuentadelconjuntode relaciones objetivas en las que histricamente se encuentran ubicados los agentes y con la cual intentasobrepasarlasarbitrariasoposiciones entre estructura e historia, entre conservacin y transformacin.Enprimerlugar,loscampossepresentan comoespaciosestructuradosdeposiciones (odepuestos),cuyaspropiedadesdependen desuposicinenesosespaciosypueden seranalizadasindependientementedelas caractersticas de sus ocupantes.Ensegundolugarseencuentralacuestinde loslmitesdelcampo.Lasfronterasentrelos camposnopuedendeterminarseporfuerade los campos: slo los efectos del campo y no lascualidadesintrnsecasdelosparticipante puede denir el espacio de un campo. En este sentidolosefectosdelcamposlopueden ser determinados por la investigacin emprica.Entercerlugar,loscampossemantieneno setransformanporlosenfrentamientosentre lasfuerzasqueconstituyenelcampotodo campoesunlugardeluchaconelobjetode alcanzar la autoridad. La estructura del campo diceBourdieuesunestadoderelaciones defuerzaentrelosagentesolasinstituciones comprometidasenlaluchao,sisepreere, deladistribucindecapitalespeccoque, acumulado en el curso de las luchas anteriores, orienta las estrategias ulteriores.Portalmotivo,larelacindifanadelas ciencias en el campo de la ciencia es compleja y obedece a d l complica cuando al interior de las disciplinas aparecen subcampos o dominios correspondientesalasllamadasreasde inters.Lacienciaespecialsediversicapor elhechodeabarcaralmenosunapartede distintosdominiosdisciplinariosquecooperan en dar una respuesta a determinadas preguntas. Esteeselcasodelacienciacognitivayde cualquieraotraaproximacincientcaque requiera sobrepasar los lmites entre disciplinas paraalcanzarexplicacionesmsiluminadoras dedeterminadosfenmenos.Estetipode aproximacinsevisualizahoydacomouna necesidadalinteriordeciertasdisciplinasque se han percatado de las mltiples dimensiones delosfenmenosqueestudianyque,en consecuencia,requierenquesushiptesis reejenlacomplejidaddelosfenmenosde queseocupan.Sinembargo,hoypareceque por lo menos en el campo de la evaluacin, los mismospromotoresycultoresdeestetipode aproximacin a la pregunta por el conocimiento notienenamenudolasucienteclaridadpara dar cuenta de los fundamentos y caractersticas deloqueefectivamentedebemoshacerpara interrogarporunproblemaqueconvoque alasreasenprocuradeunaexplicacino solucin.Una leccin general que se deriva de lo anterior esquesielrazonamientointerdisciplinariose basaenlainterdependenciaentrefenmenos, entonces se requiere, adems de la existencia del vnculo de interdependencia, que el constructor de la evaluacin y por ende el que se va a deba estar bien informado acerca del tratamiento que se hace de los fenmenos y del progreso que se 17ZONA NORTE: Taller Elaboracin de temshace en las disciplinas que han servido de base a su construccin, en otras palabras asegurarse que al accin pedaggica de las disciplinas est encaminada a la cooperacin.Actualmente,paralamayoradenuestroslos estudiantes,lapreguntaporelconocimiento, tanto en la educacin bsica como en la superior, estmarcadoporlapresenciadelconcepto dereacomocienciaensiyparas,puesa s estn formuladas las polticas educativas, los programas de estudio.Laintencindellegaralconocimientodela esenciaorasgosuniversalesdelascosas, yaestabadesdeelmtodosocrticodela enseanza, el cual estaba basado en el dilogo entre maestro y discpulo, sealaba la necesidad de romper con la particularidad como unidad del conocimiento e ingresar al origen por la pregunta delconocimiento,unorigencuyafuenteesde carcterinterdisciplinar.Recordemosqueel mtodoconsistaesencialmenteenemplear eldilogoparallegaralconocimiento.Aunque Scratesnuncasistematizlamayutica,se podraarmarqueeldilogoeralaestrategia paraasegurarqueapartirdeunapregunta inicial se suscitara en el discpulo la ambigedad ylacontradiccin,quenalmentelollevaran hacia una posible respuesta. Este momento de confusin e incomodidad por no ver claro algo que antes del dilogo se crea saber perfectamente escondicinnecesariaparaelaprendizaje, parapreguntarseporelconocimiento.La intencindelmtodomayuticoesacercarse progresivamenteadenicionescadavezms generalesyprecisasdelacuestinquese investiga;ladiscusinconcluiracuandoel alumno, gracias al tipo de interrogante que hace elmaestro,consiguealcanzarelconocimiento preciso, universal y estricto de la realidad que seinvestiga(aunqueenmuchosdilogosde Platnnosealcanzaesteidealyladiscusin queda abierta e inconclusa).Laideabsicadelmtodosocrticoconsiste enqueelmaestronoinculcaalalumnoel conocimiento, es decir no hace preguntas para obtenerrespuestasnicasyverdaderas,pues rechazaquesumenteseaunreceptculoo cajnvacoenelquesepuedanintroducirlas distintas verdades; para Scrates es el discpulo quienextraedesmismo,desusexperiencias yconjeturaselconocimiento.Subrayarque, enlaaccinquebuscacontradecirtoda opinin,yallograrlo,elotrosevebeneciado porladudaylaexplicacindesdediferentes experiencias,aparecenlasideasprimariasde lainterdisciplinariedad.Enefecto,eelmtodo se alude esencialmente a tomar como punto de partida los problemas y no las perspectivas de disciplinasparticulares,hechoquesustentael hacer en el conocimiento y el cuestionamiento por el conocimiento. Se trata de renovar el dilogo roto por una cierta modernidad entre el orden de los hechos y el orden de los valores, facilitando eldilogodeloscientcos,loslsofos,los telogosylosactoresdelmundoeconmico, a n de comprender mejor la articulacin entre las implicaciones de la investigacin cientca y la bsqueda de sentido. En trminos generales loquesebuscaesunconocimientosobre elconocimientoquepermitaencuadrarlos diferentesconocimientosenunmarcogeneral quelesdasentidoylesponeenrelacincon losvalorescentralesdelavidahumana.No tendramos que preguntar desde las reas sino desde los problemas para encontrar soluciones desde diferentes reas o campos.Sinduda,estoduele,puesalgunosvivimos anenelnaturalismometodolgicodelas disciplinas,sinembargoesposiblequelos jvenes cibernticos, los que manejan el lenguaje delhipertextoyelhipervnculolocomprendan mejor que nosotros. Hoyendacoexistendiversosperles relacionados con la gestin del conocimiento, porejemploelperldeldocumentalista, traductor,terminlogo,lexicgrafoolingista. Todoscompartenenmayoromenormedida eltratamientoyladifusindellenguaje comoactividadcomn.Unperlquerecoge 18perlesconunaindicacindelaspectodel conocimientoenquecadaperlsecentra (produccin, transmisin, tratamiento o gestin en general). Algunasactividadesquehoyendarequieren, porejemplo,lacolaboracindelingistasy documentalistas en un enfoque interdisciplinar, o que al menos se pueden ver favorecidas por sta, son:Laelaboracindeherramientasdeapoyo alatraduccin;laelaboracindedocumentos secundarios, como ndices y abstracts; la creacin deherramientaslexicogrcasyterminolgicas, como tesauros multilinges, diccionarios, glosarios, vocabularios normalizados y terminologas. Estas son algunas posibilidades, sin mencionar el trabajo relacionado con la creacin de ontologas, dentro de la Ingeniera del Conocimiento, donde Lingstica,IngenierayLgicaconuyen produciendounasherramientasvaliossimas para los investigadores.Qu hacer con la pregunta por el conocimiento enlaescuela?Loqueestclaroesqueel futurodelaCienciapasamsquenunca porlainterdisciplinariedadyquehoyresulta esenciallaconstruccindeunlenguaje comnparaindagardesdediferentesreas porproblemasquetocanalhombreensu estar en el mundo. REFERENCIAS AGUADO, GUADALUPE y PILAR DURN. 2001. La investigacin en lenguas aplicadas: un enfoque multidisciplinar. Madrid: Fundacin Gmez Pardo- UPM. CELIS, ANGELA. 2002a. Del texto al hipertexto, o la nueva e-misin en el proceso comunicativo. ComunicacinalCongresoComputers,Literature&Humanities(CLiP2002).Elretodela internacionalizacin de la comunicacin. Albacete, Diciembre 2002. SILVESTRIADRIANAYBLANCKGUILLERMO.BantnyVigotski:laorganizacinsemiticadela conciencia. Antropos 1993. GMEZ HERNNDEZ, JOSE ANTONIO y JUDITH LICEA DE ARENAS 2002. La alfabetizacin en informacin en las universidades. Revista de Investigacin Educativa, 20 (2), 469-486. MATURANA. R HUMBERTO .1996. La realidad:objetiva o construida?. II. Fundamentos biolgicos del conocimiento. Anthropos, Mxico 1996. SALAGER-MEYER,FRANOISE.2002.Crticadeldiscursoacadmico:diacronaycultura. Conferenciaplenaria.ICongresoInternacionaldeAELFE.LenguasconFinesEspeccos:La sociedad del conocimiento en el marco internacional. Madrid, Septiembre, 2002.19ZONA NORTE: Taller Elaboracin de temsMartha C. Rocha GaonaCarlos A. Pardo AdamesAGRADECIMIENTOSAtodaslaspersonasquetuvieronladeferenciadeleerestedocumentoconsentidocrticoyformularon inquietudes y observaciones que nos orientaron para trabajar en su cualicacin: Sara Esperanza Bohrquez, Libardo Barrera, Myriam Gonzlez, Patricia Pedraza, Ana Atorresi y Martha Castillo.INTRODUCCINElformatodeseleccinmltipleconnica respuestaesunodelosmsutilizadospara formulartemsenlasevaluacioneseducativas decarctermasivo,especialmenteporla facilidaddesuaplicacinycalicacin.Sin embargo, sera errneo creer que la facilidad es tambinunacaractersticadesuelaboracin; porelcontrario,sonmuchaslascondiciones quedebensercumplidasparaqueuntemse consideredebuenacalidad.Elaborarbuenos temsdeseleccinmltipleesunalaborque exigemuchocompromisoyprctica,y,por sobretodo,deunprofundoconocimientodel objetodeevaluacinydelapoblacinqueva aserevaluada,todoestoarticuladoconuna rigurosa aplicacin de las tcnicas que grupos deexpertosendistintaspartesdelmundohan perfeccionando a travs de la prctica.Estedocumentodescribelastcnicasde elaboracindetemsdeseleccinmltiplecon nicarespuesta,lascuales,engranparte,son aplicablesaotrosformatosdetems.Elprimer apartado destaca que la elaboracin de tems es una de las etapas del diseo de pruebas y, como tal, debe estar articulada con las dems etapas del proceso para asegurar la calidad y pertinencia de la evaluacin; se resalta el requerimiento de que los elaboradores de tems dominen los planteamientos delmarcoconceptualdelinstrumento,ascomo lasespecicacionestcnicasdelmismo,para quecadatemaportesumximopotencialal propsitodeevaluacinplanteado.Elsegundo apartadorecogelasreglasdeelaboracinde tems que gracias al trabajo de grupos de expertos deinstitucionesespecializadasendiseode instrumentos de evaluacin de distintos pases, as como de comunidades acadmicas estudiosas del tema, se han decantado a lo largo de los ltimos 30aos.Eneltercerapartadoseproponeun ejercicio prctico de anlisis de algunos ejemplos detemsconfallasdeelaboracin,andeque el lector ponga en prctica la apropiacin de las tcnicas descritas en el apartado 2.* Integrante del Grupo de Evaluacin de la Educacin Superior del ICFES - ColombiaDISEO DE PRUEBAS EVALUACIN EDUCATIVAREGLAS PARA ELABORAR TEMS DE SELECCIN MLTIPLE CON NICA RESPUESTA20I. FASES DEL DISEO DE PRUEBASElprocesodediseodepruebasintegra diferentesetapas:desdelaelaboracindeun marcoqueintegrelosconceptossobrelos cualessefundamentarelinstrumentohasta elmomentoenelcualseconsideraqueha alcanzadolacalidadsucientecomopara seraplicado.Enrealidadpuededecirseque eldiseoseoriginaconelsurgimientodela necesidaddecontarconuninstrumentode evaluacinparaunospropsitosparticulares1 y, ms all de la fase de aplicacin, trasciende a las etapas de anlisis de tems, calicacin y divulgacin de resultados, pues de ellas puede derivarse informacin importante para cualicar un nuevo ciclo del proceso. La siguiente grca presenta de manera global las fases del diseo de pruebas.1 Pardo, C. (1998). El diseo de pruebas para los Exmenes de Estado: un proceso de investigacin permanente. Bogot: ICFES.1. FUNDAMENTACIN CONCEPTUALEs la fase en la cual se aborda conceptualmente el objeto de evaluacin y, en general, se desarrollan, desdeunaperspectivaterica,loselementos contextuales, legales, disciplinares, metodolgicos, etc., que darn sustento y signicado al proceso deevaluacin.Entreloselementosquehacen parte de la elaboracin conceptual estn:El propsito de la evaluacin (para qu la evaluacin?)El objeto de evaluacin (qu se evala?)Las caractersticas de la poblacin objetivo (a quin se evala?)Losusuariosdelaevaluacin(aquinle ser til la evaluacin y de qu manera?)Enestaetapa,comoenlamayoradelas subsiguientes,eltrabajointerdisciplinarioyel concursodeexpertossehaceimprescindible paralograrproductosdeexcelentecalidad. Tratndosedeldiseodeinstrumentosde 21ZONA NORTE: Taller Elaboracin de temsevaluacineducativaesusualcontarcon expertosenaspectosrelacionadosconel objetodeevaluacin(tantoenlorelacionado concognicinhumanacomoenlodisciplinar) yconexpertosendiseodeinstrumentosde evaluacinquienestienenlasresponsabilidad deinvestigar,reexionar,discutiryestablecer acuerdosparadarrespuestaalaspreguntas enunciadasarribayaotrasmsquesea necesarioabordar,yconstituiraslasbases conceptualesyloslineamientostcnicosque orientarneltrabajodelasdemsfasesdel proceso.2. ESPECIFICACIONES DE PRUEBAPuedeentendersecomounadescripcin detallada de las caractersticas del instrumento, la cual incluye, por una parte, una desagregacin delobjetodeevaluacinendimensioneso categorassusceptiblesdeserevaluadas, conformeasuconceptualizacinprevia,y,por otra, la delimitacin de especicidades tcnicas del instrumento, tales como longitud y formatos detemsquevanaserusados.Estosdos elementos se conocen, respectivamente, como ESTRUCTURA DE PRUEBA y ESPECIFACIONES PSICOMTRICAS.Laestructuradepruebaesunamatrizque representalaintegracindelasdistintas dimensionesdelobjetodeevaluacinquese deseamedir.Generalmentelasevaluaciones educativasintegran,comomnimo,una dimensindisciplinaryunadimensinreferida a procesos de pensamiento (cognitiva). Ambas dimensionespuedensercategorizadasde distinta forma, de acuerdo con el enfoque terico que se haya elegido.Lagrcasiguientemuestraunesquema bsicodeunaestructuradepruebaenlacual seevalaladimensincognitivadesdeun enfoquedecompetencias2.Enrelacinconla dimensin disciplinar, el objeto corresponde a la Biologaylas3categoras(clula,organismos y ecosistemas) pretenden dar cuenta del objeto de estudio de esta disciplina.2 La conceptualizacin de la dimensin cognitiva competencias en categoras interpretacin argumentacin y proposicin, as como las categoras de la biologa, corresponden al modelo utilizado por el ICFES en las evaluaciones nacionales de estudiantesquevanaingresaralaeducacinsuperior.Enelanexo1sedescribelaformaenqueenelICFESsehan conceptualizado estas categoras22Laestructuradepruebadebecontener, adems de la explicitacin de las dimensiones ysuscategoras,ladescripcindelastareas deevaluacinapartirdelascualesser posiblematerializar,entems,elpropsitode evaluacin;lastareasdeevaluacinsonla operacionalizacindelobjetodeevaluacin. Unatareadeevaluacinesladescripcin precisadeloquesevaaevaluarunacelda delaestructura,entendiendoquecadacelda corresponde a la interseccin entre categoras de las distintas dimensiones de dicha estructura. Las tareas de evaluacin deben ser claramente denidas para orientar la fase de elaboracin de tems y debe vericarse que sean susceptibles deexploracinapartirdelosformatosde temsqueseplaneautilizar.Adems,es necesarioclaricarlosnivelesdedicultad que se espera tengan las tareas, considerando tantoelpropsitodelaevaluacincomo lascaractersticasdelapoblacinobjetivo. Idealmenteelinstrumentodebeincluirtareas dedistintosnivelesdedicultaddetalforma quesecubraconholguralagamadeniveles de habilidad que es probable encontrar en los evaluados. Amaneradeejemplo,unadelasceldas delgrcoanteriormuestraelcruceentre lacategoracluladeladimensin disciplinarylacategoraargumentacin deladimensinprocesosdepensamiento; losevaluadoresdebenhacerexplcitaslas acciones,susceptiblesdeevaluacinatravs delinstrumentoqueseestelaborando,que permitirninferirsielevaluadohadesarrollado nivelesdeargumentacin(enelsentidoenel cualsehayadenidoargumentacinenel marco de fundamentacin) esperables (para el propsitodelaevaluacin)enloquereereal sabersobrelaclula(enelsentidoenelcual sehayadenidosabersobreclulaenel marcodefundamentacinconceptual).Enla celda se describe una de las mltiples tareas de evaluacin posibles de ser incluidas como parte del instrumento. Es deseable plantear tareas de evaluacin en forma un tanto general y que sean los tems los que reejen las especicidades de cada tarea. Comopartedelasespecicaciones psicomtricas se debe claricar el nmero de tems que tendr el instrumento en su totalidad yensusceldas(esposiblequealgunas celdasnoquieranonopuedanserevaluadas conelinstrumento);adems,sedeneelo losformatosdetemsquesernincluidosy susrespectivasinstruccionesderespuesta; ladistribucindelostemsenlaprueba(sise organizarn en bloques o secciones de acuerdo conalgncriteriodecontenido,deforma,de organizacinlogstica,etc.);eltiempodelcual dispondrnlosevaluadospararesponderla prueba -y sus partes, si es pertinente aclararlo- ytodoslosdemslineamientosqueaseguren unaadecuadaconformacinoensamblajedel instrumentoyquecontribuyanaclaricarlas condicionesenlascualesdeberealizarsela aplicacin.3. DESARROLLO DE PRUEBASEstafasecobijatodaslasaccionesorientadas aobtenerelartenaldeuninstrumento deevaluacin,listoparasuaplicacin, quecorrespondaalospropsitosyalas especicaciones,denidosenlasfases anteriores. Laelaboracindetemsconstituyeunalabor trascendentaldentrodeestafasey,dadoque atravsdeellasematerializaelpropsitode evaluacin,exigelamsaltacalidadtcnica. Portalrazn,esindispensablequequienes participenenlaelaboracindetems(no necesariamentesernlasmismaspersonas quetrabajaronenlafaseanterior)conozcan con profundidad las consideraciones del marco de fundamentacin conceptual, las intenciones evaluativassubyacentesenlaestructurade prueba y las especicaciones psicomtricas del instrumento que se pretende desarrollar. Esfundamentalademsdestacarqueel propsito de esta fase es producir un instrumento de evaluacin y no un agregado de tems. Esta diferenciaescrucialporquepretendeasegurar queelequipodesarrolladordelostemsse comprometa alrededor de un propsito comn 23ZONA NORTE: Taller Elaboracin de temsy adelante un trabajo articulado, armnico, con el cual se logre que cada tem verdaderamente aporte a la intencin evaluativa jada. Lastcnicasparalaelaboracindetems sonobjetodelcaptuloIIdeestedocumento; noobstanteespertinentemencionaraqu queelprocesodeelaboracindetemsexige dinmicas de reexin y discusin entre pares, as como el apoyo de expertos, con los cuales se busca garantizar la calidad y pertinencia de cadatem.Despusdeelaborarlostems,se ensamblaelinstrumentodeacuerdoconlas especicacionespsicomtricasysesomete aunarevisinnal,generalmenteporparte deexpertosenevaluacinyenelobjetode evaluacin,quesirvealdoblepropsitode controlar calidad evaluativa y vericar adecuadas condiciones editoriales del instrumento.Enestaetapasepreparatambinla documentacinqueservirparaorientarala poblacinobjetivosobrelascaractersticas delinstrumento:temticasqueseabordarn, formatosdetemsqueseusarnconviene incluiralgunosejemplosdetems-,nmero detemsquedebernresponderytodala informacinqueseconsidereprudentedara conocersobreelprocesoadelantadoparasu elaboracin; tambin se informa a la poblacin sobre las condiciones de la aplicacin y sobre la forma y el momento en que se darn a conocer losresultadosdelaevaluacin.Obviamente esta documentacin debe ser divulgada entre la poblacin objetivo con suciente anticipacin al momento de la aplicacin.4. APLICACIN PILOTOEnestafaseelinstrumentoesaplicadoa unamuestrarepresentativadelapoblacin objetivoparaestimarindicadoresestadsticos quepermitancorroborarlacalidadtcnicadel instrumentoyelgradodepertinenciadelos tems para la poblacin. Esta aplicacin tambin permiteaproximarsealaelaboracindeuna escala de calicacin y reconocer necesidades deajustedelinstrumentoentrminosdelnivel de dicultad de los tems elaborados (establecer, por ejemplo, si los tems resultaron demasiado fciles o demasiado difciles para la poblacin). Lascondicionesdelaaplicacinpilotodeben guardarlamayorsimilitudposibleconlas condicionesquetendrlaaplicacindenitiva (edicindelinstrumento,instruccionespara responder, tiempo disponible, etc.). Unaalternativaalaestrategiaderealizar unaaplicacinpilotoconsisteensometerel instrumentoaloquesedenominaunjuicio deexpertos,sobrecuyametodologade implementacinexisteliteraturadisponible. Enformabreve,unjuiciodeexpertosesun procedimientoatravsdelcualunequipode personas, expertas en el objeto de evaluacin y en procesos de evaluacin, calican los tems de un instrumento, a la luz de las consideraciones delmarcodefundamentacinconceptual,en trminos de su coherencia con los propsitos de la evaluacin y de su pertinencia con la estructura deprueba,ascomodelasespecicaciones psicomtricasylascaractersticasdela poblacinobjetivo;adems,valoransugrado de dicultad, su claridad y ofrecen sugerencias parasuanamiento.Yaseaatravsdela aplicacinpilotoodeunjuiciodeexpertos,el instrumentodebesersometidoaestafasede revisin y ajuste con el propsito de asegurar su calidad y, por ende, la de los datos (respuestas) recogidos a travs de su aplicacin; as, fase tras fasedelproceso,seconsolidanloscimientos sobre los cuales se funda la validez del mismo. 5. APLICACIN (DEFINITIVA)Es la fase en la cual la poblacin objetivo responde alostemsdelinstrumentodeevaluacin elaborado.Surealizacin,dependiendodel tamao y la ubicacin geogrca de la poblacin objetivo,puededemandarladisposicinde considerablecantidadderecursoshumanos, fsicos,materiales,tecnolgicos,etc.La logstica de aplicacin depende del modelo de aplicacinquepreviamentesehayadenido. 24Segnelmedioparaevaluar:lpizypapel oporcomputadora;segnelcalendariode aplicaciones:porofertaopordemanda; segn la cobertura poblacional: censal o a una muestrarepresentativadelapoblacin;segn laorganizacindeaplicadoresycentrosde aplicacin: centralizada o descentralizada.Cualquieraqueseaesemodelodeaplicacin, laequidadesunacondicinindispensable delproceso.Ladivulgacinoportunadelos materialesguaparalapresentacindela prueba, los cuales fueron preparados en la fase de desarrollo del instrumento, permitirn que los evaluados conozcan con anticipacin la situacin deevaluacin:losrequerimientos,condiciones ypropsitosdelproceso.Igualmente,durante lafasedeaplicacin,debeasegurarseque todoslosevaluadosrecibanlasmismas instrucciones para abordar el instrumento y que tenganigualdadencuantoalascondiciones deespacio,tiempo,iluminacin,materialesde trabajo, etc. 6. ANLISIS DE TEMS Y DE PRUEBAEstafaseenrealidadserealizaendos momentos: a) luego de la aplicacin piloto y b) luegodelaaplicacindenitiva.Enelprimer casoelnesseleccionarlostemsquemejor respondanalpropsitodelaevaluaciny conformarconelloselinstrumentodenitivo; tambinesfundamentalestafaseparatomar decisiones en relacin con posibles ajustes a los tems para su futura aplicacin.En el segundo caso, el anlisis de tems permite decidir cules tems incluir y cules excluir para la generacin de escalas de calicacin.Luego de la aplicacin (piloto o denitiva) se toma comoinsumolasrespuestasdelosevaluados paracalcularindicadoresestadsticosque permiten valorar si el instrumento como totalidad y cada uno de los tems que lo constituyen fueron abordadossegnloesperadoporquienes elaboraron el instrumento. Sedisponedeunagamadeindicadores estadsticosquepermitenvalorarlacalidadde lostems;noobstante,esimportanteresaltar queelanlisisdetemstrasciendelasimple vericacindelcumplimientodecriterios estadsticos;supropsitoesfacilitaryorientar la toma de decisiones en cuanto a la seleccin de tems cuyo funcionamiento brinde conanza paraprocederobienalprocesodearmada delapruebadenitivaobienalprocesode calicacin.Nonecesariamenteuntemque exceda los lmites establecidos como criterio de aceptacin de un indicador estadstico es un tem que debe descartarse del proceso; el evaluador queconoceaprofundidadelinstrumento,sus especicacionesypropsitosyqueconoce, adems,alapoblacinobjetivosabrvalorar en qu casos el tem debe ser descartado y en qu casos debe mantenerse.Losindicadoresutilizadosparaelanlisis detemsylaformaenqueellossecalculan dependedelmodelodeprocesamientode datosqueseutilice.Enevaluacinsecuenta fundamentalmentecondosmodelos:laTeora ClsicadelosTestylaTeoradeRespuestaal tem, sta ltima con mltiples ventajas sobre la primera. Entre los indicadores ms comnmente usadosparaevaluartemsestn:elnivelde dicultad,elgradodeajustealmodelo,la distribucinderespuestasentrelasopciones derespuesta,lacorrelacintem-medidayel error de medicin; la valoracin del instrumento serealizaporlogeneralconbaseendatos comoelpromedioyladesviacinestndarde puntuacin, el ajuste al modelo, la conabilidad y el error de medicin.7. ESCALAS DE CALIFICACINLaasignacindevaloresdemedida,de acuerdoconciertasreglas,acaractersticas delmundoreal,sesueledenominarescalade medicin3. La construccin de escalas es la fase enlaquesedenenlasreglasdeasignacin deesosvalores,tendientesaasegurarque 3 Fenton, N.E. y Peeger, S.L. (1997) Software metrics. A rigurous and practical approach. Boston: PWS Pub.25ZONA NORTE: Taller Elaboracin de temslasinterpretacionesdelosresultadosdela evaluacin sean comprensibles y pertinentes. Unaescaladecalicacinpermiteasignar unapuntuacinparticularacadaevaluado,de acuerdoconsusrespuestasalostemsdel instrumento. Es importante reconocer que cada tem tiene asociado un nivel de dicultad particular quedeberaserconsideradoenelmomento deasignarlacalicacinacadaevaluado;los modelos modernos de procesamiento de datos se fundamentan en formulaciones matemticas queconsideranelniveldedicultadde cadatemparaproducirunacalicacin.Es deseablequelasescalasgeneradaspermitan la comparabilidad de resultados entre distintas aplicacionesdelmismoinstrumento,as comoentrelosmiembrosdelapoblacin objetivo en una misma aplicacin; para esto es necesario implementar procedimientos tcnicos especcos(equating/comparabilidad)sobre los cuales existe abundante literatura disponible pero no son objeto de este documento. 8. PRODUCCIN Y DIVULGACIN DE RESULTADOSEsunafasecrucialdelprocesoenlacual losevaluados-ylosdemsusuariosdela informacin derivada de la evaluacin- pueden llegar,ono,areconocerastecomoun proceso til, importante e incluso necesario. Un compromiso importante de todo evaluador debe serquelosevaluadosydemsusuariosdela evaluacin realicen interpretaciones adecuadas delosresultadospresentadosenlosinformes queprepara;porestarazn,eldiseode informes es una labor que amerita dedicacin y anlisiscrticoandelograrlamayorclaridad en la comunicacin de los resultados.Producirlosresultadosconsisteenaplicar lasescalasdecalicacin-denidasenla etapaprevia-alapoblacinevaluada,conel ndegenerarbasesdedatosquenutranlos reportesderesultados.Estosreportespueden serindividualesy/oagrupadossegncriterios deinters(porejemplo:institucin,municipio, regin, etc.). Un reporte o informe de evaluacin debe ser veraz, claro y orientador; esto es, debe entregarinformacinqueseaconsistentecon el propsito de la evaluacin y esta informacin debeposibilitaralevaluadoreconocersu desempeoenelprocesoyorientarlepara planearaccionesdecualicacinnecesariasy pertinentes. Unavezproducidoslosreportes,seprocede aimplementarlasestrategiasdedivulgacin, lascualesdebernseradecuadasalas caractersticasdelapoblacinobjetivo(nivel acadmico,ubicacingeogrca,accesoa medios)yaladisponibilidadderecursospor parte del evaluador. Es usual que el evaluador adquiera un compromiso decondencialidadconelevaluadoquele obligaamantenerbajoreservalosresultados individuales. Esto no constrie posibilidades de preparar y dar a conocer reportes globales de la poblacin objetivo y sub-agrupaciones de sta, para atender requerimientos de informacin de otros usuarios del proceso.II. DESARROLLO DE PRUEBASUninstrumentodeevaluacinopruebaes unconjuntointencionalmentearticuladode temsatravsdecuyaaplicacinseinereel desempeodequienessonevaluados,en relacin con el objeto de evaluacin. Una prueba esmsquelasimplesumadelostemsque laconforman,aunquesupoderevaluativose derivadelapotenciaparaevaluarquetengan todosycadaunodeellos.Seesperaqueun instrumentodeevaluacinseaunaunidad evaluativacompleta,armnica,queresponda efectivamentealospropsitosplanteadosen su marco de fundamentacin conceptual y a las caractersticas denidas en las especicaciones de prueba. Siendo as, la elaboracin de tems se entiende como una fase crucial en la cual se materializan esos propsitos y caractersticas.26Producir esa unidad evaluativa integral que es la prueba demanda planeacin, organizacin ypermanenterevisinycualicacin delproducto.Noselograapartirdela agregacin, a posteriori, de tems elaborados aisladamente,aunqueaparentementestos tenganrelacinconelobjetodeevaluacin. Cada tem debe ser construido con la intencin claradeevaluarunatareaqueesparte integraldelobjetodeevaluacinyqueest descritadentrodelaestructuradeprueba, complementando a los dems tems; es decir, cada tem debe constituirse en pieza esencial del instrumento. Hacer tems de buena calidad implica, adems, conocerlascaractersticasdelosdistintos formatosdetemssusceptiblesdeutilizacin, aplicar las reglas para su correcta elaboracin y evitar los factores que pueden alterar su validez. Quizs, por todo esto, elaborar tems ajustados a las especicaciones de prueba es la tarea ms difcil en el proceso evaluativo4. 1. CONTENIDO DE LOS TEMSLaestructuradepruebay,especficamente, lastareasdeevaluacindefinidasenella orientanalelaboradorenrelacincon culessonlosaspectostpicos,temas, problemticas,etc.-sobrelosquedebe formular sus tems. Actualmente los procesos deevaluacineducativatiendenhaciael reconocimiento de competencias ms que a laverificacindelaapropiacindedatoso contenidos aislados. Si bien es cierto que el concepto de competencias es complejo y polismico, desde una postura, ms o menos generalizada en el campo de la medicin ylaevaluacin,sepuededecirqueelaborar untemparaevaluarcompetenciassupone indagarsihahabidounprocesodeformacin quehayapotenciadoenelevaluadoelusodel conocimiento,msquelameraacumulacin del mismo; dicho en otros trminos, el tem que evala competencias busca evidenciar lo que el evaluado es capaz de hacer con lo que sabe, en contrasteconuntemtradicionalquebuscara vericar cunto l sabe. Noessimplerealizarlacaracterizacindeun temqueevalacompetenciasfrenteauno tradicional;noobstante,parecerhabercierto niveldeacuerdoenqueeltemtradicionales pococontextualizadoy,enmuchasocasiones, soslaya aspectos como la pertinencia o la utilidad en la vida cotidiana de aquello por lo cual indaga; untemtradicionalcomnmenteseinspira envisionesdisciplinaresfundamentalmente temticas y pondera procesos como el recuerdo de categoras propias de dicha visin disciplinar (deniciones,frmulas,acontecimientos,etc.), msqueenlacapacidadparaanalizartales categorasyaplicarlasenlaresolucinde problemticas.De otra parte, un tem para evaluar competencias ountemdecompetencias,comosuele denominrsele,escontextualizado,esdecir, se plantea a partir de situaciones o problemas reales,pertinenteseinteresantesyofrece informacinquenoseconsideraobligatorio conocerdememoria(especialmenteen laactualidad,cuandosondiversaslas posibilidadesdeaccesoalainformacin) yquepermitecircunscribirelproblema alrededordeciertasvariablesocondiciones deinters;eneltemdecompetenciasel contextosirveparasituarconceptualmente alevaluado.Conuntemdecompetencias sepretendevalorarlacapacidaddeusarel conocimientosobreuntema,teoraohecho pararesolverproblemticas,paraplantear hiptesis,paraproponerexplicaciones,para interpretar, utilizar y evaluar ese tema, teora o hechobajocircunstanciasdistintas,etc.As, elaborar un tem de competencias supone una posturaeducativaenlacualelconocimiento es objeto de conocimiento y se considera que esunobjetotil,susceptibledeanlisisyen permanentetransformacin.Poreso,enlos 4 Hambleton, R. y Zaal, J. (1994). Advances in educational psychological testing. Boston: Kluwer Academic Publishers.27ZONA NORTE: Taller Elaboracin de temstems de competencias se suele indagar por el cmo?,porelporqu?,porelparaqu?, por el qu pasara si...?, por el qu signica?, msqueporelqu?,cundo?yquin? Untemdecompetenciasdebepromoverla reexin sobre el conocimiento y no la repeticin del conocimiento.2. FORMATOS DE TEMSComosunombreloindicacorrespondeala formaenlacualseestructuranlostems.La siguientegrcamuestraunaclasicacinde formatos de tems basada en lo que un evaluado hace cuando se enfrenta a un tem: seleccionar o producir una respuesta.En un instrumento es posible incluir variedad de formatos. Cada uno de ellos tiene unos requisitos particularesdeelaboracinyofrecedistinto potencial evaluativo. Es importante, eso s, que cadaformatoutilizadoenuninstrumentoest debidamente acompaado de las instrucciones queorientanlamaneraderesponderlo. Adems,porconsideracinconelevaluado, generalmente se procura incorporar un nmero signicativo de tems de un mismo formato, de tal manera que la lectura de instrucciones que a veces puede resultar dispendiosa, dependiendo del formato- no desplace la intencin evaluativa central.Esimportantereconocerquelos formatosdeterminanengranparteelproceso de calicacin. Los tems de seleccin mltiple connicarespuesta,porejemplo,secalican comocorrectooincorrecto;10,dadoque slo admiten una opcin como respuesta; otros formatosdeseleccinadmitencalicacinde crditoparcial(cadaopcintieneunpesoen lacalicacin);losformatosdeproduccinde respuesta(porejemplolosensayos)exigen elestablecimientodecriteriosdecalicacin respaldadosenelsabersobreelobjetode evaluacinydemandanjuiciososprocesosde entrenamiento a los calicadores para asegurar precisin y equidad en la calicacin. 28Enestedocumentosetrabajaesencialmente latcnicadeelaboracindetemsdelformato seleccinmltipleconnicarespuesta;de cualquier manera, es de sealar que muchas de lasreglasparasuelaboracinsonpertinentes tambin para otros formatos.3. PARTES DE UN TEM DE SELECCIN MLTIPLE CON NICA RESPUESTALas partes bsicas de un tem de seleccin mltiple sonelcontexto,elenunciadoylasopcionesde respuesta, como se muestra en el grco. CONTEXTOEslainformacinquesitaconceptualmente alevaluado.Proveeelementosnecesariosy sucientes para focalizar la tarea de evaluacin. Enunsentidoamplio,elcontextoabarcatodo elsaberpreviodelevaluadosobreelobjeto deevaluacin;noobstante,enelproceso deelaboracindeuntem,esusualqueel evaluadorencuentrepertinenteynecesario presentaruntextouotrotipodeinformacin quecontribuyaaprecisarlascondiciones delproblema,lasvariablesqueesprudente considerar,oparaubicareneltiempoyen elespaciolaproblemtica,etc.Elcontexto puedeseruntextoporejemplo,entemsde comprensin de lectura-, una grca, un dibujo, una tabla o cualquier otra forma de presentacin delainformacinapartirdelacualsederiva elenunciado.Laseleccinoelaboracindel contextoesunalaborexigenteencuantosu propsitoesjustamentecontextualizaryno confundir al evaluado; debe estar articulado con la tarea de evaluacin y no debe convertirse en factor que disminuya del tiempo disponible para responder; es decir, su extensin y complejidad debenconsiderarse,tambin,alaluzdelas condiciones logsticas de la evaluacin. ENUNCIADOEselplanteamiento,propiamentedicho,dela problemtica que se espera sea resuelta por el evaluado5. En el enunciado se hace explcita la tarea de evaluacin y, por tanto, dirige el esfuerzo delevaluadoparageneraroseleccionaruna respuesta, por lo cual es fundamental que est escrito en lenguaje claro y preciso. Tradicionalmentelosenunciadosdetemsde seleccinmltipleseplanteanenformade pregunta, o como una proposicin. En el primer 5 AERA, APA, NCME. (1999). Standards for educational and psychological testing. Washington: AERA.29ZONA NORTE: Taller Elaboracin de temscaso, las opciones se redactan como respuestas a la pregunta; en el segundo caso, el enunciado constituyelaprimerapartedeunaproposicin ycadaunadelasopcionesdebecompletar coherentemente el enunciado. Lautilizacindeunauotraformadeplantear elenunciadoesdecisindelevaluadory generalmentetienequeverconlafacilidadpara redactar,tantoelenunciadocomolasopciones. Conviene tener en cuenta, eso s, que la redaccin en forma de pregunta resulta mucho ms clara para poblaciones infantiles; es decir, los nios parecen responder mejor a la tarea de evaluacin cuando el enunciado es una pregunta que cuando es una proposicinincompleta.Cualquierasealaforma enqueseredacteelenunciado,esimportante vericarsuclaridad,precisinyarticulacincon las opciones de respuesta. OPCIONES DE RESPUESTALasopcionessonposiblesrespuestasala problemticaplanteadaenelenunciado.En elformatodeseleccinmltipleconnica respuesta, como su nombre lo indica, slo una de estas opciones es verdaderamente pertinente ycompletaparasolucionarelproblematarea deevaluacin-;lasdemsopciones,aunque puedenservistascomorespuestasplausibles porlosevaluadosquenodominanlatareade evaluacin, no responden en forma completa o pertinente a la problemtica formulada. Otrosformatosdeseleccinadmitenms deunaopcincomorespuestavlida.En laactualidad,cadavezconmsfrecuencia, losinstrumentosdeevaluacineducativa incorporan formatos de tems en los cuales cada opcin de respuesta es ponderada de acuerdo consugradodevalidezopertinencia;eslo que se denomina tems de crdito parcial, y su elaboracin supone que todas las opciones son respuestas vlidas, aunque cada una en distinto grado,dependiendodediferentescondiciones planteadas o posibles de inferir del contexto y del enunciado. Se busca con este tipo de tems, ms quevalorar,enunacategorizacindicotmica, sielevaluadorespondionorespondiala tarea de evaluacin, que sea posible identicar perles o estilos de desempeo.4. REGLAS PARA LA ELABORACIN DE TEMS DE SELECCIN MLTIPLE CON NICA RESPUESTALaexperienciapropiadevariosaosenel desarrollodeinstrumentosdeevaluacin, combinadaconladeentidadesextranjeras dedicadas a la misma labor y con los hallazgos denumerososestudiosrealizadossobrelas tcnicas que conducen a mejorar la calidad de los tems6 7 8 9 10 ha hecho posible que en la actualidad se cuente con un conjunto de reglas que orientan la correcta elaboracin de tems. A continuacin se presenta un compendio de dichas reglas. ASPECTOS GENERALES No es recomendable trabajar contrarreloj cuando se busca tener un instrumento de calidad. Haga unaprogramacinjuiciosadetodaslasfases del diseo del instrumento y, particularmente, de lafasedeelaboracindetemscontemplando tiempos de revisin, ajustes y edicin. Conforme el equipo de trabajo con base en las competencias de cada miembro y en su saber 6 Haladyna y Downing. (1989). A taxonomy of multiple choice tem writing rules. En Apply Measurement in Education. Vol. 1.7 Haladyna, T. (1994). Development and validatin multiple choice test tems. New Jersey: Lawrence Earlbaum Associates.8 Cheung, D. Y Bucat, R. (2002). How can we construct good multiple choice tems? Hong Kong: Sciens and Technology Education Conference.9ICFES.(2004).Estndaresparalaconstruccindepruebas.GrupodeEvaluacindelaEducacinSuperior.Bogot: ICFES.10Cohen,A.yWoollack,J.(2004).Helpfultipsforcreatingreliableandvalidclassroomtest.EnHandbookonTest Development. U. Wisconsin. 30sobreelobjetodeevaluacin;eldominioen ladisciplinaocampoqueseevaluardebe combinarse con el conocimiento en medicin yevaluacin.Enloposible,cuenteconel apoyo de alguien con experiencia en el tema. Planeesesionesdeinduccinparaquienes vayanaelaborartemsyasegresedeque comprenden el propsito del instrumento y los dems planteamientos bsicos del marco de fundamentacin y de las especicaciones de prueba. Si se trata de personas sin experiencia, deben ser entrenados adems en las tcnicas de elaboracin de tems. Un buen tem, por lo general, ha experimentado todaunametamorfosisdesdesuversin original.Durantelafasedeelaboracinde los tems, realice sesiones de socializacin o anlisis conjunto de los tems elaborados por cadamiembrodelequipo,conelndeque cada uno tenga oportunidad de hacer aportes a la cualicacin de todos los tems (tanto en lo que reere a la forma como al contenido). Eviteusareufemismosypreeraunlenguaje directo,sinsacricarelniveltcnicoy acadmicodelproceso.Laclaridady concrecinenellenguajedebeseruna consideracinpermanente;utilicedibujos, grcosotablasslosiestosenrealidad aportanalacomprensindelatareade evaluacin; tenga en cuenta el tiempo que el evaluado debe emplear para leer instrucciones, contextos, enunciados y opciones, y el tiempo total del cual dispone para responder. Asegresedequeenningunapartedel instrumento(portada,textos,instrucciones, tems,etc.)hayaerroresdeortografa,de gramticaodepuntuacin,quenose incluyaincorrectamenteabreviaciones,citas, nombres, cifras, fechas, etc. REGLAS SOBRE EL CONTENIDO DE LOSTEMS Eviteelaborartemsqueconfundenal evaluado. Diferentes estudios han establecido culessonalgunasdelassituacionesque llevanapercibirlostemscomoconfusos11; entre stas estn: a)Contenido trivialb)Presencia de informacin irrelevantec)Presentacin ambigua de las opciones de respuestad)Discriminacin muy na difcil de percibir entre las opciones de respuesta e)Presentacindeinformacinenmodo distintoacomohasidoaprendidaporla poblacin evaluada, dentro de su proceso educativo. Cadatemdebecorresponderaunatarea deevaluacindenidaenlaestructurade prueba. Evite evaluar el mismo aspecto especco con varios tems. Aproveche cada tem para hacer cada vez ms completa la evaluacin. Plantee una sola problemtica en cada tem. Evitetemsqueincluyanposiciones ideolgicasoprejuicios;tengaencuenta quelasproposicionesprejuiciosaspueden resultar en una ofensa para cualquiera de los evaluados.Seexceptaestarecomendacin si justamente dichas posiciones son el objeto deevaluacin;entoncesserobligatorio incluirlas. Elvocabularioutilizadodebeseradecuado para la poblacin objetivo. Cadatemdebeserindependienteyno proveer informacin para responder a otros. Noutilicetemsqueaparezcanenlibros, revistas u otros documentos, como base para sus tems. Elabore tems originales. Evite tems en los cuales se indague la opinin (parecernoargumentado)delevaluado(a menos que el instrumento justamente pretenda servir para un sondeo de opinin). 11 Roberts, D. (1993). An empirical studying on the nature of trick questions. Journal of educational measurement. Vol 30. 31ZONA NORTE: Taller Elaboracin de tems Eviteplanteartemscuyarespuestavlidase determine segn la opinin de quien la elabora. Balancee la complejidad de los tems para que el instrumento cubra los niveles de habilidad de la poblacin objetivo, es decir, la prueba debe incluir tems de dicultad alta, media y baja. REGLAS SOBRE CONSTRUCCIN DEL ENUNCIADO Si plantea el enunciado en forma de proposicin incompleta asegrese de usar conjugaciones verbales,gneroynmeroadecuadospara lasopcionesderespuestaqueplantear.Si lo escribe en forma de pregunta asegrese de usar adecuadamente signos de interrogacin y la estructura gramatical de una pregunta. Presente en el enunciado la tarea de evaluacin. Escriba con claridad. Evite texto excesivo. Redacteelenunciadoenformapositiva;es decir, evite negaciones. REGLAS SOBRE CONSTRUCCIN DE OPCIONES DE RESPUESTA Asegurelaconcordanciagramaticalentrela proposicin del enunciado y cada opcin. Organicelasopcionesenunordenlgico (alfabtico, longitud, etc.) o numrico. Mantenga la independencia entre las opciones. stas no deben solaparse o intersectarse y no deben ser sinnimas. Reraseentodaslasopcionesalproblema planteadoenelenunciado.Eviteopciones fcilmente descartables. Elaboreopcionesderespuestadelongitud similar. Evite colocar como opcin: -Todos los anteriores -Ninguno de los anteriores-A y B son correctas (o cualquier combinacin de opciones)-No s Redactelasopcionesenformapositiva,es decir,evitenegaciones.Sidebecolocaruna negacin, resltela (use negrilla o maysculas sostenidas). Norepitaenlasopcionesfrasescontenidas en el enunciado. Elaboretemscon4opcionesderespuesta. Elaborar opciones plausibles es dispendioso; seguramenteganarcalidadenlasque redacte si no son demasiadas. Hay referencia de distintos estudios que analizaron la cantidad deopcionestilesparalospropsitosde evaluacin1213;sibiennoexisteconsenso alrededordeunniconmerodeopciones, seencuentraamenudoconveniente,en cuantoafacilidadderedaccinycapacidad dediscriminacin,trabajarcon4opciones; parapoblacionesdeinfantespuedeser conveniente usar 3 opciones. Eviteenlasopcioneselusodeadverbios como:-Siempre-Nunca-Totalmente-Absolutamente-Completamente Laposicindelaopcinvlidadebe balancearseentretodoslostemsdel instrumento.Esrecomendablequeaparezca proporcionalmente en cada posicin posible. Evite que la opcin vlida pueda ser identicada fcilmente por contraste con las dems opciones, por alguna de las siguientes situaciones: -tener la mayor longitud-serlaproposicindemayorprecisino imprecisin12 Haladyna, T. y Downing, S. (1995). How many options is enough for a multiple choice test tem. New Jersey: LEA.13 Pardo, C. (1994). Nmero til de opciones de respuesta en las pruebas Saber. Documento de trabajo. Bogot: ICFES.32-estar redactada en un tipo lenguaje diferente (tcnico o comn)-tener el mayor nivel de generalizacin o de particularidad -tener las mismas palabras que el enunciado-referirse a una problemtica o tema diferente Justiqueadecuadamentecadaunadelas opciones para garantizar que slo hay una vlida y que las dems son plausibles para quienes no dominan completamente la tarea de evaluacin5. SOBRE LA VALIDEZEl concepto moderno de la validez es global, a diferencia del clsico que consideraba distintos tiposdevalidez.Sereconocequelavalidez noesdelinstrumento,sinodelasinferencias einterpretacionesrealizadasapartirdelas puntuacionesobtenidasenunprocesode evaluacin. La validez se entiende como un juicio evaluativo delgradoenelcuallaevidenciaempricay tericasustentanlapertinenciayconveniencia de las inferencias acerca de los resultados en un instrumento de medicin, as como las acciones que se realizan a partir de dichos resultados14.Dichodeotraforma,lavalidezhacereferencia aqutanfuertessonlosargumentosylas evidenciasquerespaldanlasinterpretaciones hechasacercadelobjetodeevaluacin(por ejemplo, la competencia) a partir de los resultados obtenidos. En tal sentido, la validez compromete a todas las etapas del diseo de pruebas: desde ladenicinycaracterizacindelobjetode evaluacin hasta la divulgacin de resultados. Elevaluadordebereconocerqueelusuario directo de la evaluacin el evaluado-, as como los usuarios indirectos de la misma, utilizarn los resultados para comprender y analizar procesos, para emitir juicios, para tomar decisiones, etc., y,portanto,essuresponsabilidadticay socialasegurarsedequetalesanlisis,juicios y decisiones sean verdaderamente posibles de derivar de la evaluacin que realiza. Larigurosidadacadmicaytcnicaenla elaboracindelostems(y,porsupuesto,en lasdemsetapasdeldiseodelinstrumento) aporta para que los resultados de la evaluacin sean pertinentes con su propsito. Las reglas de elaboracin de tems descritas en este documento tienen la pretensin de orientar al evaluador para quelostemsqueelaboraevalenrealmenteel objetodeevaluacinquesepretende;eneste sentido, la aplicacin de tales reglas contribuye a consolidar la argumentacin alrededor de que lo que los resultados indican es verdadero.En resumen, en lo que concierne a la elaboracin de tems, los siguientes son factores que afectan negativamente la validez: Latareaalacualseenfocaeltemnoes relevante para la evaluacin del objeto denido en el marco de fundamentacin. En el tem se incluye informacin que la facilita o la diculta, ms all del propsito de evaluacin.Ahora bien, en la fase de elaboracin de tems nobastaconaplicarlasreglasdeelaboracin paracontribuiralavalidez;esnecesario garantizarquequienesvanaserevaluados condichostemsnolleguenaresponderlos correctamente por circunstancias distintas a su propia capacidad o competencia. As,entonces,otrofactordeterminantedela validezeslacondencialidaddelinstrumento, antes de su aplicacin. Con ello se asegura que lascondicionesenlascualeslosevaluados seenfrentanalaaplicacindelinstrumento son equitativas y, por ende, que las escalas de calicacin que se generen y los resultados que se divulguen reejan genuinamente el objeto de evaluacin.Losanexos2y3sonejemplosde mecanismos utilizados en el ICFES con miras a guardar la condencialidad de los tems durante el proceso de elaboracin.14 Messick, S. (1989). Validity. In R.L. Linn (Ed.), Educational measurement (3rd ed., pp. 13-103). New York: Macmillan. 33ZONA NORTE: Taller Elaboracin de temsIII. EJERCICIO PRCTICO PARA APLICAR LAS REGLAS DE ELABORACIN DE TEMSUnaveztrabajadoestedocumentoylogradala familiarizacinconlasreglasdeelaboracinde tems, se sugiere realizar, preferiblemente en grupo, la lectura de los siguientes ejemplos de tems, con elndeidenticar,encadaunodeellos:a)qu sepretendeevaluar,b)culessonlasreglasde elaboracin de tems que se aplican correctamente, c) cules reglas se pasaron por alto y, despus de esteproceso,proponerconjuntamenteformas de cualicacin de cada tem; para esto, el grupo deelaboradoresdeberadelantarreexionesy discusiones, con base en argumentos acadmicos ytcnicos,sobreelpropsitodeevaluacinque tendran dichos tems.Tengaencuentaquenohayunafrmulanica y universal para mejorar la calidad de un tem, ni hayunanicaversinquepuedaconsiderarse exclusivamentecorrecta;cadagrupode evaluadores que realice el ejercicio podr llegar a plantear diferentes versiones, todas de mucha calidad.Porloanterior,enestedocumentono seincluyeunapropuestadeajuste;adems, intencionalmente se ha seleccionado un grupo de tems redactados con un enfoque tradicional (no de competencias) dado que, tanto su enunciado comosusopciones,sonmenoselaboradasy extensas, lo cual facilita el ejercicio propuesto.tem 1.LosextinguidoresconbaseenaguaNOson apropiados para apagar fuegos de A. AlcoholB. AlgodnC. PapelD. Maderatem 2.Las bebidas gaseosas como la coca-cola tienen un pH cercano aA. 1B. 2C. 3D. 4tem 3.Elmayorcomponentedelgasnaturalquese usa en los hogares en Hong Kong esA. Monxido de carbonoB. Nafta gaseosaC. HidrgenoD. Metanotem 4.El zinc es mejor que el latn si se quiere evitar el xido en una pieza de hierro por electroplatinado porqueA. El zinc es ms barato que el latnB. El latn es txicoC. El zinc puede prevenir que el hierro entre en contacto con el agua y el aireD. Elzincesmsreactivoqueelhierroypor lotantoseprevienelaoxidacinaunqueel electroplatinado se rompa.tem 5.Para la mayora de los plsticos es cierto queA. No reaccionan con cidosB. Se pueden moldear fcilmenteC. Son inamablesD. Todas las anteriorestem 6.Siunapersonaconsumeexcesode carbohidratos es probable que la temperatura de su cuerpoA. Se incrementeB. Permanezca igualC. Se decrementeD. Se altere34InterpretarHace referencia a las acciones que realiza una persona, con el propsito de comprender una situacin en un contexto especco. La interpretacin implica dar cuenta del sentido de un texto, de una proposicin, de un problema, de un evento o de una grca, mapa, esquema o simbologa propia de la disciplina objeto de evaluacin, e involucra acciones tales como: Identicar las variables involucradas en una situacin problema y sus relaciones Describir el estado, las interacciones o dinmica de un sistema, en trminos grcos o simblicos. Traducirinformacindeunsistemaderepresentacinaotro(identicarelesquemailustrativo correspondiente a una situacin dada o, identicar la descripcin ms apropiada para determinada grca) Plantear conclusiones vlidas a partir de un conjunto de datos o eventosArgumentarHace referencia a las acciones que realiza una persona con el propsito de fundamentar o sustentar un planteamiento, una hiptesis, un diseo, el uso de un procedimiento, la solucin a un problema ounadecisin.Estacompetenciaexigeexplicitarlosporqudeloquesehace,einvolucra acciones tales como: Fundamentar la ocurrencia de determinados fenmenos con base en planteamientos tericos Sustentarconclusionesparadiferenteseventosofenmenos,medianteelestablecimientode cadenas de relaciones entre conceptos, postulados o principios tericos. Sustentar conclusiones a partir de datos o procedimientos experimentales. Argumentar cul es la informacin relevante para la resolucin de un problema. tem 7.El mejor equipo de ftbol en la liga colombiana esA. MillonariosB. NacionalC. SantafD. Cruzeirotem 8.Lainvestigacinhaencontradoqueasignar tareas en el proceso educativo esA.Unaestrategiadeenseanzaefectivasila tarea es relevante para el aprendizajeB. Mejor, mientras ms tareas se asignenC.til,siseasignantodoslosdas,excepto el viernesD. Innecesaria si se ensea bienANEXO IEJEMPLO DE CARACTERIZACION DE COMPETENCIASEN EL ICFES1515 Gonzlez, M. Espndola, C. y otros. (2005). Manual para la construccin de preguntas ECAES de Biologa. Documento de trabajo: ICFES - Acofacien.35ZONA NORTE: Taller Elaboracin de temsProponerHace referencia a las acciones que realiza una persona, con el propsito de plantear alternativas dedecisinodeaccin;establecerloquepuedeocurrirenunsistemaosituacincuando cambian las condiciones y dilucidar relaciones o vnculos no evidentes entre eventos o conceptos. Esta competencia involucra acciones tales como: Predecir el comportamiento de un sistema o situacin si se realizan cambios en las interacciones o en sus condiciones iniciales Conjeturar,apartirdeunestadonal,lascondicionesoestadosprecedentesquelohicieron posible. Plantear el diseo experimental o la estrategia ms adecuada y pertinente para realizar determinado estudio o contrastar una hiptesis Establecer regularidades vlidas para un conjunto de situaciones aparentemente desconectadas Plantear hiptesisANEXO IISUGERENCIAS PARA GARANTIZAR LA CONFIDENCIALIDAD DEL MATERIAL DE PRUEBA16 Restringir el acceso a toda la prueba o a partes de la misma y a la armada de la prueba, a un grupo pequeo de personas que garantice la condencialidad del proceso. Se sugiere encargar a una sola persona de ser el responsable de la seguridad de archivos magnticos e impresos de los tems. Cuidarquenoquedenencirculacincolectivalasversionesenpapelolascopiasdelostems generadas durante el proceso de elaboracin. Finalizado este proceso, las versiones que no vayan a ser incluidas en la prueba deben ser destruidas; los tems aprobados debern ser mantenidos bajo custodia del responsable de la seguridad. Silostemsseencuentranenarchivosmagnticos,stosdeberntenerunaclaveopassword paralecturayparamodicacin.Dichaclavesolopodrserconocidaporelresponsabledela seguridad de los tems. Ninguna persona que elabore tems podr guardar o copiar los tems hechos por otros ni de los elaborados por ella misma.Los talleres realizados con el n de revisar y ajustar tems debern contemplar mecanismos de seguridad que eviten que los tems sean conocidos por personas ajenas al grupo responsable de la elaboracin. Cuando asesores o expertos conozcan los tems con el propsito de revisarlos, deber asegurarse que devuelven todo el material de prueba que les haya sido entregado.16 Grupo de Evaluacin de la Educacin Superior. (2003). Estndares para la construccin de pruebas. Bogot: ICFES.36ANEXO IIIMODELO DE ACTA DE COMPROMISO17PROGRAMA UNIVERSIDADCIUDADYo, , identicado(a) con cdula de ciudadana nmerome comprometo a cumplir con las labores asignadas de acuerdo con los ms altos estndares de competencia tica e integridad profesional, teniendo debida consideracin a la naturaleza y propsito del trabajo desarrollado. Tambin me comprometo anorevelardirectaoindirectamenteaningunapersona,nidurantelavigenciadeestetrabajoni despus de su terminacin, ninguna informacin que hubiera obtenido durante el mismo y que no sea de dominio pblico.Firma FechaCC. No. 17 Documento diseado y usado por el Grupo de Evaluacin de la Educacin Superior del ICFES en procesos de contratacin para elaboracin de pruebas.