Upload
vanphuc
View
221
Download
1
Embed Size (px)
Citation preview
SIMULACIÓ AVALUADORA: ACOEs
Dr. Javier ArizaDepartament de Ciències ClíniquesFacultat Medicina i Ciències de la SalutCampus Bellvitge, UB
METODES d’AVALUACIÓ • Validesa: mesura el que toca mesurar
• Fiabilitat: consistència amb la que el mètode mesura una variable
• Objectivitat: consens entre diferents observadors
• Practicabilitat: simplicitat en el seu ús
• Reproductibilitat: repetir-lo en situacions diverses
• Rellevància (validesa de contingut): relació entre que hauria de preguntar-se i que es fa
• Especificitat de contingut: proporció de continguts amb temari• Especificitat de contingut: proporció de continguts amb temari
• Poder de discriminació: capacitat de distingir bo de dolent
• Analitzar el nivell de competències adquirides
• Comparar resultats entre individus o grups
• Feed-back• Monitoritzar Facultats, regions,etc..
• Definir estàndards mínims Ian Hart 1937 - 2012
‘Teaching without
testing is like cooking
without tasting ‘
¿Per què serveixen els sistemes d’avaluació (el VALOR)?
ACOE • A- Avaluació• C- Clínica• O- Objectiva• E- Estructurada
• O- Objective• S- Structured• C- Clinical• E - Examination
QUÈ és una ACOE?QUÈ és una ACOE?
OSCE
• E- Estructurada • E - Examination
Harden R, Gleeson F. Assessment of clinical competence using an Objective
Structured Clinical Examination. Med Educ 1979;13:41-4
......i estandaritzada............
• Avaluació: és una prova de competència
• Clínica: avalua casos clínics; però es poden simular d’altres característiques professionals
• Objectiva: davant d’un mateix estímul (una pregunta, una exploració...) s’obté la mateixa resposta
• Estructurada: segueix la pauta d’una taula d’especificacions que defineix les competències que s’avaluen
ACOE: CARACTERÍSTIQUES?ACOE: CARACTERÍSTIQUES?
SUMMATIVE ASSESSMENTSUMMATIVE ASSESSMENTSUMMATIVE ASSESSMENTSUMMATIVE ASSESSMENT
Show how
Does
Miller’s Pyramide
ACOE
Knows
Knows how
Framework for clinical assessment
OSCEs. Publications (1975-2008); date first publication per continent (n = 1065).
COMpetència BELLvitge - 1992ACOEs: EXPERIÈNCIA GRUP COMBELL
� COMBELL-I 1993� COMBELL-II 1994� COMBELL III 1995� COMBELL-IV 1996� COMBELL-V 1997� ACOEs 1997 - 2017
(Semiologia /fi de grau)
Neo Colon Informe/PRC
Fiebre
Analítica/PRC
Prostatismo
Tacto rectalAVC/Informe
Cefalea
Cefalea/Informe
Vendaje funcional
RCP/ECG
12
3
4
5
616
17
18
19
20
Sutura
Precordialgia
Cólico nefrítico
RX/analítica/InformeTos i
asma
Disnea ICC
HTA
Lumbalgia
AVC
Josep Roma, DGPRS/UB
8
9
10
7
1112
14
15
13
• En cada estació - encontre clínic o una situació professional per resoldre
(casos amb malalts simulats-actors o maniquís)• En ocasions un mateix cas ocupa 2 estacions:
en la 2ªestació s’ha de fer un informe clínic orespondre a preguntes de resposta curta del cas amb informació addicional:analítica,Rx,etc.(14 casos/20 estacions-6 casos amb 2 estacions)
ACOE: CARACTERÍSTIQUES ACOE: CARACTERÍSTIQUES i MESURES de les ESTACIONS i MESURES de les ESTACIONS
Competències a avaluar
• Anamnesi• Exploració física• Comunicació
(14 casos/20 estacions-6 casos amb 2 estacions)
• Cada estació compta amb una avaluació objectiva (si/no) en base a check lists
• Paraules clau en els informes clínics sol·licitats
• Escala likert (0-10) en comunicació
• L’ACOE es complementa amb una prova escrita de preguntes d’elecció múltiple en base a casos clínics (es fa un altre dia)
• Judici Clínic• Relació interprofessional• Ético - Legals• Habilitats tècniques• Accions preventives
TAULA D'ESPECIFICACIONS ACOE PREGRAU 2010
FASE MULTIESTACIONS 1 2 3 12 13 4 16 7 14 15
CAS (codi) Anamnesi Exp Física Comunicació Coneixements Judici Clínic Habilitats Recerca Preventives Rel. Interprof. Eticolegals SUMA
CEFALEA (HIPERF.) 45 25 30 100
FEBRE 35 25 20 20 100
PROSTATISME (227) 35 20 20 5 15 5 100
SUTURA I IM (904) 80 10 10 100
MAL AL PIT - CARDIOPATIA 40 40 20 100
CÒLIC NEFRÍTIC (133) 32 28 20 6 14 100
TOS I ASMA(181) 20 55 25 100
DÍSPNEA / ICC / EDEMES (798) 40 50 10 100
35 50 15 100HIPERTENSIÓ 35 50 15 100
LUMBÀLGIA (329) 40 40 20 100
AVC - DISÀRTRIA (232) 27 30 20 3 20 100
CÀNCER DE CÒLON 32 20 28 20 100
EMBENATGE FUNCIONAL (901) 30 15 55 100
RCP / ECG (000) 15 75 10 100
1400
FASE ESCRITA 0 0 0 302 248 0 0 150 0 0 700
700
TOTAL 286 213 165 377 412 315 0 210 77 45 2100
% 13,62% 10,14% 7,86% 17,95% 19,62% 15,00% 0,00% 10,00% 3,67% 2,14% 100,00%
J.Roma, DGPRS/UB 2015
J.Roma, DGPRS/UB 2015
COMBELL I (alumnes) vs II (residents) 1999-2000
5054
5349
6870
Patient notes
Physical Examination
History taking
COMBELL II
5757
50
30 35 40 45 50 55 60 65 70
Clinical skills
Patient notes COMBELL II
COMBELL I
%
J.Roma, DGPRS/UB 2015
RAONS per POSAR en MARXA un SISTEMA d’AVALUACIÓ TIPUS ACOE en la ASSIGNATURA de SEMIOLOGIA GENERAL
RAONS per POSAR en MARXA un SISTEMA d’AVALUACIÓ TIPUS ACOE en la ASSIGNATURA de SEMIOLOGIA GENERAL
• Dificultats conegudes per l’avaluació pràctica dels alumnes
• Ponderació de l’avaluació pràctica –50% de la nota total condiciona l’interès i actitud dels alumnes per l’aprenentatge pràctic
• Experiència prèvia satisfactòria en les ACOEs de 6º de Medicina (“sense valoració en el curriculum”)(“sense valoració en el curriculum”)
• Fàcil aplicació als objectius propis de l’assignatura: anamnesi, exploraciófísica y proves complementàries
• Disposar de la col.laboració del IES
PROJECTE d’ INNOVACIÓ DOCENT
AVALUACIÓ de les PRÀCTIQUESde
SEMIOLOGIA GENERALi
PROPEDÈUTICA CLÍINICA
Mitjançant tècniques d’Avaluació de laCompetència Clínica (ACC)
1997-1998-1999-20001997-1998-1999-2000
Tercer Curs de MedicinaUD CSUB
UNIVERSITAT DE BARCELONA
Directors del Projecte: X. Ariza (UB), JM Gómez (UB), E. Kronfly (IES)Suport psicométric: S: Juncosa (GAFCC-IES)Col.laboradors: Tx. Arbizu, P.F: Viladrich, J: Mañá, F. Mitjavila, JM: Nolla, J: Roca, A: Vidaller
VALOR PORCENTUAL dels DIFERENTS COMPONENTS COMPETENCIALS
Prova pràctica “SGPC” (Unitat Docent Bellvitge 1997-2000)
VALOR PORCENTUAL dels DIFERENTS COMPONENTS COMPETENCIALS
Prova pràctica “SGPC” (Unitat Docent Bellvitge 1997-2000)
65%70%
64%
60%
70%
80%
90%
100%
Valo
r p
orc
entu
al
50%
17%25%22%
35%
10%13%14%15%
0%
10%
20%
30%
40%
50%
60%
1997 1998 1999 2000
Valo
r p
orc
entu
al
Anamnesis Expl.Física P. Complementarias
NOTES PROVA PRÀCTICA i TEÒRICA “SGPC”Unitat Docent Bellvitge 1997-2000
NOTES PROVA PRÀCTICA i TEÒRICA “SGPC”Unitat Docent Bellvitge 1997-2000
60
70
80
90
100
Nota
Pru
eba p
ráct
ica
60
70
80
90
100
Nota
Pru
eba t
eóri
ca
0
10
20
30
40
50
60
1997 1998 1999 2000
Nota
Pru
eba p
ráct
ica
Media Máxima Mínima
0
10
20
30
40
50
60
1997 1998 1999 2000N
ota
Pru
eba t
eóri
ca
Media Máxima Mínima
COMPARACIÓ MITJANA de les NOTES PROVA PRÀCTICA i TEÒRICA “SGPC”
Unitat Docent de Bellvitge 1997-2000
COMPARACIÓ MITJANA de les NOTES PROVA PRÀCTICA i TEÒRICA “SGPC”
Unitat Docent de Bellvitge 1997-2000
65,3
80,5
68
89,9
70
80
90
100
Práctica Teórica
65,3
48,2
29,4
0
10
20
30
40
50
60
70
Media Máxima Mínima
RECODIFICACIÓ SUSPENSOS NP SEGONS NOTA TEÒRICA (S / A) “SGPC”
Unitat Docent Bellvitge 1997-2000
RECODIFICACIÓ SUSPENSOS NP SEGONS NOTA TEÒRICA (S / A) “SGPC”
Unitat Docent Bellvitge 1997-2000
33,335
40
45
50
Suspenso NP global Suspenso NP (SNT) Suspenso NP (ANT)
17,9
7,25
21,4
26,3
17,4
33,3
15,3
19
3,3
0
5
10
15
20
25
30
35
1997 1998 1999 2000
% S
usp
en
sos
ACOE RESULTATS 2014/15CORRELACIÓ amb AVALUACIÓ CONEIXEMENTS (N – F)
El resultat d’aquesta prova ha estat rho=0.216 (p=0.047<0.05).Per tant existeix una relació positiva baixa entre les dues variables.
ACOEs de SEMIOLOGIA. CAMPUS BELLVITGE• Inici: curs 1995/96• Valor: 60% de l’examen pràctic• Alumnes examinats: 1.600
• Punts dèbils:• Manca de feed-back• Cost• Poder de discriminació baix• Seguretat ?
• Punts forts:• Estandardització• Validesa• Reproductibilitat• Practicabilitat
- Fe possible pes nota pràctica – 50%- Reforç de l’aprenentatge pràctic
Algunes reflexions respecte la seva aplicació
• ¿Sistema de mesura adequat als objectius docents?– Ha de garantir-se el procés docent pràctic– Disseny elaborat i rigorós de casos i items
• ¿Quina hauria de ser la correlació idònia amb la Nota Teòrica?• ¿Es pot aconseguir una major discriminació en la valoració del nivell
d’aprenentatge pràctic dels alumnes de Semiologia?• Respecto del sistema clàssic – pacients reals
– ¿es negatiu l’aspecte d’irrealitat?– La seva objectivitat podria ser major– Es econòmicament molt costós
OBJECTIUS I PERSPECTIVES ACTUALS i de FUTUR
OBJECTIUS I PERSPECTIVES ACTUALS i de FUTUR
• ACOEs Pràctiques Tutelades 6º curs Grau Medicina –Facultat de Medicina i Ciències de la Salut (GM-FMCS) i resta Facultats de Medicina de Catalunya CAMPUS de BELLVITGE
• ACOEs Semiologia General • ACOEs Semiologia General 3º curs (GM-FMCS) –seguiment, millora, innovació de la prova
• Possible implementació-aplicació del sistema a altres assignatures o ensenyament- COMISSIÓ INNOVACIÓ DOCENT CAMPUS de BELLVITGE