Evaluering af pensum og fakultet er afgørende for alle videregående uddannelsesinstitutioner, herunder medicinske fakulteter. Studerendes evalueringer af undervisning (SET) tager typisk form af anonyme spørgeskemaer, og selvom de oprindeligt blev udviklet til at evaluere kurser og programmer, er de over tid også blevet brugt til at måle undervisningseffektivitet og efterfølgende træffe vigtige undervisningsrelaterede beslutninger. Lærernes professionelle udvikling. Visse faktorer og bias kan dog påvirke SET-scorer, og undervisningseffektivitet kan ikke måles objektivt. Selvom litteraturen om kursus- og fakultetsevaluering i den generelle videregående uddannelse er veletableret, er der bekymringer om at bruge de samme værktøjer til at evaluere kurser og fakultet i medicinske programmer. Især SET i den generelle videregående uddannelse kan ikke direkte anvendes på pensumdesign og implementering på medicinske fakulteter. Denne gennemgang giver et overblik over, hvordan SET kan forbedres på instrument-, ledelses- og fortolkningsniveau. Derudover påpeger denne artikel, at ved at bruge forskellige metoder såsom peer review, fokusgrupper og selvevaluering til at indsamle og triangulere data fra flere kilder, herunder studerende, peers, programledere og selvbevidsthed, kan et omfattende vurderingssystem konstrueres. Effektiv måling af undervisningseffektivitet, støtte den professionelle udvikling af medicinske undervisere og forbedre kvaliteten af undervisningen inden for medicinsk uddannelse.
Kursus- og programevaluering er en intern kvalitetskontrolproces på alle videregående uddannelsesinstitutioner, herunder medicinske fakulteter. Student Evaluation of Teaching (SET) tager normalt form af et anonymt papir- eller online spørgeskema, der bruger en vurderingsskala såsom en Likert-skala (normalt fem, syv eller højere), der giver folk mulighed for at angive deres enighed eller grad af enighed. Jeg er ikke enig i specifikke udsagn) [1,2,3]. Selvom SET'er oprindeligt blev udviklet til at evaluere kurser og programmer, er de over tid også blevet brugt til at måle undervisningseffektivitet [4, 5, 6]. Undervisningseffektivitet anses for vigtig, fordi det antages, at der er en positiv sammenhæng mellem undervisningseffektivitet og studerendes læring [7]. Selvom litteraturen ikke klart definerer effektiviteten af uddannelse, er den normalt specificeret gennem specifikke karakteristika ved uddannelse, såsom "gruppeinteraktion", "forberedelse og organisering", "feedback til studerende" [8].
Information indhentet fra SET kan give nyttige oplysninger, såsom om der er behov for at justere undervisningsmaterialerne eller undervisningsmetoderne, der anvendes i et bestemt kursus. SET bruges også til at træffe vigtige beslutninger relateret til lærernes professionelle udvikling [4,5,6]. Hensigtsmæssigheden af denne tilgang er dog tvivlsom, når videregående uddannelsesinstitutioner træffer beslutninger vedrørende fakultetet, såsom forfremmelse til højere akademiske rang (ofte forbundet med anciennitet og lønstigninger) og centrale administrative stillinger inden for institutionen [4, 9]. Derudover kræver institutioner ofte, at nye fakultetsmedlemmer inkluderer SET'er fra tidligere institutioner i deres ansøgninger til nye stillinger, hvilket ikke kun påvirker forfremmelser af fakultetet inden for institutionen, men også potentielle nye arbejdsgivere [10].
Selvom litteraturen om læseplaner og lærerevaluering er veletableret inden for almen videregående uddannelse, er dette ikke tilfældet inden for medicin og sundhedspleje [11]. Læreplaner og behov hos læger adskiller sig fra dem inden for almen videregående uddannelse. For eksempel anvendes teamlæring ofte i integrerede medicinske uddannelseskurser. Det betyder, at lægestudiets læseplan består af en række kurser, der undervises af en række fakultetsmedlemmer, der har uddannelse og erfaring inden for forskellige medicinske discipliner. Selvom studerende drager fordel af den dybdegående viden fra eksperter på området under denne struktur, står de ofte over for udfordringen med at tilpasse sig hver enkelt lærers forskellige undervisningsstile [1, 12, 13, 14].
Selvom der er forskelle mellem almen videregående uddannelse og medicinsk uddannelse, bruges den SET, der anvendes i førstnævnte, også undertiden i medicin- og sundhedsuddannelser. Implementering af SET i almen videregående uddannelse stiller dog mange udfordringer med hensyn til pensum og fakultetsevaluering i sundhedsfaglige uddannelser [11]. Især på grund af forskelle i undervisningsmetoder og lærerkvalifikationer inkluderer resultaterne af kursusevalueringer muligvis ikke de studerendes meninger om alle lærere eller klasser. Forskning foretaget af Uytenhaage og O'Neill (2015) [5] antyder, at det kan være upassende at bede studerende om at bedømme alle individuelle lærere ved afslutningen af et kursus, fordi det er næsten umuligt for studerende at huske og kommentere på flere lærerbedømmelseskategorier. Derudover er mange lægeundervisere i medicinsk uddannelse også læger, for hvem undervisning kun er en lille del af deres ansvar [15, 16]. Fordi de primært er involveret i patientpleje og i mange tilfælde forskning, har de ofte lidt tid til at udvikle deres undervisningsevner. Læger bør dog som lærere modtage tid, støtte og konstruktiv feedback fra deres organisationer [16].
Medicinstuderende er typisk meget motiverede og hårdtarbejdende personer, der med succes bliver optaget på lægestudiet (gennem en konkurrencepræget og krævende international proces). Derudover forventes det, at medicinstuderende under lægestudiet tilegner sig en stor mængde viden og udvikler et stort antal færdigheder på kort tid, samt at de klarer komplekse interne og omfattende nationale evalueringer [17,18,19,20]. På grund af de høje standarder, der forventes af medicinstuderende, kan medicinstuderende derfor være mere kritiske og have højere forventninger til undervisning af høj kvalitet end studerende i andre discipliner. Medicinstuderende kan derfor have lavere vurderinger fra deres professorer sammenlignet med studerende i andre discipliner af de ovennævnte årsager. Interessant nok har tidligere undersøgelser vist en positiv sammenhæng mellem studerendes motivation og individuelle lærerevalueringer [21]. Derudover er de fleste lægeuddannelser verden over i løbet af de sidste 20 år blevet vertikalt integreret [22], så de studerende udsættes for klinisk praksis fra de tidligste år af deres program. I løbet af de seneste år er læger således blevet i stigende grad involveret i uddannelsen af medicinstuderende og har selv tidligt i deres uddannelser understreget vigtigheden af at udvikle SET'er, der er skræddersyet til specifikke fakultetsgrupper [22].
På grund af den specifikke karakter af lægeuddannelsen, der er nævnt ovenfor, bør SET-modeller, der anvendes til at evaluere generelle videregående uddannelseskurser undervist af et enkelt fakultetsmedlem, tilpasses til at evaluere den integrerede læseplan og det kliniske fakultet i lægeuddannelserne [14]. Derfor er der behov for at udvikle mere effektive SET-modeller og omfattende vurderingssystemer til mere effektiv anvendelse i lægeuddannelsen.
Den aktuelle gennemgang beskriver de seneste fremskridt inden for brugen af SET i (almen) videregående uddannelse og dens begrænsninger, og skitserer derefter de forskellige behov for SET for medicinske uddannelseskurser og fakultet. Denne gennemgang giver en opdatering om, hvordan SET kan forbedres på instrumentelt, administrativt og fortolkende niveau, og fokuserer på målene om at udvikle effektive SET-modeller og omfattende vurderingssystemer, der effektivt vil måle undervisningens effektivitet, støtte udviklingen af professionelle sundhedsundervisere og forbedre kvaliteten af undervisningen i medicinsk uddannelse.
Dette studie følger Green et al. (2006) [23] for rådgivning og Baumeister (2013) [24] for rådgivning om at skrive narrative anmeldelser. Vi besluttede at skrive en narrativ anmeldelse om dette emne, fordi denne type anmeldelse hjælper med at præsentere et bredt perspektiv på emnet. Da narrative anmeldelser desuden trækker på metodisk forskellige studier, hjælper de med at besvare bredere spørgsmål. Derudover kan narrative kommentarer hjælpe med at stimulere tanker og diskussioner om et emne.
Hvordan anvendes SET i lægeuddannelsen, og hvad er udfordringerne sammenlignet med SET, der anvendes i den almene videregående uddannelse?
Der blev søgt i Pubmed- og ERIC-databaserne ved hjælp af en kombination af søgeordene "student teaching evaluation", "teaching effectiveness", "medical education", "higher education", "curriculum and faculty evaluation" og for Peer Review 2000, logiske operatorer. Artikler udgivet mellem 2021 og 2021. Inklusionskriterier: Inkluderede studier var originale studier eller reviewartikler, og studierne var relevante for områderne under de tre hovedforskningsspørgsmål. Eksklusionskriterier: Studier, der ikke var engelsksprogede, eller studier, hvor artikler i fuldtekst ikke kunne findes, eller som ikke var relevante for de tre hovedforskningsspørgsmål, blev ekskluderet fra det aktuelle reviewdokument. Efter udvælgelse af publikationer blev de organiseret i følgende emner og tilhørende underemner: (a) Brugen af SET i almen videregående uddannelse og dens begrænsninger, (b) Brugen af SET i medicinsk uddannelse og dens relevans for at adressere problemstillinger relateret til sammenligning af SET (c) Forbedring af SET på instrumentelt, ledelsesmæssigt og fortolkende niveau for at udvikle effektive SET-modeller.
Figur 1 viser et flowdiagram over udvalgte artikler, der er inkluderet og diskuteret i denne del af gennemgangen.
SET har traditionelt været anvendt i videregående uddannelser, og emnet er blevet grundigt undersøgt i litteraturen [10, 21]. Imidlertid har et stort antal studier undersøgt deres mange begrænsninger og bestræbelserne på at imødegå disse begrænsninger.
Forskning viser, at der er mange variabler, der påvirker SET-scorer [10, 21, 25, 26]. Derfor er det vigtigt for administratorer og lærere at forstå disse variabler, når de fortolker og bruger data. Næste afsnit giver en kort oversigt over disse variabler. Figur 2 viser nogle af de faktorer, der påvirker SET-scorer, som er beskrevet i de følgende afsnit.
I de senere år er brugen af online-kit steget sammenlignet med papirkit. Litteraturen tyder dog på, at online SET kan gennemføres uden at de studerende skal bruge den nødvendige opmærksomhed på gennemførelsesprocessen. I en interessant undersøgelse foretaget af Uitdehaage og O'Neill [5] blev ikke-eksisterende lærere føjet til SET'et, og mange studerende gav feedback [5]. Desuden tyder litteraturen på, at studerende ofte mener, at gennemførelse af SET ikke fører til forbedrede uddannelsesmæssige resultater, hvilket, kombineret med medicinstuderendes travle tidsplan, kan resultere i lavere svarprocenter [27]. Selvom forskning viser, at de studerendes, der tager testen, ikke adskiller sig fra hele gruppens, kan lave svarprocenter stadig føre til, at lærerne tager resultaterne mindre alvorligt [28].
De fleste online SET'er udfyldes anonymt. Ideen er at give de studerende mulighed for at udtrykke deres meninger frit uden antagelsen om, at deres udtryk vil have nogen indflydelse på deres fremtidige forhold til lærerne. I Alfonso et al.s undersøgelse [29] brugte forskere anonyme vurderinger og vurderinger, hvor vurderere skulle oplyse deres navne (offentlige vurderinger), til at evaluere undervisningseffektiviteten af lægefakultetet udført af speciallæger og medicinstuderende. Resultaterne viste, at lærerne generelt scorede lavere på de anonyme vurderinger. Forfatterne argumenterer for, at de studerende er mere ærlige i anonyme vurderinger på grund af visse barrierer i åbne vurderinger, såsom beskadigede arbejdsrelationer med deltagende lærere [29]. Det skal dog også bemærkes, at den anonymitet, der ofte er forbundet med online SET, kan føre til, at nogle studerende er respektløse og gengældelsesramte over for underviseren, hvis vurderingsresultaterne ikke opfylder de studerendes forventninger [30]. Forskning viser dog, at de studerende sjældent giver respektløs feedback, og sidstnævnte kan begrænses yderligere ved at lære de studerende at give konstruktiv feedback [30].
Adskillige undersøgelser har vist, at der er en sammenhæng mellem elevernes SET-scorer, deres forventninger til testpræstationer og deres testtilfredshed [10, 21]. For eksempel rapporterede Strobe (2020) [9], at elever belønner lette kurser, og lærere belønner svage karakterer, hvilket kan tilskynde til dårlig undervisning og føre til karakterinflation [9]. I en nylig undersøgelse har Looi et al. (2020) [31] forskere rapporteret, at mere gunstige SET'er er relaterede og lettere at vurdere. Derudover er der foruroligende beviser for, at SET er omvendt relateret til elevernes præstationer i efterfølgende kurser: jo højere vurdering, desto dårligere er elevernes præstationer i efterfølgende kurser. Cornell et al. (2016) [32] gennemførte en undersøgelse for at undersøge, om universitetsstuderende lærte relativt mere af lærere, hvis SET de vurderede højt. Resultaterne viser, at når læring vurderes ved afslutningen af et kursus, bidrager lærere med de højeste vurderinger også til læringen hos flest elever. Men når læring måles ud fra præstationer i efterfølgende relevante kurser, er lærere, der scorer relativt lavt, de mest effektive. Forskerne fremsatte hypotesen om, at det at gøre et kursus mere udfordrende på en produktiv måde kunne sænke karaktererne, men forbedre læringen. Derfor bør studerendes vurderinger ikke være det eneste grundlag for evaluering af undervisning, men bør anerkendes.
Adskillige studier viser, at SET-præstationer påvirkes af selve kurset og dets organisering. Ming og Baozhi [33] fandt i deres studie, at der var signifikante forskelle i SET-scorer blandt studerende i forskellige fag. For eksempel har kliniske naturvidenskaber højere SET-scorer end grundvidenskabelige fag. Forfatterne forklarede, at dette skyldes, at medicinstuderende er interesserede i at blive læger og derfor har en personlig interesse og højere motivation til at deltage mere i kliniske naturvidenskabelige kurser sammenlignet med grundvidenskabelige kurser [33]. Ligesom i tilfældet med valgfag har de studerendes motivation for faget også en positiv effekt på scorerne [21]. Adskillige andre studier understøtter også, at kursustype kan påvirke SET-scorer [10, 21].
Derudover har andre undersøgelser vist, at jo mindre klassestørrelsen er, desto højere niveau af SET opnås af lærerne [10, 33]. En mulig forklaring er, at mindre klassestørrelser øger mulighederne for interaktion mellem lærer og elev. Derudover kan de forhold, hvorunder vurderingen udføres, påvirke resultaterne. For eksempel synes SET-scorer at være påvirket af tidspunktet og dagen, hvor kurset undervises, samt den ugedag, hvor SET-scoren gennemføres (f.eks. har vurderinger udført i weekender en tendens til at resultere i mere positive scorer) end vurderinger udført tidligere på ugen. [10].
Et interessant studie af Hessler et al. sætter også spørgsmålstegn ved effektiviteten af SET. [34]. I dette studie blev der udført et randomiseret kontrolleret forsøg i et kursus i akutmedicin. Medicinstuderende på tredje år blev tilfældigt tildelt enten en kontrolgruppe eller en gruppe, der modtog gratis chokoladekiks (småkagegruppen). Alle grupper blev undervist af de samme lærere, og træningsindholdet og kursusmaterialerne var identiske for begge grupper. Efter kurset blev alle studerende bedt om at gennemføre et sæt. Resultaterne viste, at småkagegruppen vurderede lærerne signifikant bedre end kontrolgruppen, hvilket sætter spørgsmålstegn ved effektiviteten af SET [34].
Litteraturen understøtter også, at køn kan påvirke SET-scorer [35,36,37,38,39,40,41,42,43,44,45,46]. For eksempel har nogle studier vist en sammenhæng mellem studerendes køn og vurderingsresultater: kvindelige studerende scorede højere end mandlige studerende [27]. Det meste bevis bekræfter, at studerende vurderer kvindelige lærere lavere end mandlige lærere [37, 38, 39, 40]. For eksempel viste Boring et al. [38], at både mandlige og kvindelige studerende mente, at mænd var mere vidende og havde stærkere lederevner end kvinder. Det faktum, at køn og stereotyper påvirker SET, understøttes også af MacNell et al. [41], der rapporterede, at studerende i hans undersøgelse vurderede kvindelige lærere lavere end mandlige lærere på forskellige aspekter af undervisning [41]. Desuden fremlagde Morgan et al. [42] bevis for, at kvindelige læger fik lavere undervisningsvurderinger i fire større kliniske rotationer (kirurgi, pædiatri, obstetrik og gynækologi samt intern medicin) sammenlignet med mandlige læger.
I Murray et al.s (2020) undersøgelse [43] rapporterede forskerne, at fakultetets attraktivitet og de studerendes interesse for kurset var forbundet med højere SET-scorer. Omvendt er kursets sværhedsgrad forbundet med lavere SET-scorer. Derudover gav studerende højere SET-scorer til unge, hvide, mandlige humanistiske undervisere og til fakulteter med professorater. Der var ingen korrelationer mellem SET-undervisningsevalueringer og resultater af lærerundersøgelser. Andre undersøgelser bekræfter også den positive indvirkning af lærernes fysiske attraktivitet på vurderingsresultaterne [44].
Clayson et al. (2017) [45] rapporterede, at selvom der er generel enighed om, at SET producerer pålidelige resultater, og at gennemsnit for klasser og lærere er konsistente, er der stadig uoverensstemmelser i de individuelle elevsvar. Sammenfattende indikerer resultaterne af denne vurderingsrapport, at eleverne ikke var enige i det, de blev bedt om at evaluere. Reliabilitetsmål udledt af elevernes evalueringer af undervisningen er utilstrækkelige til at danne grundlag for at fastslå validitet. Derfor kan SET nogle gange give information om elever snarere end lærere.
Sundhedsuddannelses-SET adskiller sig fra traditionel SET, men undervisere bruger ofte de SET, der er tilgængelige i almene videregående uddannelser, i stedet for de SET, der er specifikt for sundhedsprofessionsprogrammer, som er beskrevet i litteraturen. Undersøgelser gennem årene har dog identificeret adskillige problemer.
Jones et al. (1994). [46] gennemførte en undersøgelse for at afklare spørgsmålet om, hvordan man evaluerer lægefakultetet set fra fakultetets og administratorernes perspektiver. Samlet set var de hyppigst nævnte problemer relateret til undervisningsevaluering. De mest almindelige var generelle klager over utilstrækkeligheden af de nuværende præstationsvurderingsmetoder, hvor respondenterne også fremsatte specifikke klager over SET og manglen på anerkendelse af undervisning i akademiske belønningssystemer. Andre rapporterede problemer omfattede inkonsistente evalueringsprocedurer og forfremmelseskriterier på tværs af afdelinger, mangel på regelmæssige evalueringer og manglende kobling af evalueringsresultater til lønninger.
Royal et al. (2018) [11] beskriver nogle af begrænsningerne ved at bruge SET til at evaluere pensum og fakultet i sundhedsfaglige uddannelser i den almene videregående uddannelse. Forskere rapporterer, at SET i den videregående uddannelse står over for forskellige udfordringer, fordi det ikke kan anvendes direkte på pensumdesign og kursusundervisning på lægestudier. Ofte stillede spørgsmål, herunder spørgsmål om underviseren og kurset, kombineres ofte i ét spørgeskema, så studerende ofte har svært ved at skelne mellem dem. Derudover undervises kurser i lægestudier ofte af flere fakultetsmedlemmer. Dette rejser spørgsmål om validitet i betragtning af det potentielt begrænsede antal interaktioner mellem studerende og undervisere, der er vurderet af Royal et al. (2018) [11]. I en undersøgelse af Hwang et al. (2017) [14] undersøgte forskere konceptet om, hvordan retrospektive kursusevalueringer omfattende afspejler de studerendes opfattelser af forskellige underviseres kurser. Deres resultater tyder på, at individualiseret klasseevaluering er nødvendig for at styre tværfaglige kurser inden for en integreret lægestudiepensum.
Uitdehaage og O'Neill (2015) [5] undersøgte, i hvilket omfang medicinstuderende bevidst valgte SET i et tværfagligt klasseværelseskursus. Hvert af de to prækliniske kurser havde en fiktiv underviser. De studerende skal give anonyme vurderinger til alle undervisere (inklusive fiktive undervisere) inden for to uger efter afslutningen af kurset, men kan afvise at evaluere underviseren. Året efter skete det igen, men portrættet af den fiktive underviser var inkluderet. 66 procent af de studerende vurderede den virtuelle underviser uden lighed, men færre studerende (49%) vurderede den virtuelle underviser med lighed til stede. Disse resultater tyder på, at mange medicinstuderende gennemfører SET'er blindt, selv når de ledsages af fotografier, uden nøje overvejelse af, hvem de vurderer, endsige underviserens præstation. Dette hæmmer forbedringen af programkvaliteten og kan være skadeligt for undervisernes akademiske fremskridt. Forskerne foreslår en ramme, der tilbyder en radikalt anderledes tilgang til SET, der aktivt og aktivt engagerer de studerende.
Der er mange andre forskelle i den uddannelsesmæssige læseplan for medicinuddannelser sammenlignet med andre almene videregående uddannelser [11]. Medicinsk uddannelse er, ligesom professionel sundhedsuddannelse, tydeligt fokuseret på udvikling af klart definerede professionelle roller (klinisk praksis). Som følge heraf bliver læseplanerne for medicin- og sundhedsuddannelser mere statiske med begrænsede kursus- og fakultetsvalg. Interessant nok tilbydes medicinuddannelser ofte i et kohorteformat, hvor alle studerende tager det samme kursus på samme tidspunkt hvert semester. Derfor kan tilmelding af et stort antal studerende (normalt n = 100 eller flere) påvirke undervisningsformatet såvel som lærer-studerende-forholdet. Desuden vurderes de psykometriske egenskaber for de fleste instrumenter ikke ved første brug på mange medicinske skoler, og egenskaberne for de fleste instrumenter kan forblive ukendte [11].
Adskillige undersøgelser i løbet af de seneste år har vist, at SET kan forbedres ved at adressere nogle vigtige faktorer, der kan påvirke SET's effektivitet på instrumentelt, administrativt og fortolkende niveau. Figur 3 viser nogle af de trin, der kan bruges til at skabe en effektiv SET-model. De følgende afsnit giver en mere detaljeret beskrivelse.
Forbedre SET på det instrumentelle, ledelsesmæssige og fortolkende niveau for at udvikle effektive SET-modeller.
Som tidligere nævnt bekræfter litteraturen, at kønsbias kan påvirke lærernes evalueringer [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46]. Peterson et al. (2019) [40] gennemførte en undersøgelse, der undersøgte, om elevernes køn påvirkede elevernes reaktioner på indsatser for at mindske bias. I denne undersøgelse blev SET administreret til fire klasser (to undervist af mandlige lærere og to undervist af kvindelige lærere). Inden for hvert kursus blev eleverne tilfældigt tildelt et standardvurderingsværktøj eller det samme værktøj, men med et sprog designet til at reducere kønsbias. Undersøgelsen viste, at elever, der brugte anti-bias vurderingsværktøjer, gav kvindelige lærere signifikant højere SET-scorer end elever, der brugte standardvurderingsværktøjer. Derudover var der ingen forskelle i vurderingen af mandlige lærere mellem de to grupper. Resultaterne af denne undersøgelse er signifikante og demonstrerer, hvordan en relativt simpel sproglig intervention kan reducere kønsbias i elevernes evalueringer af undervisning. Derfor er det god praksis nøje at overveje alle SET'er og bruge sprog til at reducere kønsbias i deres udvikling [40].
For at få brugbare resultater fra enhver SET-undersøgelse er det vigtigt nøje at overveje formålet med vurderingen og formuleringen af spørgsmålene på forhånd. Selvom de fleste SET-undersøgelser tydeligt angiver et afsnit om organisatoriske aspekter af kurset, dvs. "Kursusevaluering", og et afsnit om fakultetet, dvs. "Lærerevaluering", er forskellen i nogle undersøgelser muligvis ikke åbenlys, eller der kan være forvirring blandt studerende om, hvordan hvert af disse områder skal vurderes individuelt. Derfor skal spørgeskemaets design være passende, præcisere de to forskellige dele af spørgeskemaet og gøre de studerende opmærksomme på, hvad der skal vurderes på hvert område. Derudover anbefales pilottestning for at afgøre, om de studerende fortolker spørgsmålene på den tilsigtede måde [24]. I en undersøgelse af Oermann et al. (2018) [26] søgte og syntetiserede forskerne litteratur, der beskrev brugen af SET i en bred vifte af discipliner inden for bachelor- og kandidatuddannelser for at give undervisere vejledning om brugen af SET i sygepleje- og andre sundhedsfaglige programmer. Resultaterne tyder på, at SET-instrumenter bør evalueres før brug, herunder pilottestning af instrumenterne med studerende, der muligvis ikke er i stand til at fortolke SET-instrumentets elementer eller spørgsmål som tilsigtet af underviseren.
Adskillige studier har undersøgt, om SET-styringsmodellen påvirker elevernes engagement.
Daumier et al. (2004) [47] sammenlignede studerendes vurderinger af instruktøruddannelse gennemført i klassen med vurderinger indsamlet online ved at sammenligne antallet af svar og vurderinger. Forskning viser, at onlineundersøgelser typisk har lavere svarprocenter end undersøgelser i klassen. Undersøgelsen viste dog, at onlinevurderinger ikke gav signifikant forskellige gennemsnitskarakterer fra traditionelle klasseundersøgelser.
Der var en rapporteret mangel på tovejskommunikation mellem studerende og lærere under gennemførelsen af online (men ofte trykte) SET'er, hvilket resulterede i manglende mulighed for afklaring. Derfor er betydningen af SET-spørgsmål, kommentarer eller studerendes evalueringer ikke altid klar [48]. Nogle institutioner har adresseret dette problem ved at samle studerende i en time og afsætte et specifikt tidspunkt til at gennemføre SET'en online (anonymt) [49]. I deres undersøgelse afholdt Malone et al. (2018) [49] adskillige møder for at diskutere formålet med SET med studerende, hvem der ville se SET-resultaterne, og hvordan resultaterne ville blive brugt, samt eventuelle andre spørgsmål rejst af studerende. SET udføres på samme måde som en fokusgruppe: den kollektive gruppe besvarer åbne spørgsmål gennem uformel afstemning, debat og afklaring. Svarprocenten var over 70-80%, hvilket gav lærere, administratorer og læseplanudvalg omfattende information [49].
Som nævnt ovenfor rapporterede forskerne i Uitdehaage og O'Neills undersøgelse [5], at de studerende i deres undersøgelse vurderede ikke-eksisterende undervisere. Som tidligere nævnt er dette et almindeligt problem i medicinstudier, hvor hvert kursus kan blive undervist af mange fakultetsmedlemmer, men de studerende husker muligvis ikke, hvem der bidrog til hvert kursus, eller hvad hvert fakultetsmedlem gjorde. Nogle institutioner har adresseret dette problem ved at levere et fotografi af hver underviser, hans/hendes navn og emnet/datoen, der blev præsenteret, for at genopfriske de studerendes hukommelse og undgå problemer, der kompromitterer effektiviteten af SET [49].
Det vigtigste problem forbundet med SET er måske, at lærerne ikke er i stand til korrekt at fortolke kvantitative og kvalitative SET-resultater. Nogle lærere ønsker måske at foretage statistiske sammenligninger på tværs af år, nogle ser måske mindre stigninger/fald i gennemsnitsscorer som meningsfulde ændringer, nogle ønsker at tro på alle undersøgelser, og andre er direkte skeptiske over for enhver undersøgelse [45,50, 51].
Manglende korrekt fortolkning af resultater eller manglende bearbejdning af studerendes feedback kan påvirke lærernes holdning til undervisning. Resultaterne fra Lutovac et al. (2017) [52] Støttende læreruddannelse er nødvendig og gavnlig for at give feedback til studerende. Medicinsk uddannelse har et presserende behov for træning i korrekt fortolkning af SET-resultater. Derfor bør lægefakultetet modtage træning i, hvordan man evaluerer resultater, og de vigtige områder, de bør fokusere på [50, 51].
De beskrevne resultater tyder således på, at SET'er bør designes, administreres og fortolkes omhyggeligt for at sikre, at SET-resultaterne har en meningsfuld indvirkning på alle relevante interessenter, herunder fakultetet, administratorer af lægestudierne og studerende.
På grund af nogle af SET's begrænsninger bør vi fortsat stræbe efter at skabe et omfattende evalueringssystem for at reducere bias i undervisningseffektiviteten og støtte den professionelle udvikling af medicinske undervisere.
En mere fuldstændig forståelse af den kliniske undervisningskvalitet blandt fakulteter kan opnås ved at indsamle og triangulere data fra flere kilder, herunder studerende, kolleger, programadministratorer og fakultetets selvevalueringer [53, 54, 55, 56, 57]. De følgende afsnit beskriver mulige andre værktøjer/metoder, der kan bruges ud over effektiv SET til at hjælpe med at udvikle en mere passende og fuldstændig forståelse af træningseffektivitet (Figur 4).
Metoder, der kan bruges til at udvikle en omfattende model af et system til vurdering af undervisningens effektivitet på et lægestudie.
En fokusgruppe defineres som "en gruppediskussion organiseret for at udforske et specifikt sæt af problemstillinger" [58]. I løbet af de seneste år har lægestudier oprettet fokusgrupper for at indhente kvalitetsfeedback fra studerende og adressere nogle af faldgruberne ved online SET. Disse undersøgelser viser, at fokusgrupper er effektive til at give kvalitetsfeedback og øge studentertilfredsheden [59, 60, 61].
I en undersøgelse foretaget af Brundle et al. [59] implementerede forskerne en proces med studenterevalueringsgrupper, der gjorde det muligt for kursusledere og studerende at diskutere kurser i fokusgrupper. Resultaterne viser, at fokusgruppediskussioner supplerer online evalueringer og øger de studerendes tilfredshed med den samlede kursusevalueringsproces. De studerende værdsætter muligheden for at kommunikere direkte med kursusledere og mener, at denne proces kan bidrage til forbedring af uddannelsen. De følte også, at de var i stand til at forstå kursuslederens synspunkt. Ud over de studerende vurderede kursuslederne også, at fokusgrupper muliggjorde en mere effektiv kommunikation med de studerende [59]. Brugen af fokusgrupper kan således give lægeskolerne en mere fuldstændig forståelse af kvaliteten af hvert kursus og det respektive fakultets undervisningseffektivitet. Det skal dog bemærkes, at fokusgrupperne i sig selv har nogle begrænsninger, såsom at kun et lille antal studerende deltager i dem sammenlignet med det online SET-program, som er tilgængeligt for alle studerende. Derudover kan det være en tidskrævende proces for vejledere og studerende at afholde fokusgrupper for forskellige kurser. Dette udgør betydelige begrænsninger, især for medicinstuderende, der har meget travle skemaer og kan foretage kliniske praktikophold på forskellige geografiske steder. Derudover kræver fokusgrupper et stort antal erfarne facilitatorer. Imidlertid kan inddragelse af fokusgrupper i evalueringsprocessen give mere detaljerede og specifikke oplysninger om træningens effektivitet [48, 59, 60, 61].
Schiekierka-Schwacke et al. (2018) [62] undersøgte studerendes og fakultetsmedlemmers opfattelser af et nyt værktøj til vurdering af fakultetspræstationer og studerendes læringsresultater på to tyske medicinske fakulteter. Der blev gennemført fokusgruppediskussioner og individuelle interviews med fakultetsmedlemmer og medicinstuderende. Lærerne værdsatte den personlige feedback, som vurderingsværktøjet gav, og de studerende rapporterede, at der bør skabes en feedback-loop, herunder mål og konsekvenser, for at fremme rapportering af vurderingsdata. Resultaterne af denne undersøgelse understøtter således vigtigheden af at lukke kommunikationssløjfen med de studerende og informere dem om vurderingsresultaterne.
Peer Review of Teaching (PRT)-programmer er meget vigtige og har været implementeret i de videregående uddannelser i mange år. PRT involverer en samarbejdsproces, hvor undervisning observeres og feedback gives til observatøren for at forbedre undervisningens effektivitet [63]. Derudover kan selvrefleksionsøvelser, strukturerede opfølgende diskussioner og systematisk tildeling af uddannede kolleger bidrage til at forbedre PRT's effektivitet og instituttets undervisningskultur [64]. Disse programmer har angiveligt mange fordele, da de kan hjælpe lærere med at modtage konstruktiv feedback fra ligesindede undervisere, der tidligere har haft lignende vanskeligheder, og kan yde større støtte ved at give nyttige forslag til forbedringer [63]. Desuden kan peer review, når det bruges konstruktivt, forbedre kursusindhold og undervisningsmetoder og støtte medicinske undervisere i at forbedre kvaliteten af deres undervisning [65, 66].
En nylig undersøgelse foretaget af Campbell et al. (2019) [67] viser, at peer support-modellen på arbejdspladsen er en acceptabel og effektiv strategi for lærerudvikling for kliniske sundhedspædagoger. I en anden undersøgelse gennemførte Caygill et al. [68] en undersøgelse, hvor et specialdesignet spørgeskema blev sendt til sundhedspædagoger ved University of Melbourne for at give dem mulighed for at dele deres erfaringer med at bruge PRT. Resultaterne indikerer, at der er en ophobet interesse for PRT blandt medicinske pædagoger, og at det frivillige og informative peer review-format betragtes som en vigtig og værdifuld mulighed for professionel udvikling.
Det er værd at bemærke, at PRT-programmer skal omhyggeligt udformes for at undgå at skabe et fordømmende, "ledelsesmæssigt" miljø, der ofte fører til øget angst blandt observerede lærere [69]. Målet bør derfor være omhyggeligt at udvikle PRT-planer, der vil supplere og fremme skabelsen af et sikkert miljø og give konstruktiv feedback. Derfor er der behov for særlig træning for at uddanne bedømmere, og PRT-programmer bør kun involvere virkelig interesserede og erfarne lærere. Dette er især vigtigt, hvis de oplysninger, der opnås fra PRT'en, bruges i fakultetsafgørelser såsom forfremmelser til højere niveauer, lønstigninger og forfremmelser til vigtige administrative stillinger. Det skal bemærkes, at PRT er tidskrævende og, ligesom fokusgrupper, kræver deltagelse af et stort antal erfarne fakultetsmedlemmer, hvilket gør denne tilgang vanskelig at implementere på medicinske skoler med få ressourcer.
Newman et al. (2019) [70] beskriver strategier, der anvendes før, under og efter træning, observationer, der fremhæver bedste praksis og identificerer løsninger på læringsproblemer. Forskerne gav 12 forslag til anmelderne, herunder: (1) vælg dine ord med omhu; (2) lad observatøren bestemme retningen for diskussionen; (3) hold feedback fortrolig og formateret; (4) hold feedback fortrolig og formateret; Feedback fokuserer på undervisningsevner snarere end den enkelte lærer; (5) Lær dine kolleger at kende (6) Vær hensynsfuld over for dig selv og andre (7) Husk, at pronominer spiller en vigtig rolle i at give feedback, (8) Brug spørgsmål til at belyse undervisningsperspektivet, (10) Etabler processer, tillid og feedback i peerobservationer, (11) gør observation af læring til en win-win-situation, (12) lav en handlingsplan. Forskere undersøger også effekten af bias på observationer, og hvordan processen med at lære, observere og diskutere feedback kan give værdifulde læringsoplevelser for begge parter, hvilket fører til langsigtede partnerskaber og forbedret uddannelseskvalitet. Gomaly et al. (2014) [71] rapporterede, at kvaliteten af effektiv feedback bør omfatte (1) afklaring af opgaven ved at give instruktioner, (2) øget motivation til at opmuntre til større indsats, og (3) modtagerens opfattelse af den som en værdifuld proces, leveret af en pålidelig kilde.
Selvom lægestudiets fakultet modtager feedback på PRT, er det vigtigt at træne fakultetet i, hvordan man fortolker feedback (svarende til anbefalingen om at modtage træning i SET-fortolkning) og at give fakultetet tilstrækkelig tid til konstruktivt at reflektere over den modtagne feedback.
Opslagstidspunkt: 24. november 2023