Validity and reliability of undergraduate performance assessments in an anesthesia simulator

Publisher Website
Google Scholar
Abstract
Purpose: To examine the validity and reliability of performance assessment of undergraduate students using the anethesia simulator as an evaluation tool. Methods: After ethics approval and informed consent, 135 final year medical students and 5 elective students participated in a videotaped simulator scenario with a Link-Med Patient Simulator (CAE-Link Corporation). Scenarios were based on published educational objectives of the undergraduate curriculum in anesthesia at the University of Toronto. During the simulator sessions, faculty followed a script guiding student interaction with the mannequin. Two faculty independently viewed and evaluated each videotaped performance with a 25-point criterion-based checklist. Means and standard deviations of simulator-based marks were determined and compared with clinical and written evaluations received during the rotation. Internal consistency of the evaluation protocol was determined using inter-item and item-total correlations and correlations of specific simulator items to existing methods of evaluation. Results: Mean reliability estimates for single and average paired assessments were 0.77 and 0.86 respectively. Means of simulator scores were low and there was minimal correlation between the checklist and clinical marks (r=0.13), checklist and written marks (r=0.19) and clinical and written marks (r=0.23). Inter-item and item-total correlations varied widely and correlation between simulator items and existing evaluation tools was low. Conclusions: Simulator checklist scoring demonstrated acceptable reliability. Low correlation between different methods of evaluation may reflect reliability problems with the written and clinical marks, or that different aspects are being tested. The performance assessment demonstrated low internal consistency and further work is required. Objectif: Vérifier la validité et la fiabilité de l’évaluation de la performance des étudiants de médecine à l’aide d’un simulateur d’anesthésie. Méthode: Le comité d’éthique et les participants à l’étude ayant donné leur consentement, 135 étudiants de dernière année en médecine et 5 étudiants choisis ont participé à une simulation vidéo à l’aide du Link-Med Patient Simulator (CAE-Link Corporation). Les scénarios étaient fondés sur les objectifs pédagogiques du programme d’enseignement en anesthéside de l’université de Toronto. Pendant les sessions de simulation, les examinateurs ont utilisé un scénario pour guider les interactions de l’étudiant avec le mannequin. Deux examinateurs ont visionné et évalué indépendamment la performance enregistrée sur chacune des cassettes vidéo selon une liste de 25 critères. Les écarts types et moyens des points accordés selon le simulateur ont été déterminés et comparés avec les évaluations clinique et écrites reçues pendant la rotation. La conformité interne du protocole d’évaluation a été définie à l’aide de corréaltions des éléments entre eux, et des éléments avec l’ensemble, ainsi que des corrélations d’éléments spécifiques du simulateur avec des méthodes existantes d’évaluation. Résultats: Les estimations moyennes de fiabilité pour les évaluations individuelles et appariées moyennes ont été de 0,77 et 0,86 respectivement. Les moyennes des scores au simulateur ont été basses et il n’y a eu qu’une corrélation minimale entre la liste et les rendements cliniques (r=0,13), entre la liste et les évaluations écrites (r=0,19) et entre le rendement clinique et l’examen écrit (r=0,23). Les corrélations des éléments entre eux et des ĺéments avec l’ensemble ont varié fortement et la corrélation entre les unités du simulateur et les outils d’évaluation existant a été faible. Conclusion: La cotation selon les critères liés au simulateur a démontré une fiabilité acceptable. Une faible corrélation entre différentes méthodes d’évaluation peut traduire des problèmes de fiabilité avec les notes obtenues aux examens écrits et cliniques, ou le fait que d’autres aspects sont testés. L’évaluation de la performance a démontré une faible conformité interne et la nécessité d’expérimentation ultérieure.