A Score Card for Upper GI Endoscopy: Evaluation of Interobserver Variability in Examiners with Various Levels of Experience

Publisher Website
Google Scholar
Abstract
Hintergrund: In den meisten europäischen Ländern wird Kompetenz in der Gastrointestinalen Endoskopie zum größten Teil dadurch erreicht, dass praktische Erfahrungen an Patienten gesammelt werden und weniger anhand von strukturierten Trainingsprogrammen. Mit der Entwicklung von Trainingsmodellen kann jetzt auch systematisches Training zur Verbesserung vielfältiger diagnostischer und interventioneller Techniken in der Endoskopie durchgeführt werden. Über objektive Methoden zur Bewertung der endoskopischen Untersuchung in der Ausbildung ist jedoch wenig bekannt. Deswegen entwickeln wir eine so genannte „Score-Card” für die Ösophago-Gastro-Duodenoskopie (ÖGD) und haben diese bei Endoskopikern mit unterschiedlichen Erfahrungsebenen getestet. Ziel der Studie war es, die Beobachtungsvariationen bei der Beurteilung von „Trainees” zu untersuchen. Methoden: Auf der Basis von Literatur und Expertenmeinungen stimmte eine Expertenrunde von 8 erfahrenen Endoskopikern die Score-Card für die Ösophago-Gastro-Duodenoskopie (ÖGD) ab. Die „Score-Card” beinhaltet die Bewertung der einzelnen Untersuchungsschritte sowie die Zeit, die für die vollständige Durchführung dieser einzelnen Schritte benötigt wurde. Diese „Score-Card” wurde dann weiter überprüft, indem in einer Konferenz 10 Endoskopieexperten 15 anonyme Videoaufnahmen von Endoskopikern bewerteten, die nach der „Score-Card” eine Ösophago-Gastro-Duodenoskopie (ÖGD) an einem Bio-Simulationsmodell (Erlanger Endo-Trainer) durchführten. Je nach Erfahrung, bemessen an der Anzahl der bereits selbstständig durchgeführten Endoskopien, wurden diese 15 Endoskopiker eingeteilt in 4 Gruppen: sehr erfahren, erfahren, wenig Erfahrung, keine Erfahrung. Die Beobachtungsvariabilität wurde getestet für die unterschiedlichen „Score-Card-Parameter” („Kendall’s-Rank-Correlations-Coeffizient” 0,0 - 0,5 schlecht, 0,5 - 1,0 gute Übereinstimmung). Zusätzlich wurde die Korrelation zwischen dem „Score-Card”-Ergebnis und der Erfahrung des Untersuchers analysiert. Ergebnisse: Trotz schlechter Ergebnisse der Beobachtungsvariabilität aller getesteten Parameter (Kendall Coefficient < 0,3) korrelierten die Bewertungsparameter gut, als die unterschiedlichen Erfahrungsebenen der Untersucher mit berücksichtigt wurden (Korrelationscoefficient 0,59-0,89, p < 0,05). Die „Score-Card-Parameter” konnten die unterschiedlichen Stufen der endoskopischen Erfahrung zeigen. Schlussfolgerung: Wie bei einer subjektiven Bewertung erwartet werden konnte, wurde eine Variabilität zwischen den Prüfern deutlich. Die Bewertung nach der „Score-Card” war aber doch imstande, eine zuverlässige Unterscheidung zwischen den unterschiedlichen Erfahrungsebenen zu treffen im Sinne einer guten Übereinstimmung der Beurteilung. Die Score-Card eignet sich daher, um an einem Bio-Simulationsmodell (Erlanger Endo-Trainer) den Trainingstatus zu erheben und zum anderen auch, um Lernkurven zu erfassen. Insgesamt kann dieses Bewertungssystem zur Qualitätssicherung in der endoskopischen Ausbildung beitragen. Background: In most European countries, training in GI endoscopy has largely been based on hands-on acquisition of experience in patients rather than on a structured training programme. With the development of training models systematic hands-on training in a variety of diagnostic and therapeutic endoscopy techniques was achieved. Little, however, is known about methods of objectively assessing trainees’ performance. We therefore developed an assessment ‘score card’ for upper GI endoscopy and tested it in endoscopists with various levels of experience. The aim of the study was therefore to assess interobserver variations in the evaluation of trainees. Methods: On the basis of textbook and expert opinions a consensus group of eight experienced endoscopists developed a score card for diagnostic upper GI endoscopy with biopsy. The score card includes an assessment of the single steps of the procedure as well as of the times needed to complete each step. This score card was then evaluated in a further conference including ten experts who blindly assessed videotapes of 15 endoscopists performing upper GI endoscopy in a training bio-simulation model (the ‘Erlangen Endo-Trainer’). On the basis of their previous experience (i. e. the number of endoscopies performed) these 15 endoscopists were classified into four groups: very experienced, experienced, having some experience and inexperienced. Interobserver variability (IOV) was tested for the various score card parameters (Kendall’s rank-correlation coefficient 0.0-0.5 poor, 0.5-1.0 good agreement). In addition, the correlation between the score card assessment and the examiners’ experience levels was analysed. Results: Despite poor IOV results for all the parameters tested (Kendall coefficient < 0.3), the assessment parameters correlated well when the examiners’ different experience levels were taken into account (correlation coefficient 0.59-0.89, p < 0.05). The score card parameters were suitable for differentiating between the four groups of examiners with different levels of endoscopic experience. Conclusions: As expected with scores involving subjective assessment of performance, the variability between reviewers was substantial. Nevertheless, the assessment score was capable of distinguishing reliably between different experience levels in terms of a good individual observer...

This publication has 0 references indexed in Scilit: