%0 Journal Article
%T Auswirkungen angeleiteter Itemanalysebesprechungen mit Dozierenden auf die Qualit t von Multiple Choice Pr¨¹fungen [Effect of structured feedback to teachers on the quality of multiple choice examinations]
%A Kropf
%A Roger
%A Krebs
%A Ren¨¦
%A Rogausch
%A Anja
%A Beyeler
%A Christine
%J GMS Zeitschrift f¨¹r Medizinische Ausbildung
%D 2010
%I German Medical Science, D¨¹sseldorf
%R 10.3205/zma000683
%X [english] Background: In order to allow a meaningful interpretation of multiple choice (MC) assessment data, MC examinations have to be highly valid on the one hand and represent a reliable measure on the other. The aim of this study was to evaluate the effect of structured feedback given to teachers by assessment experts on the validity and reliability of subsequent MC examinations. Methods: This feedback was introduced in the 3rd year of undergraduate medical training at the University of Zurich in 2007 and applied to nearly all teachers. Various validity and reliability criteria (relevance of content, taxonomic level, psychometric characteristics) of all end-of-term examinations one year before and one year after this intervention were compared. Other factors such as objectivity and representativeness were kept constant. Results: After the introduction of structured feedback the multiple choice questions revealed a trend toward higher relevance. Taxonomic levels remained unchanged. However, selectivity and reliability coefficients increased significantly and the number of items eliminated from examination scoring due to insufficient psychometric properties decreased. Conclusion: Structured feedback by assessment experts to teachers is a valuable tool for quality improvement of MC examinations, in particular regarding reliability. [german] Hintergrund: Damit Multiple Choice Pr¨¹fungen ¨¹ber die reinen Pr¨¹fungsergebnisse hinausgehende Schlussfolgerungen zulassen, m¨¹ssen sie f¨¹r die jeweiligen Interpretationsabsichten inhaltlich g¨¹ltig sein und hinreichend zuverl ssig messen. Die vorliegende Studie geht der Frage nach, ob von Pr¨¹fungsexperten mit Dozierenden gef¨¹hrte Itemanalysebesprechungen eine Steigerung der Validit t und Reliabilit t nachfolgender Pr¨¹fungen bewirken. Methoden: Diese Itemanalysebesprechungen wurden im dritten Studienjahr Humanmedizin an der Universit t Z¨¹rich 2007 erstmalig fl chendeckend eingef¨¹hrt. Um deren Einfluss auf sp tere Pr¨¹fungen zu untersuchen, wurden die Semesterabschlusspr¨¹fungen vor und nach dieser Intervention hinsichtlich verschiedener Validit ts- und Reliabilit tskriterien (inhaltliche Relevanz, taxonomische Stufe, psychometrische Kennwerte) miteinander verglichen. Andere Bedingungen wie beispielsweise Objektivit t und inhaltliche Repr sentativit t wurden konstant gehalten. Ergebnisse: Nach Einf¨¹hrung der Itemanalysebesprechungen wiesen die Pr¨¹fungsfragen einen Trend zu h herer Relevanz auf. Die taxonomische Einstufung blieb unver ndert. Hingegen stiegen sowohl die Trennsch rfen als auch die Reliabilit tskoeffizienten
%K educational measurement
%K faculty development
%K continuous quality management
%K MCQ
%K assessment
%K Messmethoden in der Lehre
%K Fakult tsentwicklung in der Medizin
%K kontinuierliches Qualit tsmanagement
%K MCQ
%K Assessment
%U http://www.egms.de/static/en/journals/zma/2010-27/zma000683.shtml