Dokument: Discrete-Option Multiple-Choice: Evaluating the Psychometric Properties of a New Method of Knowledge Assessment

Titel:	Discrete-Option Multiple-Choice: Evaluating the Psychometric Properties of a New Method of Knowledge Assessment
Weiterer Titel:	Discrete-Option Multiple-Choice: Überprüfung der psychometrischen Eigenschaften eines neuen Verfahrens zur Wissensdiagnostik
URL für Lesezeichen:	https://docserv.uni-duesseldorf.de/servlets/DocumentServlet?id=27633
URN (NBN):	urn:nbn:de:hbz:061-20131113-093502-8
Kollektion:	Dissertationen
Sprache:	Englisch
Dokumententyp:	Wissenschaftliche Abschlussarbeiten » Dissertation
Medientyp:	Text
Autor:	Willing, Sonja [Autor]
Dateien:	[Dateien anzeigen] Adobe PDF [Details] 1,26 MB in einer Datei [ZIP-Datei erzeugen] Dateien vom 09.11.2013 / geändert 09.11.2013
Beitragende:	Prof. Dr. Musch, Jochen [Gutachter] Prof. Dr. Bayen, Ute J. [Gutachter]
Stichwörter:	discrete-option multiple-choice, multiple-choice, sequential item presentation, testwiseness, reliability, validity
Dewey Dezimal-Klassifikation:	100 Philosophie und Psychologie » 150 Psychologie
Beschreibungen:	Das Multiple-Choice (MC) Verfahren ist die am weitesten verbreitete Methode der Wissensdiagnostik. Kürzlich ist Discrete-Option Multiple-Choice (DOMC) als ein computerbasiertes alternatives Antwortformat vorgeschlagen worden (Foster & Miller, 2009). Es beruht auf einer sequentiellen anstelle der simultanen Präsentation der Antwortoptionen und weist deshalb Ähnlichkeit zur Durchführung von polizeilichen sequentiellen Gegenüberstellungen auf. Im Bereich der Wissensdiagnostik diskutierten Foster und Miller (2009) mehrere mögliche Vorteile dieses neuen sequentiellen Antwortformats. Infolge der Implementation von Abbruchkriterien könnte DOMC durch den Verzicht auf die Präsentation eines Teils der Antwortoptionen die Testzeit reduzieren und somit die Testökonomie verbessern. Dies käme potentiell auch dem Testschutz zugute. Darüber hinaus könnte DOMC besser als MC geeignet sein, die Anwendung von Testwiseness (dt. „Testschläue“) zu kontrollieren. Testwiseness ist definiert als die Verwendung metakognitiver Antwortstrategien, mit deren Hilfe die Lösung auch ohne inhaltliches Wissen alleine durch die Identifikation eines durch den Vergleich aller Antwortoptionen erschließbaren Hinweises auf die richtige Lösung zu identifizieren ist (Gibb, 1964). Testwiseness beeinträchtigt die Konstruktvalidität von MC-Tests (Haladyna & Downing, 2004); dennoch sind in vielen MC-Tests unbeabsichtigte Hinweise auf die richtige Lösung enthalten (Brozo, Schmelzer & Spires, 1984). Die Mehrzahl der Testwiseness-Strategien erfordert den simultanen Vergleich aller Antwortoptionen (Millman, Bishop & Ebel, 1965). Unter Verwendung von DOMC werden die Antwortoptionen jedoch einzeln nacheinander präsentiert, weshalb DOMC möglicherweise die Identifikation und Anwendung von Hinweisen auf die richtige Lösung zu verhindern vermag. Wenn konstruktirrelevante Varianz in Form von Testwiseness zur Identifikation von Lösungshinweisen reduziert wird, kann DOMC die Reliabilität und Validität möglicherweise verbessern. Deshalb überrascht es, dass die psychometrischen Eigenschaften von DOMC Items bislang nicht systematisch untersucht wurden. Den möglichen Vorteilen des neuen Verfahrens stehen nämlich auch eine Reihe potentieller Nachteile gegenüber, die möglicherweise mit einer reliablen und konstruktvaliden Messung nicht vereinbar sind. Zu den möglichen Nachteilen eines sequentiellen Antwortformats gehört, dass potentiell konstruktirrelevante Varianz in Folge der seriellen Position der Lösung und attraktiver Distraktoren entsteht. Bislang wurden solche möglichen seriellen Positionseffekte jedoch nicht untersucht. In einer Experimentreihe mit insgesamt 4911 Probanden wurden daher die psychometrischen Eigenschaften von DOMC Items systematisch geprüft. Das Ziel war eine experimentell gestützte Antwort auf die Frage, ob die psychometrischen Eigenschaften von Items durch eine sequentielle Präsentation der Antwortoptionen verbessert werden können, und ob etwaige Vorteile des DOMC-Verfahrens seine möglichen Nachteile überwiegen. Die Ergebnisse zeigen, dass ein DOMC-Test die testwisenessbasierte Nutzung von Lösungshinweisen besser zu kontrollieren vermochte als ein MC-Test (Experiment 1). In einem für die Fortbildung von Medizinern entwickelten „Continuing Medical Education“-Test, der für die Anwendbarkeit von Testwiseness aufgrund der enthaltenen Lösungshinweise kritisiert wurde (Rotthoff, Fahron, Baehring & Scherbaum, 2008), vermochte das DOMC-Verfahren die Anwendung von Testwiseness besser zu kontrollieren als ein MC-Test (Experiment 2a). Dies war auch der Fall, wenn die Probanden nicht über das Vorhandensein von Lösungshinweisen vorab informiert wurden (Experiment 2b) und war nicht auf Teilnehmer ohne medizinischen Hintergrund beschränkt (Experimente 2a und 2b), sondern konnte auch für Mediziner als unmittelbare Zielgruppe nachgewiesen werden (Experiment 2c). Insgesamt konnte somit gezeigt werden, dass ein DOMC-Test eine bessere Kontrolle von Testwiseness ermöglicht als ein MC-Test. Infolge der Abbruchkriterien reduziert DOMC die Anzahl der Antwortoptionen, die je Item präsentiert werden und die für einen Vergleich der Antwortoptionen und zur Identifikation möglicher Lösungshinweise zur Verfügung stehen (Experimente 1 und 2). Dies führte zu einer Reduktion der Testzeit (Experimente 1 und 2). Diesen Vorteilen standen jedoch serielle Positionseffekte gegenüber, wie sich in einem weiteren Experiment zeigte. Für dieses wurde zunächst in insgesamt acht Validierungsstudien ein Test zur Erfassung von Politikwissen entwickelt; dieses bildet eine unverzichtbare Voraussetzung für die kompetente Teilhabe am öffentlichen Leben (Popkin & Dimock, 1999), es gab bislang hierfür jedoch noch kein validiertes Testverfahren. Die sequentielle Präsentation der Antwortoptionen erhöhte bei einem Politikwissenstest die Itemschwierigkeit, je später die Lösung präsentiert wurde und wenn vor der Lösung der attraktivste Distraktor präsentiert wurde (Experiment 3). Unter Verwendung von MC war dieser Effekt vernachlässigbar; unter Verwendung von DOMC wies er hingegen eine mittle Effektstärke auf. Dennoch erlaubte die Anwendung des DOMC-Verfahrens konstruktvalide Messungen; das sequentielle Antwortformat wies im Vergleich zum MC-Format eine vergleichbare Reliabilität und Validität auf (Experiment 3). In einer Befragung hielten Probanden eine sequentielle Antwortpräsentation für besser geeignet zur Erfassung von Faktenwissen und zur Förderung eines tieferen Lernverständnisses (Experiment 3), präferierten jedoch das MC-Format und bewerteten DOMC-Items als schwerer im Vergleich zu MC-Items. Insgesamt vermochte das sequentielle DOMC-Verfahren die psychometrischen Eigenschaften von Tests nach dem Antwortwahlverfahren zwar nicht zu verbessern, es wies jedoch eine vergleichbare Reliabilität und Validität wie das MC-Verfahren auf und stellt deshalb aufgrund seiner spezifischen Vorteile eine interessante Alternative zu MC-Tests dar. Multiple-choice (MC) tests are currently the most popular test format for the assessment of knowledge. Foster and Miller (2009) recently proposed the discrete-option multiple-choice (DOMC) format as an alternative computerized test format. DOMC tests are based on a sequential rather than simultaneous presentation of answer options and therefore resemble the conduct of sequential police lineups in eyewitness research. In the domain of knowledge assessment, Foster and Miller (2009) discussed several potential advantages to DOMC testing. DOMC might enhance test economy and test security, since due to item stopping criteria only half of the answer options have to be presented for each item on average. Furthermore, DOMC testing presumably allows for a better control of testwiseness. Testwiseness – that is, the ability to find and to make use of subtle cues to the solution by scrutinizing all available answer options (Gibb, 1964) – threatens the validity of MC tests (Haladyna & Downing, 2004). Unintended cues to the solution are nevertheless present and useful on many MC tests (Brozo, Schmelzer & Spires, 1984). As answer options are presented one at a time in DOMC testing and because the majority of testwiseness strategies require the simultaneous comparison of all answer options (Millman, Bishop & Ebel, 1965), the use of DOMC presumably prevents the use of testwiseness cues. If construct-irrelevant variance due to testwiseness can be reduced, an increase in test reliability and validity may be expected. Surprisingly, the effects of the use of DOMC on the psychometric properties of a test have not yet been tested. However, DOMC testing also has some potential drawbacks that might interfere with reliable and valid measurement. One important potential drawback of DOMC testing is the possibility of serial position effects. The order in which answer options are presented and, in particular, the position of the solution, might be critical and might influence the psychometric quality of a DOMC test. In a series of experiments with a total of 4911 participants, the psychometric properties of DOMC items were therefore systematically evaluated. The main purpose was to examine whether the psychometric properties of test items are improved by a sequential presentation of answer options, and whether the hypothesized benefits of the new sequential answering format outweigh its potential drawbacks. Results show that the DOMC procedure was capable of preventing the use of testwiseness cues better than the traditional MC format (Experiment 1). In addition, DOMC testing also reduced the use of testwiseness cues on a continuing medical education test, which was aimed at developing and maintaining the knowledge of professionals in the medical field and that had been criticized for being susceptible to testwiseness strategies (Rotthoff, Fahron, Baehring & Scherbaum, 2008; Experiment 2a). This result also held when participants were not informed of the presence of testwiseness cues (Experiment 2b), and could be replicated with medical professionals (Experiment 2c) as well as with participants from outside the medical field (Experiments 2a and 2b). DOMC was thus shown to allow for a better control of testwiseness than MC testing. Owing to item stopping criteria, DOMC testing reduced the number of answer options that were presented per item and that were available for comparison when trying to arrive at the correct solution (Experiments 1 and 2). Testing time was thus reduced (Experiments 1 and 2). These advantages, however, are accompanied by serial position effects. This was shown in Experiment 3. For this experiment, a test for the assessment of political knowledge was developed and validated in an additional series of 8 validation studies. Although political knowledge is a necessary requirement for political participation in public life (Popkin & Dimock, 1999), a validated German test for the assessment of political knowledge has been lacking. In Experiment 3, when answer options were presented sequentially for the political knowledge test, item difficulty increased as the serial position of the correct answer increased. Items were also more difficult when the most attractive distractor was presented prior to the correct answer. This effect was small in the MC format and of medium size in the DOMC format. The reliability and validity of a sequential DOMC test were nevertheless comparable to that of a parallel MC test (Experiment 3). Examinees identified MC items as easier and generally indicated a preference for the MC format over the DOMC format; however, they also viewed DOMC tests as superior with regard to the assessment of factual knowledge and as requiring a deeper understanding of the subject area (Experiment 3). Taken together, the psychometric properties of DOMC testing did not surpass but were able to match those of the format hitherto considered to be the most valid for an objective assess¬ment of knowledge. In view of some of its unique new features, the sequential answering format therefore seems to offer a promising alternative to the traditional MC format.
Lizenz:	Urheberrechtsschutz
Fachbereich / Einrichtung:	Mathematisch- Naturwissenschaftliche Fakultät » WE Psychologie » Diagnostik und Differentielle Psychologie
Dokument erstellt am:	13.11.2013
Dateien geändert am:	13.11.2013
Promotionsantrag am:	28.08.2013
Datum der Promotion:	11.10.2013