Dokument: On how testwiseness and acceptance reluctance influence the validity of sequential knowledge tests

Titel:	On how testwiseness and acceptance reluctance influence the validity of sequential knowledge tests
Weiterer Titel:	Zum Einfluss von Testschläue und Festlegungszögern auf die Validität sequentieller Wissenstestungen
URL für Lesezeichen:	https://docserv.uni-duesseldorf.de/servlets/DocumentServlet?id=46569
URN (NBN):	urn:nbn:de:hbz:061-20180725-112832-0
Kollektion:	Dissertationen
Sprache:	Englisch
Dokumententyp:	Wissenschaftliche Abschlussarbeiten » Dissertation
Medientyp:	Text
Autor:	Papenberg, Martin [Autor]
Dateien:	[Dateien anzeigen] Adobe PDF [Details] 1,91 MB in einer Datei [ZIP-Datei erzeugen] Dateien vom 20.07.2018 / geändert 20.07.2018
Beitragende:	Prof. Dr. Musch, Jochen [Gutachter] Prof. Dr. Buchner, Axel [Gutachter]
Dewey Dezimal-Klassifikation:	100 Philosophie und Psychologie » 150 Psychologie
Beschreibungen:	Multiple-choice tests are widely used to assess cognitive ability, scholastic achievement and knowledge. A multiple-choice (MC) item consists of a question stem that is shown along with the correct answer and one or several distractors. From among these response options, test-takers have to identify the solution. Test scores derived from MC tests have been shown to satisfy high psychometric standards if guidelines for good item writing are followed. However, investigations of MC tests in practice revealed a high prevalence of flawed item writing. By comparing the response options that are shown simultaneously, testwise test-takers can capitalize on such flaws to increase their test scores, making MC tests biased against less testwise test-takers. As a consequence, MC test scores may contain construct-irrelevant variance due to individual differences in testwiseness. Discrete-option multiple-choice (DOMC) testing has been proposed as a means to reduce such construct-irrelevant variance. In DOMC items, the question stem is presented together with only one response option at a time; additional options are shown only after the correctness of the present option has been assessed in a yes/no decision. Thus, response options are presented sequentially rather than simultaneously, precluding the possibility to compare the relative plausibility of all alternatives. Previous investigations indicated that DOMC testing makes items more difficult, reduces the number of response options that have to be shown, and reduces testing time as compared to traditional MC testing. The present thesis expands the yet small body of research on the DOMC test format. First, it is shown that DOMC is capable of reducing the effectiveness of testwiseness strategies, as indicated by the observation that the gap between DOMC and MC test scores increases as the level of testwiseness increases. Next, by experimentally establishing different levels of knowledge, we find that MC and DOMC test scores are equally capable of representing known ability levels, suggesting that MC and DOMC test scores are equally valid. In exploratory analyses, we also find that DOMC test-takers very rarely select the correct answer when they have no knowledge. This gives surprising evidence to the notion that DOMC testing reduces test-takers’ chances to randomly guess a solution. The remaining part of this thesis proposes and investigates a new model of response behavior in sequential tests (MORBIST). On the basis of signal detection theory, MORBIST describes the processes that lead to DOMC item responses. Simulations based on MORBIST predict that DOMC test scores do not only depend on test-takers’ ability, but also on their knowledge-independent individual preference to choose late rather than early response options in DOMC items. We first demonstrate the existence of such individual differences in acceptance reluctance in a correlational investigation. Acceptance reluctance is thereby identified as an important cognitive trait in the domain of sequential knowledge tests. Consistent with MORBIST’s prediction, the results of the correlational study also show that higher acceptance reluctance is related to better test scores in a DOMC knowledge test. Additional evidence of MORBIST’s usefulness is obtained by reproducing several known properties of the DOMC test format in a computer simulation. In a concluding experimental study, we establish low versus high acceptance reluctance using a payoff manipulation. The results confirm that high acceptance reluctance causally leads to increased DOMC test scores. Another computer simulation also shows that MORBIST can adequately reproduce the observed test score gap between high and low acceptance reluctance. Taken together, the present research shows first evidence to the notion that DOMC test scores contain some construct-irrelevant variance. To obtain an integrated judgment on the viability of DOMC testing, this drawback has to be weighed up against the advantages of the DOMC test format that include a reduced susceptibility to testwiseness and random guessing. Zur Erfassung von Wissen, kognitiver Fähigkeit und schulischer Leistung werden häufig Multiple-Choice-Tests verwendet. Eine Multiple-Choice (MC) Aufgabe besteht aus einem Fragestamm, der gemeinsam mit der richtigen Antwort und mindestens einem Distraktor vorgegeben wird. Aus den verschiedenen Antwortoptionen sollen Testnehmer die korrekte Lösung auswählen. Die psychometrischen Eigenschaften von MC-Tests genügen hohen Ansprüchen, wenn anerkannte Richtlinien zum Erstellung der Testaufgaben befolgt werden. Empirische Untersuchungen zeigen jedoch, dass in der Praxis vorkommende Aufgaben oft Mängel aufweisen. Durch den Vergleich aller Antwortoptionen können testschlaue Personen solche Mängel ausnutzen, um ihren Testwert zu verbessern. Aus diesem Grund können individuelle Unterschiede in Testschläue konstrukt-irrelevante Varianz in MC-Punktzahlen erzeugen, was deren Validität gefährdet. Das Discrete-Option Multiple-Choice (DOMC) Verfahren wurde vorgeschlagen, um diese Art konstrukt-irrelevanter Varianz zu reduzieren. In DOMC-Aufgaben wird der Fragestamm nur mit einer einzigen Option vorgegeben; weitere Antwortoptionen folgen erst, nachdem die Korrektheit der vorherigen Optionen bewertet wurde. Die bisherige Forschung konnte zeigen, dass DOMC-Aufgaben im Vergleich zu traditionellen MC-Aufgaben schwieriger sind, die Präsentation von weniger Antwortoptionen erfordern und in kürzerer Zeit bearbeitet werden können. Die vorliegende Dissertation berichtet weiterführende Untersuchungen zu den psychometrischen Eigenschaften des DOMC-Antwortformats. Eine erste Untersuchung zeigt, dass die sequentielle Vorgabe der Antwortoptionen Testnehmer wirksam daran hindert, nur auf der Basis ihrer Testschläue die richtige Lösung zu identifizieren. Dies belegt der Umstand, dass die Differenz von MC- und DOMC-Punktzahlen umso größer ausfällt, je testschlauer Testteilnehmer sind. Danach wird mithilfe einer experimentellen Manipulation des Wissens von Studienteilnehmern gezeigt, dass MC- und DOMC-Punktzahlen bekannte Wissenszustände vergleichbar valide abzubilden vermögen. In einer explorativen Analyse wird außerdem festgestellt, dass DOMC-Testnehmer nur selten zufällig die korrekte Lösung auswählen, wenn sie über kein Wissen verfügen. Der darauffolgende Teil untersucht ein hier neu vorgeschlagenes Modell des Antwortverhaltens in sequentiellen Tests (MORBIST: a model of response behavior in sequential tests). MORBIST beschreibt mithilfe der Signalentdeckungstheorie die Prozesse, die beobachtbaren Antworten in DOMC-Aufgaben vorausgehen. MORBIST sagt vorher, dass das Abschneiden in DOMC-Tests nicht nur von der Fähigkeit der Testnehmer abhängt, sondern auch von ihrer wissensunabhängigen Neigung, eher späte als frühe DOMC-Antwortalternativen zu akzeptieren. Die Existenz derartiger individueller Unterschiede im Festlegungszögern, die in der vorliegenden Arbeit erstmals als für die sequentielle Wissenstestung bedeutsamer kognitiver Trait belegt werden, wird in einer ersten korrelativen Studie gezeigt. In Übereinstimmung mit der Vorhersage von MORBIST zeigt sich darin, dass hohes Festlegungszögern mit höheren DOMC-Punktzahlen einhergeht als niedriges Festlegungszögern. Eine Computersimulation vermag weitere empirische Beobachtungen der korrelativen Untersuchung erfolgreich zu reproduzieren und erbringt dadurch weitere Belege für die Bedeutung des Festlegungszögerns und für die Nützlichkeit von MORBIST. Eine abschließende Studie erzeugt hohes und niedriges Festlegungszögern experimentell durch eine Manipulation der Auszahlungsmatrix. Die Ergebnisse bestätigen, dass hohes Festlegungszögern kausal zu höheren Punktzahlen führt als niedriges Festlegungszögern. In einer weiteren Simulation kann MORBIST die Punktzahldifferenz zwischen Teilnehmern mit hohem und niedrigem Festlegungszögern adäquat reproduzieren. Insgesamt belegen die durchgeführten Untersuchungen, dass DOMC-Testwerte mit konstrukt-irrelevanter Varianz kontaminiert sind. Um die Brauchbarkeit des DOMC-Verfahrens abschließend zu beurteilen, muss dieser Nachteil gegen die empirisch belegten Vorteile des Verfahrens abgewogen werden, zu denen eine bessere Kontrolle von Testschläue und Rateprozessen gehört.
Lizenz:	Urheberrechtsschutz
Fachbereich / Einrichtung:	Mathematisch- Naturwissenschaftliche Fakultät » WE Psychologie » Diagnostik und Differentielle Psychologie
Dokument erstellt am:	25.07.2018
Dateien geändert am:	25.07.2018
Promotionsantrag am:	11.06.2018
Datum der Promotion:	10.07.2018