Dokument: Mechanisms of reinforcement learning and decision making in different environments

Titel:	Mechanisms of reinforcement learning and decision making in different environments
URL für Lesezeichen:	https://docserv.uni-duesseldorf.de/servlets/DocumentServlet?id=68037
URN (NBN):	urn:nbn:de:hbz:061-20250108-105035-4
Kollektion:	Dissertationen
Sprache:	Englisch
Dokumententyp:	Wissenschaftliche Abschlussarbeiten » Dissertation
Medientyp:	Text
Autor:	Kurtenbach, Hannah [Autor]
Dateien:	[Dateien anzeigen] Adobe PDF [Details] 6,08 MB in einer Datei [ZIP-Datei erzeugen] Dateien vom 06.01.2025 / geändert 06.01.2025
Beitragende:	Jocham, Gerhard [Gutachter] Hirschmann, Jan [Gutachter]
Dewey Dezimal-Klassifikation:	100 Philosophie und Psychologie » 150 Psychologie
Beschreibungen:	Seit Jahrhunderten beschäftigt Wissenschaftler die Frage, wie Menschen Entscheidungen treffen. Jedoch kann bei der Klärung der Frage die Entscheidung nicht in Isolation betrachtet werden; die Umwelt, in der die Entscheidungen getroffen werden, muss berücksichtigt werden. Je nach Umwelt, können verschiedene Entscheidungsstrategien verwendet werden und vorteilhaft sein. Wenn zusätzlich relevante Informationen fehlen, um eine Entscheidung zu treffen, spielt auch Lernen durch Ausprobieren eine tragende Rolle im Entscheidungsprozess, da Feedback in zukünftige Entscheidungen integriert werden muss. Der Entscheidungsprozess ist ein sensibles Konstrukt, das, wenn es aus der Balance gerät, häufig mit psychiatrischen Erkrankungen in Verbindung steht. Verantwortlich für die Aufrechterhaltung dieser Balance sind unter anderem Neurotransmitter und Neuromodulatoren. Welche Rolle sie genau in Lernen und Entscheidungsfindung spielen, ist jedoch nicht vollständig geklärt. Diese Dissertation befasst sich mit der Frage, wie Verhalten in Abhängigkeit von der Verlässlichkeit von Informationen und in Abhängigkeit von der Präsenz (oder Absenz) von Feedback angepasst wird. Neben den behavioralen Mechanismen haben wir zudem untersucht, welche Rolle der Neuromodulator Acetylcholin in den Entscheidungs- und Lernprozessen spielt. Hierzu wurden zwei Studien mit gesunden Probanden durchgeführt: In der ersten Studie führten die Probanden zwei Aufgaben nach der Verabreichung des muskarinergen Acetylcholin-Antagonisten Biperiden aus. Ihr Ziel war es, den Gewinn zu maximieren, indem sie sich für eine von zwei Optionen mit verschiedenen Gewinnhöhen und -wahrscheinlichkeiten entschieden. Allerdings waren nur in einer Aufgabe alle relevanten Informationen gegeben, während in der anderen Aufgabe Gewinnwahrscheinlichkeiten erlernt werden mussten und diese über den Verlauf der Aufgabe variierten. In der zweiten Studie führten Probanden eine weitere Aufgabe aus, in der sie die Assoziation zwischen visuellen Stimuli und entsprechenden Aktionen anhand von Feedback lernten, das während des Lernprozesses zeitweise entfernt wurde. Um die Daten zu analysieren, verwendeten wir verschiedene komputationale Modellierungen mit dem Ziel die zugrundeliegenden Strategien und deren Veränderungen über die verschiedenen Bedingungen aufzudecken. Insgesamt zeigen unsere Ergebnisse, dass Entscheidungsstrategien entsprechend der Umwelt angepasst werden. Probanden verließen sich weniger auf Informationen, die mit Unsicherheit behaftet waren. Interessanterweise beeinträchtigte Biperiden die Schätzung unsicherer Optionsattribute, was auf eine maladaptiv erhöhte Lernrate zurückzuführen ist. Zudem fanden wir, dass die Performanz in der Abwesenheit von Feedback verbessert war, dieser Effekt allerdings nur zustande kam, weil Probanden vorsichtiger antworteten, was in diesem Kontext vorteilhaft war. Diese Dissertation trägt zum allgemeinen Verständnis von Entscheidungsstrategien sowie dem Wissensstand über den Effekt von Acetylcholin auf Verhalten bei. For centuries, the question of how humans make decisions has been a subject of scientific research. When addressing the question, however, a decision cannot be considered in isolation; the environment in which decisions are made must be taken into account. Depending on the environment, different decision strategies can be used and be advantageous. If, in addition, relevant information is lacking to form a decision, learning by trial and error also plays a key role in the decision-making process, as feedback must be integrated into future decisions. The decision-making process is a sensitive construct which, when out of balance, is often associated with psychiatric disorders. Neurotransmitters and neuromodulators are, among others, responsible for maintaining this balance. However, their exact role in learning and decision making is not fully understood. This dissertation focuses on the question of how behaviour is adapted depending on the reliability of information and the presence (or absence) of feedback. In addition to the behavioural mechanisms, we also investigated the role of the neuromodulator acetylcholine in decision-making and learning processes. To this end, two studies were conducted with healthy volunteers: In the first study, participants performed two tasks after administration of the muscarinic acetylcholine antagonist biperiden. Their goal was to maximise the gain by choosing one of two options with different reward magnitudes and probabilities. However, only in one task, all the relevant information was given, while in the other task, reward probabilities had to be learnt and these varied over the course of the task. In the second study, participants performed another task in which they learnt the association between visual stimuli and corresponding actions using feedback that was at times removed during the learning process. To analyse the data, we used different computational modelling approaches with the aim of uncovering the underlying strategies and their changes across conditions. Overall, our results show that decision strategies are adapted according to the environment. Participants relied less on information that was associated with uncertainty. Interestingly, biperiden impaired the estimation of uncertain option attributes resulting from maladaptively increased learning rates. In addition, we found that performance improved in the absence of feedback, but this effect only emerged because participants responded more cautiously, which happened to be beneficial in this specific context. This dissertation contributes to the general understanding of decision strategies and the state of knowledge about the effect of acetylcholine on behaviour.
Lizenz:	Dieses Werk ist lizenziert unter einer Creative Commons Namensnennung 4.0 International Lizenz
Fachbereich / Einrichtung:	Mathematisch- Naturwissenschaftliche Fakultät » WE Psychologie
Dokument erstellt am:	08.01.2025
Dateien geändert am:	08.01.2025
Promotionsantrag am:	15.10.2024
Datum der Promotion:	16.12.2024