Dokument: Insights into the human cerebellum’s contribution to reinforcement learning and error processing

Titel:	Insights into the human cerebellum’s contribution to reinforcement learning and error processing
URL für Lesezeichen:	https://docserv.uni-duesseldorf.de/servlets/DocumentServlet?id=66623
URN (NBN):	urn:nbn:de:hbz:061-20240902-110837-4
Kollektion:	Dissertationen
Sprache:	Englisch
Dokumententyp:	Wissenschaftliche Abschlussarbeiten » Dissertation
Medientyp:	Text
Autor:	Berlijn, Adam Michael [Autor]
Dateien:	[Dateien anzeigen] Adobe PDF [Details] 7,26 MB in einer Datei [ZIP-Datei erzeugen] Dateien vom 26.08.2024 / geändert 26.08.2024
Beitragende:	Prof. Dr. Bellebaum, Christian [Gutachter] Prof. Dr. Peterburs, Jutta [Gutachter]
Stichwörter:	cerebellum, reinforcement learning, error processing, prediction error
Dewey Dezimal-Klassifikation:	100 Philosophie und Psychologie » 150 Psychologie
Beschreibungen:	In den letzten Jahrzehnten hat sich die Sichtweise auf das Kleinhirn und seine Bedeutung für das menschliche Verhalten von einer Gehirnregion, die lediglich an der motorischen Kontrolle beteiligt ist, zu einer Region gewandelt, die auch an vielen verschiedenen kognitiven und affektiven Funktionen beteiligt ist (Koziol et al., 2012). Neurophysiologische Befunde zeigten, dass das Kleinhirn mit höheren cerebralen Hirnarealen in reziproken neuronalen Schleifen verbunden ist (Middleton & Strick, 2001), was seinen potenziellen Beitrag zu diesen kognitiven Funktionen unterstreicht. Eine Konzeptualisierung dieser cerebro-cerebellären Interaktion liefert das Vorwärtsmodell (forward model), das davon ausgeht, dass das Kleinhirn nicht nur an der Aktualisierung sensorisch-motorischer Vorhersagen (Wolpert & Miall, 1996; Wolpert et al., 1998), sondern auch an der Aktualisierung von perzeptuellen (O. Baumann et al., 2015) und kognitiven Prozessen (Sokolov et al., 2017) beteiligt ist. Auf der Grundlage des Vorwärtsmodells wurde das Modell der Handlungsüberwachung (performance monitoring) entwickelt, das davon ausgeht, dass das Kleinhirn in unterschiedliche kognitive und affektive Funktionen involviert ist, einschließlich der Verarbeitung von Fehlern und des Lernens aus externalen Feedback-Informationen, welche der Optimierung und Anpassung des Verhaltens dienen (Peterburs & Desmond, 2016). Das Lernen aus Feedback im Sinne von Belohnung und Bestrafung ist eine wichtige Fähigkeit und für Entscheidungsverhalten von entscheidender Bedeutung. Ziel dieser Doktorarbeit war es, die Rolle des Kleinhirns bei der Verarbeitung von Fehlern und dem Verstärkungslernen aus Feedback auf multimodale Weise zu beschreiben. In der ersten Studie wurde ein systematisches Review durchgeführt, um die bestehende Literatur umfassend zu sichten und Studien zu identifizieren, die feedback-basierte Lernaufgaben bei Patient:innen mit Kleinhirnkrankheiten und gesunden Kontrollen verwendeten. Sechsunddreißig Studien wurden einbezogen, und die Ergebnisse zeigten, dass etwa die Hälfte aller Patient:innen relevante Verhaltensänderungen bei verschiedenen Feedback-Lernaufgaben zeigten. Darüber hinaus zeigte das Review, dass eine Studie Hinweise auf Veränderungen im Elektroenzephalographie-Signal (EEG) bei Patient:innen mit Kleinhirnschädigung lieferte. Studien mit funktioneller Magnetresonanztomographie (fMRI) zeigten bei gesunden Proband:innen Aktivierungsmuster im Kleinhirn in verschiedenen Regionen mit konvergierenden Nachweisen im posterolateralen Kleinhirn während der Erwartung/Vorhersage sowie während der Präsentation von leistungsbezogenem Feedback. Die zweite Studie untersuchte die Rolle des Kleinhirns bei der Fehlerverarbeitung, wie sie in dem Modell zur Handlungsüberwachung beschrieben wird. Eine Go/Nogo-Flanker-Aufgabe wurde verwendet, um Fehler zu induzieren, während ein EEG aufgezeichnet und transkranielle Einzelimpuls-Magnetstimulation (spTMS) auf das Kleinhirn und eine extrazerebellare Kontrollregion (Vertex) in zwei verschiedenen Sitzungen appliziert wurde. Die Fehlerraten in der Aufgabe unterschieden sich nicht zwischen den Stimulationsorten, aber die fehlerbezogene Negativität (engl. error-related negativtity, ERN/Ne: Falkenstein et al., 1991; Gehring et al., 1993), eine Komponente des ereigniskorrelierten Potenzials (ERP), war bei Stimulation des Kleinhirns im Vergleich zu Vertex reduziert, was auf einen Beitrag des Kleinhirns zur Fehlerverarbeitung hindeutet. Die dritte Studie untersuchte bei Patient:innen mit Kleinhirndegeneration das Verstärkungslernen und die Verarbeitung bzw. Kodierung von Vorhersagefehlern (engl. prediction Error, PE) in einer feedback-basierten Lernaufgabe, in welcher parallel ein EEG aufgezeichnet wurde. Die ERP-Komponenten feedbackbezogene Negativierung (feedback-related negativity: FRN: Holroyd & Coles, 2002) und P3a/P3b (Polich, 2007) wurden als neuronale/elektrophysiologische Korrelate für Verstärkungslernen analysiert. Zusätzlich wurde eine Magnetresonanztomographie (MRT) durchgeführt, um das Volumen der grauen Substanz (engl. gray matter volume, GMV) des Kleinhirns zu charakterisieren und die Auswirkungen des GMV auf die Lernleistung, FRN und P3a/P3b zu analysieren. Die Ergebnisse zeigten keinen Unterschied in der Lernleistung zwischen Patient:innen und Kontrollen. Für die Auswahl der beiden möglichen Antwortoptionen fand sich eine Reduktion des Wechselverhalten im Verlauf der Aufgabe in allen Proband:innen. Darüber hinaus fehlte die Kodierung des PE in FRN, P3a und P3b bei den Patient:innen, während sie bei den Kontrollen vorhanden war. Des Weiteren ergab die Analyse der GMV einen Verlust in weit verbreiteten Kleinhirnregionen, einschließlich der bilateralen Crus I/ II und der bilateralen Lobuli I-IV im Vergleich zu den Kontrollen. Die multiple Regression für die Patienten zeigte eine negative Korrelation zwischen dem GMV in bilateralen Crus I/ II und der FRN-Amplitude. Zusammenfassend lässt sich sagen, dass die Ergebnisse aller drei Studien die Hypothese stützen, dass das Kleinhirn an Prozessen der Handlungsüberwachung in Bezug auf die Fehlerverarbeitung sowie das Verstärkungslernen und die PE-Verarbeitung beteiligt ist. Zukünftige Forschung muss mithilfe von Studien mit und ohne Patient:innen sowohl in aufgabenbasierten MRT-Studien als auch in Studien mit nicht-invasiver Hirnstimulation weitere Schlüsse ziehen, inwieweit das Kleinhirn an diesen Prozessen beteiligt ist. Over the last decades, the perspective on the cerebellum and its significance for human behavior changed from a brain region exclusively involved in motor control towards a region contributing to many different cognitive and affective functions (Koziol et al., 2014). Research discovered neuronal pathways that connect the cerebellum with higher cerebral brain areas in reciprocal loops (Middleton & Strick, 2001), underlining its potential contribution to these cognitive functions. A conceptualization of this interaction is provided by the forward model which assumes that the cerebellum is not only involved in updating sensorimotor predictions (Wolpert & Miall, 1996; Wolpert et al., 1998) but also in updating of perceptual (O. Baumann et al., 2015) and cognitive processes (Sokolov et al., 2017). Based on the forward model, the model of performance monitoring was developed, which assumes that the cerebellum processes different cognitive and affective functions, including the processing of errors and learning from (external) feedback information, which serve to optimize and adapt behavior (Peterburs & Desmond, 2016). Learning from feedback information in the sense of reward and punishment is therefore an important ability and is crucial for decision-making behavior. This doctoral thesis aimed to characterize the role of the cerebellum in processing errors and in learning from feedback in a multimodal fashion. In the first study, a systematic review was conducted to comprehensively review literature to identify studies using feedback-based learning tasks in patients with cerebellar diseases and healthy controls. Thirty-six studies were included, and results revealed that about half of all patients showed behavioral alterations across different tasks. In addition, the review showed that one study provided alterations in neural responses to feedback as revealed by electroencephalography (EEG) in patients with cerebellar damage. Studies using functional magnetic resonance imaging (fMRI) showed cerebellar activation patterns in different regions in healthy participants with converging evidence in the posterolateral cerebellum for the anticipation and presentation stage of feedback. The second study investigated the role of the cerebellum for error processing as described in the model on performance monitoring. A Go/Nogo Flanker task was used to induce errors wile recording EEG and applying single-pulse transcranial magnetic stimulation (spTMS) on the cerebellum and an extra-cerebellar control region (vertex) in two different sessions. Error rates did not differ between the stimulation sites but the error-related negativity (ERN/Ne: Falkenstein et al., 1991; Gehring et al., 1993), a response-locked event-related potential (ERP) component, was reduced for cerebellar compared to vertex stimulation, thus pointing towards a contribution of the cerebellum in error processing. The third study investigated reinforcement learning and prediction error (PE) processing in patients with cerebellar degeneration by conducting a feedback-based learning task while measuring EEG. The ERP components feedback-related negativity (FRN: Holroyd & Coles, 2002) and P3a/P3b (Polich, 2007) were analyzed as indicators of reinforcement learning. Additionally, MRI was measured to characterize the cerebellum’s gray matter volume (GMV) and to identify potential links between GMV reduction in patients and accuracy, FRN, and P3a/P3b. The results showed no difference in accuracy between patients and controls. For the selection of the two possible response options, a reduction in switching behavior during the course of the task was found in all participants. In addition, coding of the unsigned PE in FRN, P3a and P3b was absent in patients while it was present in controls. Moreover, analysis of the GMV revealed reduction in widespread cerebellar regions including bilateral Crus I/ II and bilateral lobules I-IV compared to controls. Multiple regression analysis demonstrated a negative correlation between the GMV in Crus I/ II and the FRN amplitude. In conclusion, the results gathered from all three studies support the hypothesis that the cerebellum is involved in performance monitoring in terms of error processing as well as reinforcement learning and PE processing when feedback is used for learning. Future research will need to further investigate the extent to which the cerebellum is involved in these processes based on studies with and without patients, both in task-based MRI studies and in studies with non-invasive brain stimulation.
Lizenz:	Dieses Werk ist lizenziert unter einer Creative Commons Namensnennung 4.0 International Lizenz
Fachbereich / Einrichtung:	Mathematisch- Naturwissenschaftliche Fakultät » WE Psychologie » Experimentelle Biologische Psychologie
Dokument erstellt am:	02.09.2024
Dateien geändert am:	02.09.2024
Promotionsantrag am:	27.06.2024
Datum der Promotion:	22.08.2024