Dokument: Understanding and Improving Contextualized Word Embeddings for Unsupervised Lexical Ambiguity Resolution

Titel:	Understanding and Improving Contextualized Word Embeddings for Unsupervised Lexical Ambiguity Resolution
URL für Lesezeichen:	https://docserv.uni-duesseldorf.de/servlets/DocumentServlet?id=74294
URN (NBN):	urn:nbn:de:hbz:061-20261023-143113-6
Kollektion:	Dissertationen
Sprache:	Englisch
Dokumententyp:	Wissenschaftliche Abschlussarbeiten » Dissertation
Medientyp:	Text
Autor:	Yavas, Deniz Ekin [Autor]
Dateien:	[Dateien anzeigen] Adobe PDF [Details] 3,30 MB in einer Datei [ZIP-Datei erzeugen] Dateien vom 15.09.2026 / geändert 15.09.2026
Beitragende:	Prof. Dr. Kallmeyer, Laura [Gutachter] Prof. Dr. Crabbé, Benoît [Gutachter]
Dokumententyp (erweitert):	Dissertation
Dewey Dezimal-Klassifikation:	400 Sprache » 410 Linguistik
Beschreibungen:	Abstract Unsupervised lexical ambiguity resolution is an important challenge in Natural Language Processing. While supervised approaches can achieve high performance, they rely on sense inventories and annotated data that are scarce and incomplete, limiting their ability to capture the full complexity of word meaning in real-world language use. Unsupervised approaches have the potential to overcome these limitations by enabling systems that automatically adapt to new domains, languages, and emerging senses. Unsupervised approaches rely on the distributional hypothesis, grouping word instances into senses based on contextual similarity. For this reason, contextualized word embeddings of pre-trained transformer language models are particularly promising representations. Despite their success in supervised settings, however, unsupervised performance with these embeddings remains limited. Since unsupervised approaches rely primarily on the embeddings without using any external resources or annotations, understanding the properties of these embeddings and overcoming their limitations are essential for advancing unsupervised lexical ambiguity resolution. In this thesis, we address this challenge from both theoretical and practical perspectives. We investigate how contextualized word embeddings encode and organize sense information and, based on these theoretical insights, we develop methods to improve their effectiveness for unsupervised lexical ambiguity resolution. We first investigate whether contextualized word embeddings encode sufficient information for resolving complex lexical ambiguity phenomena in supervised settings. To this end, we focus on detecting copredication with inherently polysemous nouns. We show that these embeddings indeed encode sufficient information for this task and that this information transfers cross-lingually in zero-shot settings. We further show that this task is challenging even for human experts, contextualizing the performance of computational models on this task. Next, we diagnose a key source of limited unsupervised performance. We systematically identify which contextual features determine embedding similarity between word instances. Our results show that sense-irrelevant features — such as morphological and syntactic properties of words — have a greater effect on embedding similarity than sense-relevant features, leading to poor unsupervised performance. We address this problem by proposing an adversarial forgetting framework to remove morphological and syntactic features from contextualized word embeddings. Our results show that the resulting feature-invariant embeddings achieve better unsupervised performance than the original model embeddings. Finally, we experiment with incorporating external sense knowledge into the embeddings through fine-tuning. We particularly focus on how topological properties — such as isotropy, uniformity, and sense-alignment — relate to task performance. Furthermore, we compare different fine-tuning methods to examine how they affect embedding space topology. Our results show that isotropy is a critical property alongside sense-alignment for creating successful sense-enhanced embeddings. We further show that different fine-tuning methods achieve different balances among topological properties, leading to differences in task performance. Collectively, our findings reveal that what makes contextualized word embeddings effective for unsupervised lexical ambiguity resolution is more nuanced than whether they encode sufficient information. Their effectiveness also depends on whether irrelevant information introduces noise and on how information is organized in the embedding space. Critically, the identified limitations of the embeddings can be addressed post-pretraining through the methods we propose, without the computational cost of training models from scratch. Overall, this thesis advances our understanding of contextualized word embeddings, particularly regarding the properties that determine their effectiveness in unsupervised tasks. It further contributes methods that address the identified limitations of these embeddings to improve unsupervised performance. Zusammenfassung Die unüberwachte Auflösung lexikalischer Mehrdeutigkeit stellt in der Computerlinguistik eine wichtige Herausforderung in der Computerlinguistik dar. Obwohl überwachte Ansätze hohe Leistungen erzielen können, sind sie auf Bedeutungsinventare und annotierte Daten angewiesen, die nur spärlich vorhanden und unvollständig sind, was ihre Fähigkeit einschränkt, die volle Komplexität von Wortbedeutungen im realen Sprachgebrauch zu erfassen. Unüberwachte Ansätze haben das Potenzial, diese Einschränkungen zu überwinden, indem sie Systeme ermöglichen, die sich automatisch an neue Domänen, Sprachen und neu entstehende Bedeutungen anpassen. Unüberwachte Ansätze stützen sich auf die Distributionshypothese und gruppieren Wortinstanzen anhand kontextueller Ähnlichkeit in Bedeutungsklassen. Aus diesem Grund sind kontextualisierte Worteinbettungen vortrainierter Transformer-Sprachmodelle besonders vielversprechende Repräsentationen. Trotz ihrer Erfolge in überwachten Umgebungen bleibt die unüberwachte Leistung mit diesen Einbettungen jedoch begrenzt. Da unüberwachte Ansätze primär auf den Einbettungen beruhen, ohne externe Ressourcen oder Annotationen zu verwenden, sind das Verständnis der Eigenschaften dieser Einbettungen und die Überwindung ihrer Einschränkungen wesentlich für die Weiterentwicklung der unüberwachten Auflösung lexikalischer Mehrdeutigkeit. In dieser Dissertation begegnen wir dieser Herausforderung sowohl aus theoretischer als auch aus praktischer Perspektive. Wir untersuchen, wie kontextualisierte Worteinbettungen Bedeutungsinformationen kodieren und organisieren, und entwickeln auf Grundlage dieser theoretischen Erkenntnisse Methoden zur Verbesserung ihrer Wirksamkeit für die unüberwachte Auflösung lexikalischer Mehrdeutigkeit. Zunächst untersuchen wir, ob kontextualisierte Worteinbettungen ausreichend Informationen kodieren, um komplexe lexikalische Mehrdeutigkeitsphänomene in überwachten Umgebungen aufzulösen. Zu diesem Zweck konzentrieren wir uns auf die Erkennung von Koprädikation mit inhärent polysemen Nomen. Wir zeigen, dass diese Einbettungen tatsächlich ausreichend Informationen für diese Aufgabe kodieren und dass diese Informationen in Zero-Shot-Szenarien von einer Sprache zur anderen übertragbar sind. Darüber hinaus zeigen wir, dass diese Aufgabe selbst für menschliche Experten anspruchsvoll ist, was die Leistung computergestützter Modelle in einen geeigneten Kontext setzt. Anschließend diagnostizieren wir eine wesentliche Ursache für die begrenzte Leistungsfähigkeit unüberwachter Methoden. Wir identifizieren systematisch, welche kontextuellen Merkmale die Einbettungsähnlichkeit zwischen Wortinstanzen bestimmen. Unsere Ergebnisse zeigen, dass bedeutungsirrelevante Merkmale — wie morphologische und syntaktische Eigenschaften von Wörtern — einen stärkeren Einfluss auf die Einbettungsähnlichkeit haben als bedeutungsrelevante Merkmale, was zu einer schlechten unüberwachten Leistung führt. Wir begegnen diesem Problem durch die Entwicklung eines adversarialen Vergessensframeworks, um morphologische und syntaktische Merkmale aus kontextualisierten Worteinbettungen zu entfernen. Unsere Ergebnisse zeigen, dass die resultierenden merkmalsinvarianten Einbettungen eine bessere unüberwachte Leistung erzielen als die ursprünglichen Modelleinbettungen. Abschließend untersuchen wir die Integration externen Bedeutungswissens in die Einbettungen durch Feinabstimmung. Wir konzentrieren uns dabei insbesondere darauf, wie topologische Eigenschaften — wie Isotropie, Uniformität und Bedeutungsalignierung — mit der Aufgabenleistung zusammenhängen. Darüber hinaus vergleichen wir verschiedene Feinabstimmungsmethoden, um zu untersuchen, wie sie die Topologie des Einbettungsraums beeinflussen. Unsere Ergebnisse zeigen, dass Isotropie neben der Bedeutungsalignierung eine entscheidende Eigenschaft für die erfolgreiche Verbesserung von Einbettungen hinsichtlich lexikalischer Bedeutungen ist. Wir zeigen ferner, dass verschiedene Feinabstimmungsmethoden unterschiedliche Gleichgewichte zwischen topologischen Eigenschaften erreichen, was zu Leistungsunterschieden führt. Insgesamt zeigen unsere Befunde, dass das, was kontextualisierte Worteinbettungen für die unüberwachte Auflösung lexikalischer Mehrdeutigkeit wirksam macht, vielschichtiger ist als die Frage, ob sie ausreichend Informationen kodieren. Ihre Wirksamkeit hängt auch davon ab, ob irrelevante Informationen Rauschen einführen und wie die Informationen im Einbettungsraum organisiert sind. Entscheidend ist, dass die identifizierten Einschränkungen der Einbettungen nach dem Vortraining durch die von uns vorgeschlagenen Methoden behoben werden können, ohne den Rechenaufwand des Trainings von Grund auf. Insgesamt erweitert diese Dissertation unser Verständnis kontextualisierter Worteinbettungen, insbesondere hinsichtlich der Eigenschaften, die ihre Wirksamkeit für unüberwachte Aufgaben bestimmen. Darüber hinaus leistet sie einen methodischen Beitrag zur Behebung der identifizierten Einschränkungen dieser Einbettungen, um die unüberwachte Leistung zu verbessern.
Lizenz:	Dieses Werk ist lizenziert unter einer Creative Commons Namensnennung 4.0 International Lizenz
Fachbereich / Einrichtung:	Philosophische Fakultät » Institut für Sprache und Information » Computerlinguistik
Dokument erstellt am:	23.10.2026
Dateien geändert am:	23.10.2026
Promotionsantrag am:	20.04.2026
Datum der Promotion:	22.06.2026