Dokument: Combining Features and Semantics: Advanced Methods for Content-based Retrieval
| Titel: | Combining Features and Semantics: Advanced Methods for Content-based Retrieval | |||||||
| URL für Lesezeichen: | https://docserv.uni-duesseldorf.de/servlets/DocumentServlet?id=12035 | |||||||
| URN (NBN): | urn:nbn:de:hbz:061-20090709-115321-4 | |||||||
| Kollektion: | Dissertationen | |||||||
| Sprache: | Englisch | |||||||
| Dokumententyp: | Wissenschaftliche Abschlussarbeiten » Dissertation | |||||||
| Medientyp: | Text | |||||||
| Autor: | Vompras, Johanna [Autor] | |||||||
| Dateien: |
| |||||||
| Beitragende: | Prof. Dr. Conrad, Stefan [Betreuer/Doktorvater] Prof. Dr. Mauve, Martin [Gutachter] | |||||||
| Stichwörter: | Suche in Multimedia-Datenbanken, Semantische Suche, Anfrageerweiterung, Bildannotation, CBIR, Semantic Gap, Semi-automatic Image Annotation, Relevance Feedback | |||||||
| Dewey Dezimal-Klassifikation: | 000 Informatik, Informationswissenschaft, allgemeine Werke | |||||||
| Beschreibung: | Als 'semantische Lücke' wird der Unterschied zwischen der begrenzten Ausdruckskraft der aus Rohdaten automatisch extrahierbaren low-level Merkmalen und der menschlichen high level Wahrnehmung von Inhalt und Ähnlichkeit bezeichnet. Um diese zu minimieren, ist das Einbringen von semantischem Wissen in moderne inhaltsbasierte (content-based, CBIR) Information Retrieval Systeme unbedingt notwendig. Einen weit verbreiteten Ansatz dazu stellt die inhaltliche Annotation von multimedialen Objekten dar, die diese Daten in semantische Kategorien klassifiziert und somit textuelle oder konzeptuelle Anfragen möglich macht. Obwohl der Ansatz der manuellen Annotation der mit Unsicherheiten behafteten automatischen Annotation gegenübersteht,ist dieser dafür mit einem hohen Aufwand verbunden. Die Nachteile beider Vorgehensweisen könnten jedoch durch einen interaktiven Prozess, der die automatische Berechnung und die semantische Modellierung kombiniert, eliminiert werden. Dazu präsentieren wir mehrere speziell für CBIR Systeme entwickelten Konzepte und Architekturen, um die verschiedenen Ausprägungen der semantischen Lücke abzuschwächen.
Zuerst stellen wir unser Framework für die semi-automatische Annotation von Multimedia-Daten vor, welches auf der automatischen Extraktion von low-level Merkmalen, Relevance Feedback und der Benutzung von Wissen aus Ontologien basiert. Weitere Aspekte der Arbeit behandeln die während des Annotationsprozesses auftretenden Probleme, wie die Existenz von unterschiedlichen Abstraktionsebenen, die Unvollständigkeit der Annotationsdaten oder die zwischen den Benutzern eines Systems variierende Subjektivität. Um die genannten Probleme zu lösen, wird unser System für die Analyse von Annotationen vorgestellt, welches diese in eine graph-basierte Repräsentation überführt und sie somit für den Benutzer nachvollziehbar und durch die gegebenen Inferenz-Funktionen für die Maschine verständlich macht. Um zu vermeiden, dass eine große Benutzerdiversität das Retrievalverhalten eines IR Systems negativ beeinflusst, werden Methoden für das Verstehen und Interpretieren der subjektiven Wahrnehmung der Benutzer benötigt. Dazu wird aufbauend auf unserem Annotations/Retrieval System das GLENARVAN Teilsystem präsentiert, welches für die Kontextberechnung, den Vergleich von Annotationsontologien und die Anfrageerweiterung (query expansion) anhand von Benutzerprofilen zuständig ist. Es werden hierbei zwei Aspekte betrachtet: Zuerst wird die Benutzerdiversität durch eine Menge von Benutzerprofilen und den dazugehörigen Annotationsontologien modelliert und dafür verwendet, Kontextinformation zu extrahieren und somit die Subjektivität der Benutzer abzuschwächen. Der zweite Aspekt beschäftigt sich mit der Frage, wie man trotz verschiedener Sichten auf identische Datenbestände zufriedenstellende Retrievalergebnisse erreichen kann. Als Lösung wird hier ein Query Expansion Algorithmus vorgestellt, der anhand der subjektiven Annotationen die Zuordnungen zwischen der Systemontologie und dem vom Benutzer verwendeten Vokabulars aufdeckt und somit zusätzliche Parameter für eine an den jeweiligen Benutzer angepasste Anfrage liefert. Anschließend stellen wir unsere Methode des Pseudo Relevance Feedbacks für Bilddaten vor, die eine Anpassung der Anfrage (query reformulation) anhand der Feedbackaktivitäten des Benutzers vornimmt. Unser Verfahren eignet sich stark für die Integration in bestehende Web Retrieval Anwendungen, da die Implementierung der beinhalteten Funktionalitäten, wie der Bewertung der Ergebnisse, Relevanzberechnung und die Neuordnung der Ergebnismenge mithilfe von benutzerdefinierten Funktionen (user-defined functions, UDF) realisiert ist. - - - - - In order to reduce the 'semantic gap', which is known as the mismatch between the low-level feature representation and the high-level human perception, the inclusion of semantic knowledge into advanced content-based retrieval systems has become indispensable. One approach to overcome the gap is the manual or automatic assignment of annotations for the description of multimedia objects classifying the data into semantic categories and thus facilitating textual or conceptual queries. Although the manual approach takes away the uncertainty of fully automatic annotation, but in return it requires a high effort. Hence, an interactive combination of the automatic computation and semantic modeling would provide a significant improvement by eliminating the disadvantages of the both approaches. For this purpose, we present several concepts and architectures that are specifically developed to attenuate different manifestations of the semantic gap. At first, we introduce a framework for supporting semi-automatic annotation of multimedia data which is based on the extraction of elementary low-level features, user's relevance feedback, and the usage of ontology knowledge. Further aspects of this work include the encountered problems during the annotation process, like multiple levels of abstraction at which annotations are assigned, incompleteness of annotation data, or differing users' subjectivity. To solve these problems, we introduce the Annotation Analysis Framework which provides a graph-based representation for annotations, encoding their complex structure and making them understandable for the machine by allowing semantic inference. In order to incorporate user diversity which might negatively influence the retrieval behavior, methods for understanding and interpreting the subjective views are needed. Based on our annotation/retrieval framework, we present the GLENARVAN component, which is responsible for context computation, ontology comparison, and query expansion according to users' profiles. Here, we consider two different aspects: First, user diversity is modeled as different user profiles and annotation ontologies which are brought together in order to extract contextual information and thus to attenuate users' subjectivity. The second issue is how to prevent the retrieval process to fail in the case of different views on the data collection. For this purpose, the subjective annotations are used to discover mappings between the user's and the system's conceptual model, which are subsequently applied to infer additional parameters for a user-adapted query. Finally, we propose a Pseudo Relevance Feedback method, which improves the content-based image retrieval by query reformulation. The particular aspect of this method is the fact that the involved functions, like result judgments, relevance computation, and reordering of the results, have been implemented as user-defined functions, making the method highly suitable for web retrieval applications. | |||||||
| Lizenz: |  Urheberrechtsschutz | |||||||
| Fachbereich / Einrichtung: | Mathematisch- Naturwissenschaftliche Fakultät » WE Informatik » Datenbanken und Informationssysteme | |||||||
| Dokument erstellt am: | 09.07.2009 | |||||||
| Dateien geändert am: | 08.07.2009 | |||||||
| Promotionsantrag am: | 28.01.2009 | |||||||
| Datum der Promotion: | 08.07.2009 |
