Dokument: Skalierbare Datenverwaltung in einem auf Zufallsgraphen basierten, verteilten System für interaktive Anwendungen
| Titel: | Skalierbare Datenverwaltung in einem auf Zufallsgraphen basierten, verteilten System für interaktive Anwendungen | |||||||
| Weiterer Titel: | Scalable data management in a randomgraph-based, distributed system for interactive applications | |||||||
| URL für Lesezeichen: | https://docserv.uni-duesseldorf.de/servlets/DocumentServlet?id=40884 | |||||||
| URN (NBN): | urn:nbn:de:hbz:061-20170124-101506-3 | |||||||
| Kollektion: | Dissertationen | |||||||
| Sprache: | Deutsch | |||||||
| Dokumententyp: | Wissenschaftliche Abschlussarbeiten » Dissertation | |||||||
| Medientyp: | Text | |||||||
| Autor: | Barbian, Andreas [Autor] | |||||||
| Dateien: |
| |||||||
| Beitragende: | Prof. Dr. Schöttner, Michael [Gutachter] Jun.-Prof. Dr. Graffi, Kalman [Gutachter] | |||||||
| Dewey Dezimal-Klassifikation: | 000 Informatik, Informationswissenschaft, allgemeine Werke » 004 Datenverarbeitung; Informatik | |||||||
| Beschreibungen: | Im Rahmen dieser Arbeit wurde mit Omentum das erste Peer-to-Peer-System entwickelt, das sich auf virtuelle Mikroskopie fokussiert - als
Beispielanwendung für verteilte interaktive Lernplattformen. Als besondere Herausforderungen sind zum einen die sehr große Datenmenge von rund 50 GB je Datensatz bei mehreren tausend Datensätzen und zum anderen der hohe Grad an Interaktionen zwischen sehr vielen Benutzern zu nennen. Als wichtigste Beiträge dieser Arbeit sind die Entwicklung eines effizienten, unstrukturierten Overlays mit zweistufiger Pfadkompression für optimiertes Routing und einer innovativen Authentifizierungsstrategie im Prinzip einer Single-Sign-On-Strategie anzuführen. Weiterhin ist das neuartige portable User-Space Dateisystem USPFS mit Fokus auf der Speicherung sehr vieler kleiner Dateien bei geringstem Metadatenoverhead von lediglich 0,3% zu nennen. Durch eine effektive Datenaufbereitung konnte eine optimale Partitionierungsstrategie realisiert werden, die gleichzeitig eine Datenanforderung aus multiplen Quellen unterstützt und damit auch in schwachen oder sehr heterogenen Netzwerkumgebungen sehr gute Ergebnisse erzielt. Eine neukonzipierte Bestimmung der verfügbaren Bandbreite mittels passive probing über TCP mit Congestion Control mit einer Messgenauigkeit von 98% erlaubt es nicht nur die Überlastung einzelner Peers zu erkennen, sondern ermächtigt jeden Peer bei anhaltender Belastung aktiv Unterstützung für seine Aufgaben anzufordern. Das neu entwickelte Overlay bietet durch seinen Zufallsgraphen eine effiziente Basis zur Unterstützung komplexer Suchen nach Benutzer-generierten Inhalten durch die Lösung eines reduzierten Rendezvous-Problems wie auch für einen sehr schnellen Lookup einzelner Datensätze über ihre ID. Gleichzeitig besteht durch die äußerst robuste Architektur kein Bedarf an der Änderung von Routing-Tabellen bei einem Ausfall von Knoten. So lässt sich durch die Verknüpfung der Peers untereinander selbst ein Ausfall von 80% der Knoten eines Netzwerks schnell kompensieren ohne den Verwaltungsaufwand der Peers überproportional zu steigern. Das Overlay mit seinen innovativen Aspekten ist mit dem aktuellen Forschungsstand verglichen worden und es konnten für den skizzierten Anwendungsfall sehr gute Ergebnisse in Simulationen mit 10^6 Knoten erzielt werden. In der medizinischen Lehre wird Omentum bereits erfolgreich in curricularen Veranstaltungen an der HHU mit insgesamt mehreren Hundert Benutzern eingesetzt.Within the framework of this dissertation Omentum was developed, the first peer-to-peer-system solely focusing on virtual microscopy as a sample application for a distributed interactive learning platform. The particular challenges are large data volumes of several thousands of datasets (up to 50 GB each) and very high levels of user interaction. The two main contributions of this work are the development of an efficient, unstructured overlay with a two-stage path compression for optimal routing and the innovative advancement of a single-sign-on authentication strategy. In addition, USPFS was established; a novel portable user-space file system for data storage of very small datasets at the lowest metadata overhead possible (0.3%). The implemented partitioning strategy uses an effective data processing method and provides optimal support for data requests from multiple sources and performs very well in weak and highly heterogeneous network environments. Passive probing over TCP with Congestion Control, a newly designed estimation of available bandwidths, achieved $98\%$ measurement accuracy identifying individual peer overload and even more authorizing each peer to actively request assistance for its tasks in case of persisting loads. The random graph of the newly developed overlay forms an efficient support base for complex searches of user-generated content as it solves the reduced rendezvous-problem and at the same time granting very rapid Lookups of single datasets using their ID. Furthermore, the architecture is highly robust and therefore there is no need for the routing tables to be modified, even in case of node failure. Linking the peers amongst themselves, quickly compensates pervasive network failures. Even a 80% node failure is offset without disproportional increase of administrate expenses of the peers. The Omentum overlay with its cutting-edge aspects has been compared to the current state of research and, for the outlined application case, obtained very good results in simulations with 10^6 nodes. Furthermore, Omentum has already been successfully deployed in medical teaching at HHU Dusseldorf with several hundreds of users. | |||||||
| Lizenz: |  Urheberrechtsschutz | |||||||
| Fachbereich / Einrichtung: | Mathematisch- Naturwissenschaftliche Fakultät » WE Informatik » Betriebssysteme | |||||||
| Dokument erstellt am: | 24.01.2017 | |||||||
| Dateien geändert am: | 24.01.2017 | |||||||
| Promotionsantrag am: | 04.11.2016 | |||||||
| Datum der Promotion: | 09.01.2017 |
