Tiefenkamera-basierte Hand-Segmentierung zur 3D-Modellierung in Virtual Reality Umgebungen

  • Mit zunehmender Anwendung der Technologien der Virtuellen Realität (VR) in Forschung und Entwicklung zeigt sich, dass die VR eine neue Art und Weise ermöglicht, 3D-Modelle zu visualisieren, sie zu untersuchen oder mit ihnen zu interagieren. Zur Interaktion in aktuellen VR-Systemen werden in der Regel Eingabegeräte wie Flystick [1] oder Daten-handschuh verwendet. Diese Tatsache schränkt den Benutzer häufig in seinen Möglichkeiten ein und eine intuitive Anwendung ist meistens nicht gegeben. Zusätzlich sind die VR-Lösungen für Hand-Tracking sehr kostenintensiv.

    Ziel der Arbeit ist es ein Handverfolgungssystem zum Zwecke der Mensch-Computer-Interaktion für VR Umgebungen zu entwickeln. Neben dem Erkennen und Auswerten von gegebenen Gesten soll eine kontinuierliche Abschätzung der Handpose mit einer möglichst hohen Anzahl von Freiheitsgraden entwickelt werden.
    Diese Arbeit umfasst dabei die folgenden Aspekte und Herausforderungen:
    • Position der Hand im (Tiefen-)Bild erkennen
    • Verfolgung der Hand
    • Segmentierung der Hand
    • Modellbasierte Auswertung der Handpose

    Konkreter Anwendungsfall soll die 3D-Modellierung in Virtual Reality Umgebungen sein: Mit dem entwickelnden Sys-tem soll es möglich sein, grundlegende Operationen der 3D-Modellierung auszuführen. Zu diesen Operationen gehö-ren in erster Linie Translation, Rotation und Skalierung von 3D-Objekten. Idealerweise werden auch Deformationen, Punktmanipulationen sowie Zeigegesten ermöglicht. Nach ausführlicher Recherche soll an vorhandene Ansätze wie [2] und [3] angeknüpft werden und es sollen eigene Algorithmen entwickelt und umgesetzt werden.

    Zielgruppe: Studierende aller Fachrichtungen, insbesondere Informatik.
    Interessen und Kompetenzen:
    • Begeisterung für Virtual Reality und Interesse an der Gebiet „Mensch-Computer-Interaktion“
    • Programmierkenntnisse in C/C++ (Objektorientierte Programmierung)

    [1] http://www.ar-tracking.com/products/interaction-devices/flystick2
    [2] Iason Oikonomidis, N. K., & Argyros, A. (2011). Efficient model-based 3D tracking of hand articulations using Kinect.
    [3] Liang, H., Yuan, J., Thalmann, D., & Zhang, Z. (2013). Model-based hand pose estimation via spatial-temporal hand parsing and 3D fingertip localization.