Motion in depth

Abstract

This dissertation is about sensing and utilizing various kinds of human body motion, ranging from large-scale limb movements down to subtle respiratory motion of the upper body. One key idea hereby is to simultaneously capture different types of limb and body movements from two inherently different input modalities and to combine that data in a complementary way. The used modalities are a depth camera on the one hand and body-worn inertial measurement units on the other hand. It will be shown how such a complementary sensing approach can be achieved and how it can lead to the emergence of completely new applications that cannot easily be accomplished by the respective modalities on their own. For this, a novel method is proposed that allows the matching of the motion data as obtained from a wearable inertial sensing device and from the pose estimation on a depth camera’s video stream. As a result, this method allows the identification of the person and limb the wearable device is worn on within the depth footage of an observing depth camera in the surroundings. Such an identification allows both modalities to establish a communication channel where person related data can be transmitted to the correct person and device within multi-person scenarios. An exemplary application would be indoor localization in places that use surveillance cameras anyway, for instance in an airport. Here, the position of multiple persons within the field of view of a camera in the surroundings could be tracked and, if a user decides to use this feature and enables it on a wearable device, its position can on demand be transmitted to the correct person and device. To facilitate such applications, furthermore, a novel compression scheme for quaternion-based motion data will be elaborated. It has the purpose to reduce the amount of data to be transmitted in order to reduce energy consumption and to save precious bandwidth. The compression will be achieved by a novel piecewise linear approximation algorithm and relies on the fact that, similar to computer animations, only body postures at key positions, so-called keyframes, need to be stored or transmitted while the overall motion can be interpolated from these. Finally, depth data will thoroughly be evaluated towards its usage for the remote sensing of respiration by measuring the subtle movements of the upper body caused by the elevation of the chest and abdomen during breathing. For this, a novel depthbased algorithm to robustly monitor human respiration from a distance is proposed. This method does not require any physical body contact, works reliably in distances up to 4 meters and, in contrast to available approaches, even works in the presence of occlusions and upper body movements as for instance are introduced while standing and keeping balance. This will be validated by comparing the proposed algorithm to a commercial respiration belt in a validation study. Furthermore, this method as well as the most common state-of-the-art depth-based respiration estimation methods will be compared on a thorough user study where a selection of the most relevant parameters that influence the respiration estimation are evaluated in depth.

Ziel dieser Dissertation ist die Erfassung und Nutzung verschiedener Arten menschlicher Körperbewegungen, welche von ausladenden Bewegungen der Gliedmaßen bis hin zu subtilen Bewegungen des Oberkörpers während der Atmung reichen können. Eine Idee dieser Dissertation hierbei ist es die verschiedenen Körperbewegungen durch zwei inhärent unterschiedliche Eingabemodalitäten gleichzeitig zu erfassen und anschließend in einer sich gegenseitig ergänzenden Weise zu kombinieren. Die verwendeten Eingabemodalitäten sind zum einen eine Tiefenkamera und zum anderen am Körper getragene Inertialsensoren. Es wird gezeigt, wie solch eine sich gegenseitig ergänzende Kombination beider Modalitäten aussieht und wie dies zur Entstehung völlig neuer Anwendungen führen kann, welche durch die jeweiligen Modalitäten allein nicht ohne weiteres erreicht werden könnten. Zu diesem Zweck wird eine neuartige Methode vorgestellt, die es ermöglicht, die Datenströme beider Modalitäten abzugleichen. Als Resultat können sowohl die Person als auch das Körperteil, an dem der Inertialsensor getragen wird, innerhalb eines Tiefenbildes einer in der Umgebung angebrachten Tiefenkamera identifiziert werden. Dies ermöglicht es beiden Modalitäten einen privaten Kommunikationskanal aufzubauen, über den personenbezogene Daten an die richtige Person bzw. das richtige Endgerät selbst in Szenarien mit mehreren Personen übertragen werden können. Eine beispielhafte Anwendung wäre die Positionsbestimmung in Innenräumen. In Umgebungen an denen ohnehin Überwachungskameras zum Einsatz kommen, beispielsweise in einem Flughafen, könnten die Positionen verschiedener Personen im Sichtfeld einer Kamera erfasst und an das jeweils richtige Gerät übermittelt werden, vorausgesetzt der jeweilige Nutzer entscheidet sich dafür und aktiviert diese Funktion auf seinem tragbaren Endgerät. Um derartige Anwendungen zu erleichtern wird weiterhin ein neuartiges Kompressionsverfahren vorgestellt, das für die Komprimierung von auf Quaternionen basierenden Bewegungsdaten konzipiert ist. Dieses dient zur Reduktion der zu übertragenden Datenmenge um damit sowohl den Energieverbrauch als auch die Bandbreitennutzung zu senken. Die Kompression wird durch einen neuartigen Piecewise Linear Approximation-Algorithmus erreicht und beruht auf dem Konzept, dass, ähnlich wie bei Computeranimationen, nur bestimmte Körperstellungen, so genannte Keyframes, gespeichert oder übertragen werden müssen, während die Gesamtbewegung des Körpers aus diesen interpoliert werden kann. Schließlich wird die Verwendung einer Tiefenkamera eingehend zur Messung der menschlichen Atmung aus der Distanz untersucht. Das darunterliegende Prinzip hierbei beruht auf der Erfassung der subtilen Bewegungen des Oberkörpers, die durch das Anheben von Brust und Bauch während der Atmung verursacht werden. Zu diesem Zweck wird ein neuartiger Algorithmus vorgestellt, der eine robuste Messung der menschlichen Atmung unter Verwendung von Tiefendaten erzielen kann. Diese Methode erfordert keinen physischen Körperkontakt, funktioniert zuverlässig aus Entfernungen von bis zu 4 Metern und funktioniert im Gegensatz zu verfügbaren Ansätzen auch bei Verdeckungen und leichten Bewegungen des Oberkörpers, wie sie beispielsweise beim Stehen und Halten des Gleichgewichts auftreten können. Dies wird überprüft indem die vorgestellte Methode in einer Benutzerstudie mit einem kommerziellen Atemgürtel verglichen wird. Darüber hinaus werden diese Methode sowie die gängigsten tiefenbasierten Methoden zur Erfassung der Atmung in einer umfassenden Benutzerstudie verglichen, in der eine Auswahl der wichtigsten Parameter, die die Messung der Atmung aus der Distanz beeinflussen können, eingehend evaluiert werden.