Lokalisation und Verfolgung von Personen in Echtzeit unter Verwendung kooperierender 2D/3D-Kameras

Abstract

Die grundsätzliche Zielsetzung von intelligenten Systemen zur Überwachung von Innenräumen besteht in der automatisierten Interpretation von Aktionen in dem zu betrachtenden Gebiet. Eine Prämisse hierfür ist die Fähigkeit der Detektion, Lokalisation, Verfolgung und Klassifikation von Objekten im entsprechenden Zielbereich. Entscheidend für die Konzeption eines Überwachungssystems ist weiterhin das primäre Einsatzgebiet. Während für kleine Überwachungsbereiche und unter der Annahme nur weniger gleichzeitig vorhandener Objekte eventuell die Verwendung eines einzelnen Sensorsystems ausreicht, bedarf es im Fall größerer Bereiche, mit mehreren gleichzeitig vorhandenen und zu verfolgenden Objekten, in der Regel einer verteilten und miteinander kooperierenden Sensorik. Ein in letzter Zeit verstärkt verfolgter Ansatz zur Steigerung der Leistung der Prozesse von Detektion, Lokalisation und Klassifikation liegt dabei in der Verwendung einer Kombination von 2D- und 3D-Informationen, welche, je nach Anforderung, auf Pixel-, Merkmal- oder Entscheidungsebene miteinander fusioniert werden. Die Kombination unterschiedlicher Systeme zu 2D/3D-Messsystemen ist jedoch keineswegs trivial. Zunächst bedarf es im Falle der Betrachtung beweglicher Objekte einer zeitlichen Synchronisation der anfallenden Daten. Im Hinblick auf eine effektive Fusion ist weiterhin eine Registrierung der Daten der unterschiedlichen Quellen notwendig. Tritt zusätzlich die Notwendigkeit einer koordinierten Verwendung mehrerer Systeme auf, so kann das aufgrund der sich ergebenden Komplexität in Bezug auf die Handhabung der informationsliefernden Einheiten in einer inakzeptablen Operation des Gesamtsystems münden. Die am Zentrum für Sensorsysteme (ZESS) entwickelte MultiCam, ein zurzeit einmaliges Sensorsystem zur kombinierten Akquisition von CMOS-basierten Intensitäts- (2D) und Time-ofFlight (ToF) basierten Distanzdaten (3D) einer gesamten Szene, erlaubt aufgrund ihres monokularen Aufbaus eine drastische Vereinfachung der Registrierung der 2D- und 3DInformationen. Weiterhin ermöglicht die interne Logik, untergebracht in einem dedizierten FPGA, eine akkurate Synchronisation der unterschiedlichen Informationsströme. Durch die Reduktion der Komplexität der Prozesse der Registrierung sowie Synchronisierung der 2D- und 3D-Daten bietet sich die Möglichkeit der Kombination einer Vielzahl von simultan operierenden MultiCams zu einem Überwachungssystem an, mit im Vergleich zu konventionellen 2D/3D-Systemen drastisch vereinfachter Handhabung. Bedingt durch den Einsatz der ebenfalls am ZESS entwickelten Beleuchtungseinheiten, erlauben die im Rahmen dieser Arbeit verwendeten MultiCams die Überwachung eines Distanzbereichs bis ca. 9 m bei einer Bildwiederholrate von 20 Bildern pro Sekunde. Dieses entspricht einem Entfernungsbereich, der zurzeit von ToF-Systemen vergleichbarer Art nur unter Einsatz erhöhter Integrationszeiten und somit reduzierter Bildwiederholraten abgedeckt werden kann. Weiterhin ergibt sich durch die Verwendung einer Linse mit einer Brennweite von 6mmdie Möglichkeit der Überwachung von Volumina, in denen sich mehrere Personen simultan aufhalten und miteinander interagieren können. In Verbindung mit der vorhandenen Zeitauflösung kann damit der Bewegungsdynamik der Objekte effektiv Rechnung getragen werden. Aufgrund der genannten Eigenschaften eignet sich die MultiCam somit ideal zur Detektion, Lokalisation, Verfolgung und Klassifikation von Objekten in Innenräumen. Durch die Verwendung der Informationen von mehreren, simultan operierenden MultiCams mit verschiedenen Ausrichtungen und einem sich teilweise überlappenden Sichtbereich, lässt sich weiterhin eine direkte Erweiterung des Überwachungsbereichs sowie eine Reduktion durch gegenseitige Objektverdeckungen induzierten Uneindeutigkeiten erreichen und ermöglicht die Erzeugung von Objekttrajektorien mit einem erhöhten Informationsgehalt.

Dem Problem der anfallenden Datenmenge, die durch die Verwendung mehrerer simultan operierender MultiCams entsteht, wird durch den Einsatz eines agentenbasierten verteilten Systems begegnet.

Informationsliefernde Agenten, bestehend aus einer MultiCam mit zugehöriger Prozessierungseinheit, übernehmen die Erzeugung von lokalen Informationen bzw. Features bzgl. der aus ihrer Sicht vorhandenen Objekte und senden diese in Form eines Statusvektors an einen zur Fusion aller Informationen zuständigen Agenten. Weiterhin können aufgrund der gegenseitigen Unabhängigkeit der informationsliefernden Agenten die Daten der vorhandenen MultiCams parallel bearbeitet werden, was eine einfache Skalierung des Gesamtsystems erlaubt.

The fundamental objective of intelligent systems targeted towards surveillance of indoor areas lies in the automated interpretation of actions within the monitored space. One premise therefore is the ability to detect, localize, track and classify objects within the surveyed area In terms of system design, it’s also crucial to incorporate the targeted application area. For the case of surveillance of just relatively small volumes and with the additional assumption that only very few objects are simultaneously present within the detection area, data from a single sensor might be sufficient in order to infer adequate information. Increasing the area to be monitored and also allowing multiple objects to dynamically interact in the space to be surveyed, usually leads to the necessity to apply multiple distributed sensor systems which, in order to generate useful information, have to work together in a cooperative manner. One in recent times increasingly adopted approach in order to increase the performance of detection, localization and classification is to utilize a combination of devices delivering 2D- and 3D-data. Depending on the requirement, fusion of the information is then done on pixel-, feature or decision-level. The combination of different systems in a 2D/3D-measurement device is not trivial, though. In case of taking moving objects into account, there’s a necessity to provide an adequate temporal synchronisation mechanism between the participating devices. With regard to an effective fusion process, the process of registration of the acquired data needs also to be applied. Furthermore, by combining multiple of such 2D/3D-devices into one all encompassing system, the additional need for a coordinated management emerges. Having to cope with all of the aforementioned points might well lead to a system complexity which is intricate to handle and which in turn might result in an unacceptable overall system performance. The at the Center for Sensorsystems (ZESS) developed MultiCam, an at the moment unique sensor system usable to acquire a combination of CMOS-based intensity (2D) and Time-of-Flight (ToF) based distance information (3D) of a complete scene. Due to the monocular set-up, a drastic simplification of the process of image registration of the 2D- and 3D-images is attained. Furthermore, the internal logic, situated in an embedded FPGA, permits an accurate temporal synchronisation of the different information streams. Due to the reduction of the overall complexity of the processes of registration and temporal synchronisation of the 2D- and 3D-data, it is feasible to combine a multitude of simultaneously operating MultiCams to a surveillance system with, in comparison with conventional 2D/3D-systems, a drastic simplification in terms of handling. The additional application of the also at the ZESS developed dedicated MultiCam illumination units enables to supervise an area up to a distance of maximal 9mat a camera frame rate of 20fps. With similar ToF devices, the same distance range can only be achieved by an increase of the sensor integration times and which in turn directly leads to a reduced frame rate. Furthermore, as a result of the utilization of a lens with a focal length of 6mm, it is possible to monitor volumes in which multiple persons can simultaneously be present and also interact with each other. Due to the available temporal resolution, one can account for the dynamic behaviour of the objects effectively. As a results of all of the aforementioned properties, the MultiCam is ideally suited for the detection, localization, tracking and classification of objects in indoor areas. Through the combination of multiple simultaneously operating MultiCams with different orientations and partially overlapping field of views, it is possible to directly extend the surveyed area and also reduce the amount of mutual object occlusion. This directly leads to the generation of object trajectories with an increased information content. In order to respond to the amount of data generated by the simultaneous operation of multiple devices, an agent based system is utilized. Information delivering agents, composed of one MultiCam with dedicated processing unit, are responsible for the direct processing of the acquired raw sensor data. Based on their view onto the scene, they generate information in form of a local status vector which they send to a dedicated fusion agent. This fusion agent is in turn responsible for the combination of all of the local information received into one global status vector. Due to the mutual independence of the participating agents, parallel processing of the acquired data is inherently possible which in turn results in the possibility to be able to scale the system in an easy manner.