Progressive refinement imaging by variable-resolution image and range fusion

Abstract

In the past years, various algorithmic approaches have been proposed that address the fusion of multiple camera observations, enabling the acquisition of scenes that cannot be captured with a single photograph. Despite various improvements in seamless image blending, a key challenge to creating a convincing composite remains in compensating for geometric and photometric discrepancies (due to, for example, changes in viewpoint and illumination conditions). While previous methods mitigate these inconsistencies mainly through global optimization, any kind of computationally intensive post-processing prevents an acquisition in an interactive, online fashion. In this thesis, novel methods for fusing a stream of camera observations into a progressively refined, consistent image representation are proposed. By enriching a low-resolution image with high-resolution details from close-ups, the user is allowed to interactively increase resolution locally where added image detail is desired. First, a method is proposed to fuse an RGB image sequence with substantial geometric and photometric discrepancies into a single consistent output image. It can handle large sets of images, acquired from a nearly planar or far-distant scene at variable object-space resolutions and under varying local or global illumination conditions. At its core, a dynamically extendable multi-scale representation allows for variable-resolution image fusion. Details from the incoming image data are selectively merged in a way that removes artifacts such as lens distortions, lighting changes, or varying exposure and color balance. Second, by bridging between 2D and 3D approaches, a disparity-corrected method is proposed that allows adaptive image refinement for general 3D scenes, even in the presence of silhouettes and strong scene parallax. It features the fusion of handheld RGB-D camera streams into a high-quality, variable-resolution 2.5-D reconstruction (color and range data). This is enabled by a parallax-aware image warping, assisted by adaptively refined depth values to compensate for parallax effects due to depth disparities. All pipeline modules are designed for resilience against low-resolution, artifact-prone depth readings while refining the high-resolution color data.

In den letzten Jahren wurden verschiedene algorithmische Ansätze zur Fusion von Kameraaufnahmen vorgestellt, welche die Akquisition von Szenen ermöglichen, die nicht mit einer einzigen Photographie erfasst werden können. Um eine überzeugende Bildkomposition zu erreichen, besteht, trotz zahlreicher Fortschritte in der Erzeugung nahtloser Bildübergänge, weiterhin die primäre Herausforderung, geometrische und photometrische Diskrepanzen auszugleichen (z. B. aufgrund von Änderungen des Blickpunktes oder der Beleuchtungsbedingungen). Während bisherige Methoden Inkonsistenzen hauptsächlich durch eine globale Optimierung beheben, verhindert jede Art von rechenintensiver Nachbearbeitung eine interaktive Bildakquisition. In dieser Dissertation werden neuartige Methoden vorgestellt, welche eine Zusammenführung von Kameraaufnahmen in eine progressiv verfeinerte, konsistente Bildrepräsentation ermöglichen. Durch die Anreicherung niedrig aufgelösten Bildmaterials mit hochaufgelösten Details aus Nahaufnahmen kann der Benutzer interaktiv die Auflösung lokal dort erhöhen, wo zusätzliche Bilddetails gewünscht sind. Zunächst wird eine Methode präsentiert, welche eine Sequenz von Farbaufnahmen mit erheblichen geometrischen und photometrischen Diskrepanzen zu einem einzigen, konsistenten Ausgangsbild fusioniert. Sie unterstützt die Verarbeitung großer Mengen an Bilddaten, welche von einer nahezu ebenen oder weit entfernten Szene und unter variierenden lokalen oder globalen Beleuchtungsbedingungen aufgenommen wurden. Als Schlüsselkomponente ermöglicht eine dynamisch erweiterbare Multiskalenrepräsentation die Fusion von Bildmaterial mit variabler Auflösung in der Objektdomäne. Details aus den eingehenden Bilddaten werden selektiv derart zusammengeführt, so dass Artefakte wie Linsenverzerrungen, Beleuchtungsänderungen oder unterschiedliche Belichtungen und Farbbalancen entfernt werden. Anschließend wird durch die Kombination von 2D- und 3D-Ansätzen eine Methode vorgestellt, welche die adaptive Bildverfeinerung für allgemeine 3D-Szenen ermöglicht - selbst bei Vorhandensein von Silhouetten und stark ausgeprägter Parallaxe. Dabei werden die Datenströme einer handgeführten RGB-D-Kamera zu einer hochwertigen 2,5-D-Rekonstruktion (Farb- und Entfernungsdaten) mit variabler Auflösung fusioniert. Ermöglicht wird dies durch eine geometrische Bildtransformation (engl. warping), welche, von adaptiv verfeinerten Tiefenwerten unterstützt, die durch Tiefendisparitäten induzierten Parallaxeneffekte berücksichtigt und korrigiert. Alle Pipeline-Module sind so konzipiert, dass sie gegen Artefakt anfällige Tiefenwerte mit geringer Auflösung resistent sind, während zugleich die hochauflösenden Farbdaten verfeinert werden.