Spatial and temporal SAR image information mining

Abstract

In this thesis, we focus on the development of new methods for spatial and temporal high resolution Synthetic Aperture Radar (SAR) image information mining. Starting from statistical models, we propose reliable models and robust methods for parameter estimation and evaluate statistical models on diverse classes of images. Based on the statistical models, information similarity measures are applied to SAR change detection both in the spatial and the wavelet domain. To evaluate their performance, a benchmark dataset is created by simulating changes, such as statistical changes in first, second, and higher order statistics, which resolves the problem of missing benchmark datasets for the comparison of various methods and allows a comprehensive evaluation of information similarity measures using both the synthetic dataset and real SAR data.

Based on the intrinsic characteristics of Very High Resolution (VHR) SAR images, two new feature extraction methods are developed. The first one represents a new approach for the structure description of high resolution SAR images, inspired by the well-known ratio edge detector. We apply brightness ratios in various directions of a local window in order to enhance the Bag-of-Words (BoW) feature extraction and to adapt a Weber local descriptor to SAR images. The second method is a simple yet efficient feature extraction method within the Bag-of-Words (BoW) framework. It has two main innovations. Firstly and most interestingly, this method does not need any local feature extraction; instead, it uses directly the pixel values from a local window as low level features. Secondly, in contrast to many unsupervised feature learning methods, a random dictionary is applied to feature space quantization. The advantage of a random dictionary is that it does not lead to a significant loss of classification accuracy yet the time-consuming process of dictionary learning is avoided. These two novel improvements over state-of-the-art methods significantly reduce both the computational effort and the memory requirements. Thus, our method is applicable and scalable to large databases. In parallel, we developed a new feature coding method, called incremental coding. Altogether, the new feature extractor and the incremental coding can achieve significantly better SAR image classification accuracies than state-of-the-art feature extractors and feature coding methods. In addition, several selectable parameters of the BoW method have been evaluated and reliable conclusions are given based on the evaluation. The BoW method has been extended to SAR Image Time Series (ITS) as well, resulting in a new Bag-of-Spatial-Temporal-Words (BoSTW) approach, which has shown a better performance than a simple sequential concatenation of extracted texture features.

In the last part of this thesis, a cascaded active learning approach relying on a coarse-to-fine strategy for spatial and temporal SAR image information mining is developed, which allows fast indexing and the discovery of hitherto hidden spatial and temporal patterns in multi-temporal SAR images. In this approach, a hierarchical image representation is adopted and each level is associated with a specific size of local image patches. Then, Support Vector Machine (SVM) active learning is applied to the image patches at each level to obtain fast and reliable classification results and to reduce the manual effort to label the image patches. Within this concept, two components for classifier training work alternately: Using the already labeled image patches and a sample selection which selects the most informative remaining patches for manual labeling. When moving to a new finer level of the cascade, all the negative patches of the previous level are disregarded and the learning at the new level focuses only on the remaining positive patches. In this way, the computational burden in annotating large datasets could be remarkably reduced while preserving the classification accuracy. In addition, we solved the problem of training sample propagation between levels by multiple instance learning. We compared our cascade active learning with conventional SVM active learning operating only at the finest level in terms of classification accuracy and computational cost. It turns out that cascade active learning does not only achieve higher accuracy but also reduces remarkably the computation time.

Finally, we propose a new visualization method for SAR ITS using a simple color animation of the sequence. Successive triples of SAR images are represented as a sequence of red/green/blue coded color images. This simple color representation can significantly highlight the content variation of an image sequence without distorting the information content, which greatly facilitates the visual image interpretation. Without any processing, we can easily observe many temporal patterns and any content variation becomes completely visible.

Der Schwerpunkt dieser Dissertation liegt in der Entwicklung von neuen Methoden zum Information Mining von SAR-Bildern mit hoher räumlicher und zeitlicher Auflösung. Ausgehend von statistischen Modellen schlagen wir zuverlässige Modelle und robuste Methoden zur Parameterschätzung vor und bewerten die statistischen Modelle für verschiedene Klassen von Bildern. Aufbauend auf diesen statistischen Modellen werden Maße zur Informationsähnlichkeit bei der Entdeckung von Änderungen in SAR-Bildern sowohl im Ortsraum als auch im Wavelet-Raum angewendet. Zur Beurteilung der Leistungsfähigkeit wurde ein Referenz-Datensatz erzeugt, wo Veränderungen (wie die Statistiken erster, zweiter und höherer Ordnung) simuliert wurden. Ausgehend von den spezifischen Eigenschaften von SAR-Bildern mit sehr hoher Auflösung werden zwei neue Methoden zur Merkmalsextraktion entwickelt. Die erste ist eine neue Merkmalsextraktions-Methode zur Strukturbeschreibung von SAR-Bildern mit hoher Auflösung, die durch den bekannten verhältnisdiskriminierenden Kantendetektor angeregt wurde. Hier werden Intensitätsverhältnisse in verschiedenen Richtungen innerhalb von lokalen Bildausschnitten angewandt, um die Bag-of-Words- (BoW)-Merkmalsextraktion zu verbessern und um einen lokalen Weber-Deskriptor an SAR-Bilder anzupassen. Die zweite Methode ist eine einfache und dennoch effiziente Methode zur Merkmalsextraktion aus dem Bereich der Bag-of Words (BoW)-Verfahren. Diese Methode beinhaltet zwei wesentliche Neuentwicklungen. Zum einen und was für uns sehr interessant ist, benötigt die Methode keinerlei örtliche Merkmalsextraktion. Stattdessen benutzt sie als einfache Merkmale direkt die Pixelwerte aus einem lokalen Fenster. Zum anderen - und im Gegensatz vielen unüberwachten Lernmethoden für Merkmale - wird ein Zufallswörterbuch für die Quantisierung des Merkmalsraums verwendet. Der Vorteil eines Zufallswörterbuchs ist, dass es zu keinem merklichen Verlust der Klassifizierungsgüte kommt, obwohl der zeitaufwändige Prozess des Erlernens eines Wörterbuchs vermieden wird. Diese zwei neuartigen Verbesserungen gegenüber momentan modernsten Methoden führen zu einer wesentlichen Verringerung sowohl des Rechenaufwands als auch des Speicherbedarfs. Im letzten Teil der Arbeit wird ein Ansatz zum kaskadierten aktiven Lernen entwickelt, der auf einer Grob-zu-Fein-Strategie beim Mining von räumlicher und zeitlicher Information in SAR-Bildern beruht. Der Ansatz erlaubt in multi-temporalen SAR-Bildern eine schnelle Indexierung sowie die Entdeckung von bisher versteckten räumlichen und zeitlichen Mustern. Bei diesem Ansatz wird eine hierarchische Bilddarstellung verwendet und jeder Ebene wird eine eigene Bildausschnittgröße zugeordnet. Um zuverlässige Klassifizierungsergebnisse zu erhalten und um den manuellen Aufwand beim Annotieren (Labeling) der Bildausschnitte zu reduzieren, wird auf jeder Ebene ein aktives Erlernen der Bildausschnitte mit Hilfe einer Support Vector Machine (SVM) durchgeführt. Dabei kommen abwechselnd zwei Komponenten zum Trainieren des Klassifizierers zum Einsatz: die Verwendung der bereits zugeordneten Bildausschnitte und die Beispielauswahl, die die aussagekräftigsten restlichen Bildausschnitte zur manuellen Annotation auswählt. Wenn der Prozess auf einer feineren Ebene der Kaskade fortgesetzt wird, werden alle bisher als negativ gekennzeichneten Bildausschnitte weggelassen und der Lernprozess auf der neuen Ebene beschränkt sich auf die positiv gekennzeichneten Bildausschnitte. Dadurch konnte der Rechenaufwand bei der Annotation von großen Datenmengen deutlich und ohne Genauigkeitsverlust reduziert werden. Bei dieser Methode konnten wir ein anderes Problem - die Weitergabe von Trainingsbeispielen zwischen Ebenen - durch Mehrfall-Lernen lösen. Dieses kaskadierte aktive Lernen wurde mit der Genauigkeit und der Zeitkomplexität eines Standard-SVM-Lernverfahrens auf der feinsten Ebene verglichen. Wir zeigen, dass kaskadiertes aktives Lernen nicht nur eine höhere Genauigkeit liefert, sondern auch die benötigte Rechenzeit deutlich reduziert. Schließlich schlagen wir ein neues Visualisierungsverfahren für Zeitreihen von SAR-Bildern mit einer einfachen Farbanimation der Bildsequenz vor. Dabei werden jeweils drei aufeinanderfolgende SAR-Bilder zusammengefasst und in einer Sequenz von Rot-Grün-Blau-Farbbildern angezeigt. Die einfache Farbdarstellung kann Inhaltsänderungen deutlich hervorheben, ohne den Informationsgehalt zu verfälschen, was die visuelle Bildinterpretation stark vereinfacht.