Learning deep visual features for Minimum Cost Multicut Problem

Abstract

Image clustering is one of the most important task of unsupervised learning in the area of computer vision. Deep learning approaches allow models to be trained on large datasets. In this thesis, image clustering objectives in the context of Triplet Loss induced embedding space are evaluated. Specifically, a simplification of the well-known Triplet Loss is proposed for learning an embedding space from data. This proposed loss function is designed for the Minimum Cost Multicut Problem. Furthermore, we highlight one key aspect of the Minimum Cost Multicut Problem in terms of scalability and propose a novel approach to overcome this issue. We show empirically, that the proposed algorithm achieves a significant speedup while preserving the clustering accuracy at the same time. The algorithm is able to cluster a dataset with approximately 100.000 images in under one minute using 40 computing threads, where the embedding space is trained with the simplified Triplet Loss. We then apply our proposed loss function on multiple person tracking problems. This problem is treated as a clustering problems on an imbalanced dataset, where each individual, unique person from the scene is considered as one cluster. We compare the tracking performance from two different approaches: the proposed Triplet Loss and an AutoEncoder architecture with reconstruction loss. Experiments show the effectiveness of the clustering task on a tracking application. Finally, we provide an empirical study on embedding space, trained on classification models. Various state-of-the-art models are evaluated against image corruptions. Our key finding suggests to utilize clustering as a predictor for model robustness.

Das Clustering von Bildern ist eine der wichtigsten Aufgaben des unüberwachten Lernens im Bereich der Computer Vision. Deep-Learning-Ansätze ermöglichen das Trainieren von Modellen auf großen Datensätzen. In dieser Arbeit werden die Ziele der Bildclusterung im Kontext des Triplet Loss induzierten Einbettungsraums bewertet. Insbesondere wird eine Vereinfachung des bekannten Triplet Loss für das Lernen eines Einbettungsraums aus Daten vorgeschlagen. Diese vorgeschlagene Verlustfunktion ist für das Minimum Cost Multicut Problem konzipiert. Darüber hinaus heben wir einen Schlüsselaspekt des Minimum Cost Multicut Problems in Bezug auf die Skalierbarkeit hervor und schlagen einen neuen Ansatz vor, um dieses Problem zu überwinden. Wir zeigen empirisch, dass der vorgeschlagene Algorithmus eine signifikante Beschleunigung bei gleichzeitiger Beibehaltung der Clustering Genauigkeit erreicht. Der Algorithmus ist in der Lage, einen Datensatz mit ca. 100.000 Bildern in weniger als einer Minute zu clustern, wobei 40 Threads zum Einsatz kommen und der Einbettungsraum mit dem vereinfachten Triplet Loss trainiert wird. Anschließend wenden wir die von uns vorgeschlagene Verlustfunktion auf das Problem der Verfolgung mehrerer Personen an. Dieses Problem wird als ein Clustering-Problem auf einem unausge wogenen Datensatz behandelt, wobei jede einzelne, einzigartige Person aus der Szene als ein Cluster betrachtet wird. Wir vergleichen die Verfolgungsleistung von zwei verschiede nen Ansätzen: den vorgeschlagenen Triplet Loss und eine AutoEncoder-Architektur mit Rekonstruktionsverlust. Experimente zeigen die Effektivität der Clustering-Aufgabe in einer Tracking-Anwendung. Schließlich bieten wir eine empirische Studie zum Einbettungsraum, die auf Klassifizierungsmodellen trainiert wurde. Verschiedene Modelle auf dem neuesten Stand der Technik werden anhand von Bildverfälschungen bewertet. Unsere wichtigste Erkenntnis ist, dass Clustering als Prädiktor für die Robustheit des Modells verwendet werden sollte.