Machine learning with finite impulse response models

Abstract

Ein genaues und zuverlässiges Modell ist die Grundlage für Analyse, Auslegung und Regelung von modernen Automatisierungssystemen. Es ist häufig zu kompliziert, zu teuer oder zu ungenau, diese Modelle basierend auf physikalischen Gleichungen zu entwickeln. Innerhalb der letzten Jahre hat maschinelles Lernen deutliche Fortschritte bei der Verwendung von Daten zur Erstellung dieser Modelle gemacht. Ein wesentlicher Nachteil dieser Methoden ist, dass Stabilität der identifizierten Modelle nicht garantiert ist. Daher werden in dieser Arbeit Methoden zur Identifikation basierend auf FIR Modellen untersucht. Diese enthalten keine Rückkopplung und garantieren deshalb strukturbedingt Stabilität. Lineare FIR Systeme bieten signifikante Vorteile aufgrund der einfachen Interpretierbarkeit ihrer Impulsantwort sowie ihrer inherenten Stabilität. In der jüngeren Literatur wurden neue Verfahren zur Vermeidung hoher Parametervarianz durch Wahl einer speziellen Tikhonov-Regularisierung vorgestellt. In dieser Arbeit werden diese Ansätze erweitert, um ein gezieltes Einbringen von Vorwissen zu ermöglichen. Die entwickelte Methode ist sowohl für Gray-Box-Identifikationsverfahren als auch für Ordnungsselektionsverfahren nutzbar. Die Anwendbarkeit wird anhand eines Laborsystems demonstriert. Lokale Modellnetze ermöglichen die Erweiterung linearer Identifikationsverfahren auf nichtlineare Systeme. Hierbei wird der Regularisierungsmechanismus, der im Rahmen der linearen Verfahren angewendet wird, zur Identifikation der lokalen FIR Modelle genutzt. Besonders für Identifikationsprobleme mit schlechtem Signal-Rausch-Verhältnis zeigt die Methode deutlich bessere Ergebnisse als lokale Modelle mit Rückkopplung des Ausgangs. Schließlich wird das maschinelle Lernen mit convolutional neural networks untersucht. Das Verhältnis zwischen diesen und blockorientierten nichtlinearen Systemen wird analysiert. Es wird eine spezifische Struktur von tiefen neuronalen Netzen basierend auf FIR Modellen als Netzbestandteilen vorgeschlagen. Bei der Identifikation des neuronalen Netzes wird der gleiche Regularisierungsansatz wie zur Identifikation linearer FIR Modelle verwendet. Es wird gezeigt, dass der Bias-Varianz-Tradeoff dadurch vorteilhaft beeinflust wird und der Ansatz auf einem aktuellen Benchmarkproblem mit den Ergebnissen von Methoden, die dem aktuellen Stand der Forschung entsprechen, verglichen. Hierbei werden vergleichbare Ergebnisse erzielt und zusätzlich glattere interne Impulsantworten und die Stabilität des Systems garantiert.

An accurate and reliable model is the foundation for analysis, design, and control of a modern automation system. It is often too complicated, too expensive, or too inaccurate to develop these models based on first principles. In recent years, machine learning has made tremendous progress through the usage of data to generate models. Nevertheless, a key drawback is that for the identified models there is no stability guarantee. Thus, within this thesis, methods for identifying both linear and nonlinear systems based on finite impulse response (FIR) models are investigated. These avoid feedback and thus ensure stability. Linear FIR models offer a compelling advantage due to the interpretability of the impulse response and inherent stability. Recently, novel methods for regularization based on a specifically designed Tikhonov regularization have been proposed. In this contribution these approaches are extended to allow for a better incorporation of existing prior knowledge. The developed method can be employed for order selection and gray-box identification. Its feasibility is demonstrated on numerical benchmarks and on a laboratory example. Local model networks allow for the extension of linear identification methods to nonlinear systems. Here, the regularization mechanism applied to linear systems is employed to identify local FIR models. Especially for identification problems with a low signal to noise ratio, the method performs significantly better than local model networks with feedback of the output. Finally, machine learning with convolutional neural networks is investigated. The relation between these and block-oriented nonlinear systems is analyzed. Then, a specific structure of a deep neural network containing FIR models as building blocks is proposed. This structure is equipped with a regularization scheme adopted from linear FIR models for the impulse responses comprised in the neural network. It is shown that the bias-variance trade-off is influenced positively on a benchmark example and achieves state-of-the-art results while additionally the internal impulse responses are smoothed and the stability of the system is guaranteed.