Investigations on the discrimination ability of multivariate scoring rules

Abstract

Probabilistic forecasts in form of predictive distributions over future quantities have become more and more important in many different fields, including meteorology, hydrology, epidemiology and economics. Along with the growing prevalence of probabilistic models the need for tools to evaluate the appropriateness of models and forecasts emerges. Various measures have been developed to address this topic. In their seminal paper, Gneiting and Raftery (2007) study so called proper scoring rules as summary measures to evaluate probabilistic forecasts by assigning a single numerical score based on the predictive distribution and the event that materializes. Such a proper scoring rule encourages the forecaster to make careful assessments. For univariate quantities there is a vast selection of proper scoring rules and their properties are understood quite well. However, for multivariate quantities there is only a small number of proper scoring rules available and there does not yet exist much research on their properties. The most prominent example of a strictly proper multivariate scoring rules is the energy score. A scoring rule should not only be strictly proper, but it should also assign significantly different score values to probabilistic forecasts of models that are significantly wrong. This property is refered to as discrimination ability of a scoring rule. To assess the discrimination ability of a scoring rule we use the Diebold-Mariano test, which is a crucial element in the evaluation of scoring rules. In this thesis we mainly focus on the discrimination ability of scoring rules for multivariate distributions with a special emphasis on the correct modelling of the dependence structure. The energy score has been criticized for its poor ability to distinguish between forecasting distributions with different dependence structure, whereas it detects very well errors in location and scale. The discrimination ability of the energy score depends on the choice of the parameter β, which is very often fixed to 1. However, β can be chosen to be any value in the interval (0, 2). Thus, the main topic of this thesis is to study the discrimination ability of the energy score for various choices of the parameter β and to compare it with other known scoring rules like the Dawid-Sebastiani score and the variogram score. An extensive simulation study shows that the discrimination ability of the energy score typically improves with smaller parameter β. Therefore, a new multivariate strictly proper scoring rule is introduced that arises as a scaling limit of the energy score as β tends to zero and its properties are studied.

Probabilistische Vorhersagen über zukünftige Größen in Form von Wahrscheinlichkeitsverteilungen haben in vielen verschiedenen Bereichen, einschließlich der Metereologie, der Hydrologie, der Epidemiologie und den Wirtschaftswissenschaften, immer mehr an Bedeutung gewonnen. Mit der zunehmenden Verbreitung probabilistischer Modelle wächst auch der Bedarf an Methoden zur Bewertung der Angemessenheit von Modellen und Prognosen. Es wurden diverse Maße entwickelt, um dieses Thema anzugehen. In ihrer bahnbrechenden Arbeit untersuchen Gneiting and Raftery (2007) so genannte proper scoring rules als Maße zur Bewertung probabilistischer Vorhersagen, indem sie der vorhergesagten Verteilung und einem eingetretenen Ereignis einen score zuweisen. Eine solche proper scoring rule bietet dem Ersteller der Vorhersage einen Anreiz, sorgfältige Bewertungen vorzunehmen. Für univariate Größen gibt es eine große Auswahl an geeigneten proper scoring rules und ihre Eigenschaften sind recht gut bekannt. Für multivariate Größen gibt es jedoch nur eine kleine Anzahl geeigneter proper scoring rules. Auch sind deren Eigenschaften bisher noch nicht ausreichend erforscht. Das bekannteste Beispiel für eine strikte proper scoring rule ist der energy score. Eine scoring rule sollte allerdings nicht nur strikt proper sein, sondern auch probabilsitischen Vorhersagen von Modellen, die signifikant falsch sind, signifikant unterschiedliche Werte zuweisen. Diese Eigenschaft wird als Fähigkeit zur Diskriminierung einer scoring rule bezeichnet. Um diese Unterscheidungsfähigkeit zu beurteilen, verwenden wir den Diebold-Mariano Test, der ein entscheidendes Element bei der Bewertung von scoring rules ist. In dieser Arbeit konzentrieren wir uns hauptsächlich auf die Unterscheidungsfähigkeit von scoring rules für multivariate Verteilungen mit besonderem Augenmerk auf die korrekte Modellierung der Abhängigkeitsstruktur. Der energy score wurde oft kritisiert, weil er nicht in der Lage ist, zwischen Verteilungen mit unterschiedlicher Abhängigkeitsstruktur zu unterscheiden, während er Fehler der Lokations- und Skalenparameter sehr gut erkennt. Die Unterscheidungsfähigkeit des energy scores hängt von der Wahl des Parameters β ab, der häufig auf 1 festgelegt ist. Jedoch kann für β jeder beliebige Wert im Intervall (0, 2) gewählt werden. Das Hauptthema dieser Arbeit ist daher die Untersuchung der Unterscheidungsfähigkeit des energy scores für verschiedene Auswahlmöglichkeiten des Parameters β und der Vergleich mit anderen bekannten scoring rules wie dem Dawid- Sebastiani score und dem variogram score. Eine umfangreiche Simulationsstudie zeigt, dass sich die Unterscheidungsfähigkeit des energy scores typischerweise mit kleinerem Parameter β verbessert. Im Zuge dessen wird eine neue multivariate strikte proper scoring rule eingeführt, die sich als skalierter Grenzwert des energy scores ergibt, wenn β gegen Null geht, und ihre Eigenschaften werden untersucht.