Bewertung probabilistischer Vorhersagen mittels scoringRules

Das Vergleichen der Vorhersagegüte

Im Allgemeinen sind Vorhersage mit Unsicherheit behaftet, und somit spielt die Bestimmung dieser Unsicherheit eine zentrale Rolle in der Entscheidungsfindung. Entsprechend erlebten probabilistische Vorhersagen in Form von Wahrscheinlichkeitsverteilungen in den letzten Jahrzehnten einen Aufschwung in verschiedensten Bereichen der Wissenschaft, insbesondere in der Meteorologie, den Klimawissenschaften, der Hydrologie, der Seismologie, sowie den Wirtschafts- und Finanzwissenschaften, aber auch der Bevölkerungs- und Politikwissenschaften.

Üblicherweise werden in Anwendungen unterschiedliche statistische Modelle und Datenquelle verwendet um probabilistische Vorhersagen zu treffen. Als Folge ist die Bewertung und Auswahl der zur Verfügung stehenden Methoden von großer Bedeutung. Das scoringRules Paket für R erlaubt die vergleichende Bewertung von probabilistischen Modellen mittels “proper scoring rules” und deckt so eine Vielfalt von Anwendungsgebieten ab.

Als Programmbibliothek enthält das scoringRules Paket sowohl bekannte als auch neue mathematische Formeln zur Berechnung dieser Bewertungsfunktionen. Statistisch begründete Standardoptionen helfen dem Nutzer, wenn mehrere Varianten zur Implementierung zur Verfügung stehen. Die bereitgestellten Bewertungsfunktionen umfassen den “continuous ranked probability score”, den “logarithmic score”, sowie die multivariaten “energy” und “variogram scores”. Eine wichtige Eigenschaft haben alle diese Bewertungsfunktionen gemeinsam, nämlich dass die beste Bewertung erwartet werden kann, wenn eine probabilistische Vorhersage nach bestem Wissen getroffen wird.

scoringRules wurde in der Computational Statistics Gruppe am HITS entwickelt und ist auf CRAN, und wird weiterentwickelt auf GitHub verfügbar.

Weitere Quellen:

Alexander Jordan, Fabian Krüger, Sebastian Lerch
Evaluating Probabilistic Forecasts with scoringRules
J. Stat. Softw. (2019) 90(12):1–37, DOI: 10.18637/jss.v090.i12