Bewertung probabilistischer Vorhersagen mittels scoringRules

28.06.2021

Das Vergleichen der Vorhersagegüte

Im Allgemeinen sind Vorhersage mit Unsicherheit behaftet, und somit spielt die Bestimmung dieser Unsicherheit eine zentrale Rolle in der Entscheidungsfindung. Entsprechend erlebten probabilistische Vorhersagen in Form von Wahrscheinlichkeitsverteilungen in den letzten Jahrzehnten einen Aufschwung in verschiedensten Bereichen der Wissenschaft, insbesondere in der Meteorologie, den Klimawissenschaften, der Hydrologie, der Seismologie, sowie den Wirtschafts- und Finanzwissenschaften, aber auch der Bevölkerungs- und Politikwissenschaften.

Üblicherweise werden in Anwendungen unterschiedliche statistische Modelle und Datenquelle verwendet um probabilistische Vorhersagen zu treffen. Als Folge ist die Bewertung und Auswahl der zur Verfügung stehenden Methoden von großer Bedeutung. Das scoringRules Paket für R erlaubt die vergleichende Bewertung von probabilistischen Modellen mittels “proper scoring rules” und deckt so eine Vielfalt von Anwendungsgebieten ab.

Als Programmbibliothek enthält das scoringRules Paket sowohl bekannte als auch neue mathematische Formeln zur Berechnung dieser Bewertungsfunktionen. Statistisch begründete Standardoptionen helfen dem Nutzer, wenn mehrere Varianten zur Implementierung zur Verfügung stehen. Die bereitgestellten Bewertungsfunktionen umfassen den “continuous ranked probability score”, den “logarithmic score”, sowie die multivariaten “energy” und “variogram scores”. Eine wichtige Eigenschaft haben alle diese Bewertungsfunktionen gemeinsam, nämlich dass die beste Bewertung erwartet werden kann, wenn eine probabilistische Vorhersage nach bestem Wissen getroffen wird.

scoringRules wurde in der Computational Statistics Gruppe am HITS entwickelt und ist auf CRAN, und wird weiterentwickelt auf GitHub verfügbar.

Weitere Quellen:

Alexander Jordan, Fabian Krüger, Sebastian Lerch
Evaluating Probabilistic Forecasts with scoringRules
J. Stat. Softw. (2019) 90(12):1–37, DOI: 10.18637/jss.v090.i12

Über das HITS

Das Heidelberger Institut für Theoretische Studien (HITS) wurde 2010 von dem Physiker und SAP-Mitgründer Klaus Tschira (1940-2015) und der Klaus Tschira Stiftung als private, gemeinnützige Forschungseinrichtung ins Leben gerufen. Das HITS betreibt Grundlagenforschung in den Naturwissenschaften, der Mathematik und der Informatik. Dabei werden große, komplexe Datenmengen verarbeitet, strukturiert und analysiert und computergestützte Methoden und Software entwickelt. Die Forschungsfelder reichen von der Molekularbiologie bis zur Astrophysik. Die HITS Stiftung, eine Tochter der Klaus Tschira Stiftung, stellt die Grundfinanzierung der HITS gGmbH auf Dauer sicher. Die Mittel dafür erhält sie von der Klaus Tschira Stiftung. Gesellschafter des HITS sind neben der HITS Stiftung die Universität Heidelberg und das Karlsruher Institut für Technologie (KIT). Das HITS arbeitet außerdem mit weiteren Universitäten und Forschungsinstituten sowie mit industriellen Partnern zusammen. Die wichtigsten externen Mittelgeber sind das Bundesministerium für Bildung und Forschung (BMBF), die Deutsche Forschungsgemeinschaft (DFG) und die Europäische Union.

Zur englischen Seite wechseln oder auf dieser Seite bleiben.