Ein Data Scientist evaluiert ein GluonTS DeepAR-Modell und stellt auf dem Testset Coverage Scores von 0,489 beim 0,5-Quantil und 0,889 beim 0,9-Quantil fest. Welche ist eine vernünftige Schlussfolgerung bezüglich der Kalibrierung der Verteilungsprognose?

Die korrekte Antwort ist, dass die Coverage Scores eine korrekte Kalibrierung zeigen, wenn sie annähernd dem entsprechenden Quantilsniveau entsprechen. Ein Coverage Score von 0,489 für das 0,5-Quantil und 0,889 für das 0,9-Quantil liegt sehr nahe an den Sollwerten. Dies deutet darauf hin, dass die Vorhersageintervalle des Modells gut kalibriert sind und die tatsächlichen Werte mit der erwarteten Wahrscheinlichkeit abdecken. Die erste Option ist falsch, da Coverage Scores nicht über alle Quantile hinweg gleich sein sollten, sondern dem jeweiligen Quantilwert entsprechen müssen. Die zweite Option ist falsch, da Coverage Scores nicht am Median ihren Höhepunkt erreichen und in den Enden niedriger sein sollten; stattdessen sollten sie dem Quantilwert entsprechen. Die dritte Option ist falsch, da Coverage Scores nicht immer unter dem Quantilwert liegen sollten, sondern idealerweise diesem entsprechen.