Ein Einzelhandelsunternehmen betreibt ein tägliches Umsatzprognosemodell, das in den letzten 3 Wochen ungenaue Vorhersagen geliefert hat. Täglich führt ein AWS Glue-Job Modelleingaben, die Vorhersagen des Modells und die tatsächlichen Tagesumsätze in Dateien zusammen, die in Amazon S3 gespeichert werden. Das ML-Team stellt fest, dass die Ungenauigkeiten durch Verschiebungen in den Verteilungen der Feature-Werte verursacht werden, und benötigt eine Lösung, die solche Datenabweichungen in Zukunft mit dem geringsten Betriebsaufwand erkennt. Welcher Ansatz erfüllt diese Anforderung?

Die korrekte Option ist die Verwendung von Amazon SageMaker Model Monitor zur Erstellung einer Datenqualitäts-Baseline. Model Monitor ist speziell dafür konzipiert, Abweichungen in den Datenverteilungen (Data Drift) zu erkennen, was die Ursache der Ungenauigkeiten ist. Durch das Aktivieren von emitmetrics und das Erstellen eines CloudWatch-Alarms auf diesen Metriken kann automatisch über festgestellte Abweichungen benachrichtigt werden, was den operativen Aufwand minimiert. Die Option mit der Modellqualitäts-Baseline ist falsch, da das Problem nicht die Modellqualität selbst ist, sondern die Qualität der Eingabedaten. Amazon SageMaker Debugger ist für das Debugging von Trainingsjobs gedacht, nicht für die Überwachung von Produktionsmodellen auf Datenabweichungen. Die manuelle Überprüfung von CloudWatch Logs ist ineffizient und skaliert nicht, was dem Ziel des geringsten Betriebsaufwands widerspricht.