Ein Telekommunikationsunternehmen hat ein Modell, das auf Daten aus mehreren Jahren und einer Region trainiert wurde, eingesetzt, um Kunden zu identifizieren, die wahrscheinlich kündigen werden, wenn sie den Support anrufen. Das Unternehmen wird ein globales Produkt einführen und befürchtet, dass das Modell viele Anrufe aus Regionen ohne Trainingsdaten fälschlicherweise an ein Spezialistenteam weiterleiten könnte. Welcher Ansatz begegnet diesem Risiko am effektivsten?

Die Aktivierung von SageMaker Model Monitor Data Capture ermöglicht die Erfassung von Inferenzdaten und die Überwachung auf Abweichungen von der Trainings-Baseline. Dies ist entscheidend, da das Modell in neuen Regionen eingesetzt wird, für die keine Trainingsdaten vorliegen. Wenn regionale Daten von der Baseline abweichen, signalisiert dies potenzielle Leistungsprobleme (Daten-Drift), die eine Neubewertung und ein erneutes Training mit breiteren, repräsentativeren Daten erfordern, um Fehlklassifizierungen zu vermeiden. SageMaker Debugger ist für die Überwachung von Trainingsjobs gedacht, nicht für die Laufzeitüberwachung von Endpunkten. Das Speichern von Anrufen in S3 und die manuelle Berechnung der Genauigkeit ist reaktiv und nicht proaktiv bei der Erkennung von Daten-Drift. CloudWatch-Logging allein bietet keine automatische Erkennung von Daten-Drift basierend auf einer Baseline.