Ein Krankenhaus führt nächtlich einen Batch-Inferenz-Job mit einem ML-Modell aus, das Röntgenbilder validiert. Das Krankenhaus muss täglich einen Bericht über die Datenqualität und die Modellleistung erstellen. Welche Lösung bietet die erforderliche tägliche Überwachung und Berichterstattung?

Amazon SageMaker Model Monitor ist die präziseste Lösung, da er speziell für die Überwachung der Datenqualität und Modellleistung von Machine-Learning-Modellen in der Produktion entwickelt wurde. Er kann Abweichungen in den Eingabedaten (Datendrift) und Leistungseinbußen des Modells erkennen und Berichte darüber erstellen. Die Planung eines Überwachungsjobs generiert automatisch die erforderlichen täglichen Überwachungsergebnisse. Ein CloudWatch-Dashboard würde zwar Metriken anzeigen, ist aber nicht speziell für die Überwachung der ML-Modellqualität oder Datendrift konzipiert. AWS Glue DataBrew konzentriert sich auf die Datenbereinigung und -transformation, nicht auf die kontinuierliche Überwachung der Modellleistung oder Datendrift in einem Produktionsszenario. Eine SageMaker AI-Pipeline ist für die Orchestrierung des gesamten ML-Workflows gedacht und könnte zwar einen QualityCheck-Schritt enthalten, aber Model Monitor ist das dedizierte Tool für die laufende Überwachung nach der Bereitstellung.