Amazon MLS-C01: MLOps, Monitoring, Labeling & Model Governance — Lernleitfaden
Teil des AWS Machine Learning Specialty MLS-C01 — Lernleitfaden. Üben Sie mit verifizierten Antworten im Amazon-Prüfungscenter, oder absolvieren Sie zeitlich begrenzte Übungstests auf ExamRoll.io.
Pipelines, CI/CD und Automatisierung
Produktionsreifes ML erfordert eine durchgängige Automatisierung, die Datenaufnahme, Validierung, Training, Tuning, Modell-Paketierung und Bereitstellung in wiederholbare Pipelines integriert. Verwenden Sie Amazon SageMaker Pipelines, um Schritte für Processing-Jobs (Data Wrangler oder ScriptProcessor), Training (verwaltetes Training mit Distributed Data Parallel oder XGBoost/BlazingText), Hyperparameter-Tuning (HyperparameterTuningJob mit Zielmetrik und StoppingCondition für den Trainingsjob) und die Registrierung von Modellen in der SageMaker Model Registry zu definieren. Integrieren Sie Pipelines mit AWS CodePipeline und CodeBuild für CI-Prüfungen auf Code-Ebene und Unit-Tests, und verwenden Sie CloudFormation oder CDK, um konsistente Umgebungen bereitzustellen. Konfigurieren Sie Caching für Schritte, um die erneute Ausführung unveränderter Arbeit zu vermeiden, und parametrisieren Sie Pipeline-Eingaben (S3-Präfixe, Instanztypen). Verlassen Sie sich bei HPO nicht nur auf MaxNumberOfTrainingJobs; setzen Sie auch eine StoppingCondition pro Trainingsjob (MaxRuntimeInSeconds) und aktivieren Sie, wo verfügbar, automatisches Early Stopping, um unkontrollierte Kosten zu vermeiden. Häufige Fallstricke sind die Verwendung des File-Modus für ständig wachsende Datensätze (wechseln Sie bei großen Datensätzen zum Pipe-Modus oder zu verteiltem Training), die fehlende Versionierung von Datensätzen und Features und das Versäumnis, vor dem erneuten Training Datenvalidierungs-Gates (SageMaker Processing + Deequ oder Data Wrangler-Prüfungen) einzubauen. Entscheidungskriterien zwischen In-Database-Modellen (Redshift ML) und SageMaker basieren auf Modellkomplexität, Latenz und betrieblicher Kontrolle: Redshift ML ist praktisch für einfache XGBoost-Modelle innerhalb von SQL, während SageMaker für Deep Nets, benutzerdefinierte Architekturen und skalierbare Endpunkte erforderlich ist.
Monitoring, Drift-Erkennung und Modellqualität
Kontinuierliches Monitoring muss sowohl die Modellleistung als auch die Datenqualität erfassen. Aktivieren Sie die Datenerfassung (Data Capture) von SageMaker-Modell-Endpunkten, um Anfragen und Antworten in S3 zu speichern, und erstellen Sie dann mit einem SageMaker Model Monitor Baseline-Job eine Baseline der Trainingsverteilung. Nutzen Sie die integrierten Model Monitor-Prüfungen für Schemaverletzungen und univariate Drift-Metriken; für Verteilungsverschiebungen berechnen Sie die KL-Divergenz, den Population Stability Index (PSI) oder KS-Tests und setzen Sie CloudWatch-Alarme auf Drift-Schwellenwerte. Verfolgen Sie Modellmetriken – Klassifizierung: Precision/Recall, ROC AUC, Confusion Matrix und klassenspezifische FPR/FNR; Regression: RMSE, MAE und MAPE. Clarify kann Bias- und Erklärbarkeitsprüfungen vor und nach dem Training durchführen und SHAP-basierte Feature-Attributionen erstellen; verwenden Sie Clarify, um Leistungsunterschiede zwischen Untergruppen (sensible Attribute) zu erkennen. Häufige betriebliche Fallstricke sind das Nichterfassen des Inferenzkontexts (Feature-Mapping, Modellversion, Request-ID), das Ignorieren der Label-Latenz (verzögerte Labels verhindern eine zeitnahe Auswertung) und die Verwechslung von Population Shift mit Concept Drift – behandeln Sie diese unterschiedlich (erneutes Training vs. Sammeln von Labels und Neubewertung der Features). Für Benachrichtigungen leiten Sie aggregierte Metriken und Drift-Indikatoren an CloudWatch weiter und automatisieren Sie Rollbacks oder erneutes Training über SageMaker Pipelines, wenn Schwellenwerte überschritten werden.
Labeling, Datenvorbereitung und Feature Engineering
Qualitativ hochwertige Labels und konsistente Feature-Pipelines sind fundamental. Verwenden Sie Amazon SageMaker Ground Truth, um Labeling-Workflows mit automatisiertem Pre-Labeling (modellgestütztes Labeling), Active Learning und Annotationskonsolidierung zu erstellen; wählen Sie Worker-Typen (private Belegschaft, Anbieter oder öffentlich) und konfigurieren Sie die Label-Verifizierung und Metriken für die Inter-Annotator-Übereinstimmung. Für EDA und Transformation laden Sie Datensätze in SageMaker Data Wrangler, um Verteilungen zu profilieren, fehlende Werte zu imputieren und Verarbeitungsskripte in SageMaker Processing-Jobs zu exportieren. Persistieren Sie Online- und Offline-Features im Amazon SageMaker Feature Store für konsistenten Abruf zur Laufzeit und einfache Backfills. Entscheidungen zur Kodierung hängen von Umfang und Kardinalität ab: kategorische Merkmale mit niedriger Kardinalität können One-Hot-kodiert werden; Elemente mit hoher Kardinalität (z. B. 100 Produkt-SKUs) verwenden Target Encoding oder Embeddings (TensorFlow/PyTorch Embedding-Layer oder integrierte SageMaker-Algorithmen), und Multiple-Choice-Antworten aus Umfragen werden auf Multi-Hot-Vektoren abgebildet. Hüten Sie sich vor häufigen Fallstricken wie Label Leakage beim Anhängen täglicher Metadaten (beziehen Sie Feature-Engineering-Fenster und Leakage-Tests mit ein), der Verwendung des File-Modus für sehr große S3-Datensätze (der Pipe-Modus streamt Datensätze und unterstützt verteiltes Training auf mehreren Instanzen) und der fehlenden Versionierung von Transformationen – exportieren Sie Data Wrangler-Transformationen in wiederverwendbare Processing/Training-Schritte, um die Parität zwischen Training und Inferenz sicherzustellen.
Erklärbarkeit, Governance und Skalierung von ML-Teams
Erklärbarkeit und Governance erfordern umsetzbare Artefakte und Audit-Trails. Verwenden Sie SageMaker Clarify, um Bias-Metriken vor dem Training und Merkmalsattributionen nach dem Training (SHAP) zu berechnen und die Ergebnisse mit Einträgen in der Model Registry zu speichern. Registrieren Sie Modelle in der SageMaker Model Registry mit Genehmigungsstatus, signierten ModelPackageGroups und automatisierten Promotion-Gates. Verfolgen Sie Experimente und die Herkunft (Lineage) mit SageMaker Experiments und aktivieren Sie CloudTrail für die Überwachung von API-Aufrufen. Bevorzugen Sie für Erklärbarkeitstechniken die modellnative Merkmalswichtigkeit für baumbasierte Modelle (integriertes SHAP in XGBoost) und verwenden Sie SHAP oder integrierte Gradienten für tiefe neuronale Netze. Achten Sie dabei auf die Laufzeitkosten – berechnen Sie Erklärungen für Batch-Anwendungen offline vor und stellen Sie Zusammenfassungen für Echtzeitanfragen bereit. Zu den Best Practices für Governance gehören Model Cards mit Datensatzbeschreibungen, Fairness-Prüfungen und dokumentierten Geschäftsregeln sowie die Durchsetzung des IAM-Prinzips der geringsten Rechte (Least Privilege) für die Modellbereitstellung. Um Teams zu skalieren, modularisieren Sie Pipelines, erstellen Sie Standardvorlagen für Vorverarbeitung/Validierung, zentralisieren Sie den Feature Store und automatisieren Sie Drift-Erkennung und Retraining-Trigger, damit sich Data Scientists auf Verbesserungen statt auf den Betrieb (Ops) konzentrieren können. Häufige Fallstricke sind das übermäßige Verlassen auf Merkmalswichtigkeit zur Bestimmung von Kausalität, das Nichtpflegen von Audit-Protokollen für bereitgestellte Modelle und das synchrone Bereitstellen rechenintensiver Erklärbarkeitsberechnungen in Endpunkten mit geringer Latenz.
Praktisches Problem: Anwendungsfallszenario
Szenario: Acme Manufacturing betreibt entfernte Sensorflotten mit unterbrochener Konnektivität und nutzt AWS IoT und S3 zur zentralen Aggregation. Ihre AWS-ML-Umgebung umfasst SageMaker, IoT Core, Kinesis Data Streams und Greengrass-fähige Edge-Geräte.
Herausforderung: Bereitstellung einer Anomalieerkennung mit geringer Latenz an entfernten Standorten bei unterbrochener Konnektivität, während gleichzeitig Telemetriedaten für zentrales Retraining und Drift-Erkennung ohne Direct Connect gesammelt werden.
Empfohlener Ansatz:
- Stellen Sie ein kompaktes Anomalieerkennungsmodell, das mit SageMaker Neo kompiliert wurde, auf AWS IoT Greengrass auf Edge-Geräten bereit, um lokale Inferenz und Aktionen in Echtzeit durchzuführen (lokale Alarme, kurzfristige Pufferung).
- Streamen Sie zusammengefasste Telemetriedaten und Anomalie-Flags über AWS IoT Core an Amazon Kinesis Data Streams und verwenden Sie Kinesis Data Firehose, um Rohdaten und aggregierte Daten zur zentralen Speicherung in S3 (Parquet) zu persistieren.
- Erstellen Sie eine SageMaker Pipeline, die S3-Batches aufnimmt, Processing-Jobs (Data Wrangler) zur Berechnung von Baselines und für das Feature Engineering ausführt, bei Bedarf HyperparameterTuningJobs auslöst und validierte Modelle in der SageMaker Model Registry registriert.
- Aktivieren Sie SageMaker Model Monitor auf dem zentralen Endpunkt und planen Sie Batch-Jobs, die die am Edge gesammelten Verteilungen mit den Trainings-Baselines (PSI/KL) vergleichen. Verwenden Sie SageMaker Ground Truth mit gestichprobten Alarmen für die manuelle Kennzeichnung (Human Labeling), um den Kreislauf zu schließen.
Begründung: Edge-Inferenz über Greengrass + Neo gewährleistet Entscheidungen mit geringer Latenz bei unterbrochener Konnektivität; Kinesis + Firehose garantiert eine zuverlässige, geordnete Aufnahme in S3 für das Retraining; SageMaker Pipelines und die Model Registry ermöglichen wiederholbares Retraining, Versionierung und automatisierte Promotion mit Drift-Prüfungen, um die Modellqualität aufrechtzuerhalten.
Diese Fragen üben → · Zeitlich begrenzte Übung auf ExamRoll.io →
Pass the whole exam — not just this question
You found this answer. Get every verified question and explanation in one place, and save hours of prep. Free to start.
Bestehe deine Prüfung →