Amazon MLA-C01: Modellevaluierung und Auswahl — Lernleitfaden

By Laurynas Brazys · 3 August 2026 · #amazon #mla-c01 #certification #exam-prep #study-guide

Teil des AWS Machine Learning Engineer Associate MLA-C01 — Lernleitfaden. Üben Sie mit verifizierten Antworten im Amazon-Prüfungscenter, oder absolvieren Sie zeitlich begrenzte Übungstests auf ExamRoll.io.

Eine genaue Modellevaluierung beginnt mit der Auswahl von Metriken, die zum Geschäftsziel und den Merkmalen der Klassen/Labels passen. Bei der binären Klassifizierung ist die Konfusionsmatrix – True Positives (richtig positiv), False Positives (falsch positiv), False Negatives (falsch negativ), True Negatives (richtig negativ) – die kanonische Grundlage, aus der Präzision (TP / (TP+FP)), Recall oder Sensitivität (TP / (TP+FN)), Spezifität (TN / (TN+FP)) und Genauigkeit ((TP+TN) / Gesamt) abgeleitet werden. Präzision und Recall bilden einen Zielkonflikt (Trade-off), der im F1-Score (2 * Präzision * Recall / (Präzision + Recall)) erfasst wird, welcher das harmonische Mittel ist und das Gleichgewicht zwischen False Positives und False Negatives betont. Wenn das Klassenungleichgewicht stark ausgeprägt ist, kann die Genauigkeit irreführend sein; die Fläche unter der ROC-Kurve (AUC) misst die Trennschärfe über verschiedene Schwellenwerte hinweg und ist in vielen Fällen robust gegenüber Ungleichgewichten, während die Precision-Recall AUC (AUPRC) informativer ist, wenn die Prävalenz der positiven Klasse gering ist. Bei der Regression bestraft der Root Mean Squared Error (RMSE) größere Fehler quadratisch und ist empfindlich gegenüber Ausreißern; verwenden Sie den Mean Absolute Error (MAE), wenn Robustheit gegenüber Ausreißern bevorzugt wird.

Die Wahl des Schwellenwerts ist eine operative Entscheidung: Viele Algorithmen erzeugen einen Wahrscheinlichkeits-Score und benötigen einen Schwellenwert, um diesen in Klassen-Labels umzuwandeln. Verwenden Sie ROC- und Precision-Recall-Kurven, um Schwellenwerte zu finden, die ein gewähltes Ziel maximieren, wie z. B. den F1-Score oder eine geschäftsgewichtete Kostenfunktion. Eine praktische Methode besteht darin, für jeden Schwellenwert Präzision, Recall und F1 aus der Konfusionsmatrix zu berechnen und dann den Schwellenwert auszuwählen, der eine Zielvorgabe für Präzision oder Recall erfüllt. Kreuzvalidierung (Cross-Validation) ergänzt dies, indem sie die Varianz in den Metrikschätzungen reduziert: Verwenden Sie stratifizierte K-Fold-Kreuzvalidierung bei unausgeglichener Klassifizierung, um die Klassenverhältnisse über die Folds hinweg beizubehalten. Im Code liefert StratifiedKFold von scikit-learn mit n_splits und shuffle=True sowie einem festen random_state reproduzierbare Folds; protokollieren Sie die Metriken pro Fold und aggregieren Sie Mittelwerte und Standardabweichungen, um die erwartete Varianz zu quantifizieren. Wenn Sie SageMaker verwenden, können Sie CV-Durchläufe als separate Trainingsjobs orchestrieren und diese mit den SageMaker Experiments APIs verfolgen: CreateExperiment, CreateTrial, CreateTrialComponent und dann LogMetric und LogHyperParameter für jeden Fold.

Der Bias-Varianz-Trade-off leitet die Entscheidungen über Modellkomplexität und Regularisierung. Modelle mit hohem Bias neigen zum Underfitting und erzeugen hohe Fehler auf den Trainings- und Validierungsdatensätzen, während Modelle mit hoher Varianz zum Overfitting neigen und einen niedrigen Trainingsfehler, aber einen hohen Validierungsfehler aufweisen. Beheben Sie Bias, indem Sie die Modellkapazität erhöhen, informative Features hinzufügen oder die Stärke der Regularisierung reduzieren; beheben Sie Varianz durch Hinzufügen von Regularisierung (L1/L2), Reduzierung der Komplexität, Verwendung von Dropout oder Erhöhung der Trainingsdatenmenge. Verwenden Sie Schätzungen aus der Kreuzvalidierung, um Varianz zu erkennen: Eine große Streuung der Metriken über die Folds hinweg deutet auf eine hohe Varianz hin. Integrieren Sie für iteratives Training auf SageMaker Early Stopping (setzen Sie für XGBoost den Hyperparameter early_stopping_rounds und eval_metric='auc' oder 'error') und verwenden Sie SageMaker Automatic Model Tuning mit einer Bayes’schen Strategie, um den hyperparameter_space zu durchsuchen; konfigurieren Sie den HyperparameterTuner mit objective_metric_name, objective_type='Maximize' oder 'Minimize', hyperparameter_ranges, max_jobs und max_parallel_jobs.

Wichtige Services und Konfiguration

AWS-Services bilden eine eng integrierte Toolchain zur Verfolgung von Experimenten, Registrierung von Modellen, Erkennung von Drift und Durchsetzung von Deployment-Leitplanken (Guardrails). Verwenden Sie Amazon SageMaker Experiments, um Durchläufe zu organisieren; rufen Sie sagemaker.create_experiment, sagemaker.create_trial und sagemaker.log_metric auf, um Hyperparameter und Metriken zu persistieren. Für ein zentralisiertes Management des Modell-Lebenszyklus verwenden Sie die SageMaker Model Registry (ModelPackageGroup und ModelPackage) und steuern Sie den Deployment-Fluss über das Modellpaket-Attribut ModelPackageApprovalStatus, das Werte wie “PendingManualApproval”, “Approved” und “Rejected” unterstützt. Integrieren Sie manuelle Genehmigungen in einen CI/CD-Flow, indem Sie UpdateModelPackage aufrufen, um den approval_status von einer AWS Lambda-Funktion oder einer menschlichen Genehmigungsaktion in Step Functions aus zu ändern.

Für die Überwachung nach dem Deployment und die Erkennung von Bias/Drift verwenden Sie SageMaker Model Monitor und SageMaker Clarify. Aktivieren Sie die Echtzeit-Datenerfassung an einem Endpunkt, indem Sie DataCaptureConfig im Aufruf CreateEndpointConfig oder UpdateEndpointConfig setzen; spezifizieren Sie CaptureOptions: [{"CaptureMode":"Input"}, {"CaptureMode":"Output"}], DestinationS3Uri und SamplingPercentage, um repräsentative Payloads zu sammeln. Verwenden Sie Model Monitor DefaultModelMonitor, um eine GenerateBaseline (baseline_statistics- und baseline_constraints-JSON) aus einem Referenzdatensatz zu erstellen, und erstellen Sie dann einen Überwachungszeitplan mit create_monitoring_schedule, wobei Sie eine MonitoringScheduleConfig, einen schedule_expression (cron oder rate) und MonitoringInputs wie EndpointInput mit local_path und S3InputMode angeben. Für Fairness und Bias verwenden Sie SageMaker Clarify als ProcessingJob mit den clarify_config-Parametern compute_bias und compute_data_drift oder verwenden Sie das SageMaker Clarify Built-in in einem Processing-Job und persistieren Sie die Ergebnisse zur Darstellung in Dashboards in S3.

Mehrere AWS-Funktionen werden häufig gemeinsam für Datenaggregation, Feature-Vorbereitung und Anomalieerkennung verwendet:

Amazon S3 für Speicherung und sichere Isolierung (Bucket-Richtlinien, S3 Block Public Access und KMS-Verschlüsselung über SSE-KMS).
AWS Glue und AWS Glue Data Catalog, um Datensätze aus S3- und JDBC-Quellen zu entdecken, zu vereinheitlichen und zu katalogisieren.
Amazon SageMaker Data Wrangler für Drag-and-Drop-Transformationen und die automatische Visualisierung von Verteilungen, fehlenden Werten und Schiefe (Skew).
Amazon SageMaker Feature Store für Online- und Offline-Bereitstellung von Features mit den APIs PutRecord und GetRecord sowie für konsistente Features beim Training und Serving.
SageMaker Model Monitor und SageMaker Clarify für Drift, Bias und Überwachung.
Amazon Lookout for Metrics für die automatische Anomalieerkennung in Zeitreihen, wo dies angebracht ist.

Entwurfsmuster und Kompromisse

Wenn der Betriebsaufwand minimiert werden muss, sollten Sie verwaltete Dienste und integrierte Algorithmusfunktionen bevorzugen, anstatt benutzerdefinierte ETL- oder Überwachungspipelines zu erstellen. Wenn Sie beispielsweise einen binären Klassifikator zur Betrugserkennung trainieren, ist XGBoost eine effiziente, in SageMaker integrierte Wahl, die Training mit geringer Latenz und auf Imbalance zugeschnittene Hyperparameter bietet, wie z. B. scale_pos_weight, den Sie auf (num_negative / num_positive) setzen sollten. Konfigurieren Sie die XGBoost-Hyperparameter im Estimator oder Trainingscontainer: objective=‘binary:logistic’, eval_metric=‘aucpr’ oder ‘auc’ und early_stopping_rounds, um verrauschte Durchläufe zu beenden. Dies vermeidet die Erstellung benutzerdefinierter Oversampling-Pipelines (SMOTE), es sei denn, es ist ein domänenspezifisches synthetisches Sampling erforderlich.

Für das Feature Engineering verwenden Sie SageMaker Data Wrangler, um Kodierungstransformationen anzuwenden (One-Hot für kategorische Merkmale mit niedriger Kardinalität, Ordinal-/Label-Kodierung oder Target-Kodierung für Merkmale mit hoher Kardinalität) und dann bereinigte Features im SageMaker Feature Store oder in S3 zu materialisieren. Data Wrangler reduziert einen Großteil des Betriebsaufwands und erzeugt Skripte oder Verarbeitungsjobs, die Sie wiederverwenden können. Wenn Sie eine automatisierte Modellauswahl mit minimalem Aufwand benötigen, kann SageMaker Autopilot gemischte kategorische und numerische Merkmale automatisch vorverarbeiten und Kandidatenmodelle generieren. Autopilot abstrahiert jedoch die Transformationen und ist möglicherweise nicht optimal für benutzerdefinierte Feature-Regime.

Modellvergleich und -Promotion sind am robustesten, wenn Metriken, Artefakte und die Herkunft (Lineage) aufgezeichnet werden. Verwenden Sie SageMaker Experiments, um Durchläufe zu vergleichen, und erstellen Sie dann ein ModelPackage in einer ModelPackageGroup. Führen Sie die Promotion durch, indem Sie den ModelPackageApprovalStatus auf “Approved” setzen und eine EndpointConfig erstellen, die auf die ARN des Modellpakets verweist. Wo eine manuelle Steuerung erforderlich ist, belassen Sie das Modell im Status “PendingManualApproval” und verdrahten Sie einen menschlichen Genehmigungsworkflow mit Step Functions oder AWS CodePipeline mit einer Genehmigungsaktion, die UpdateModelPackage aufruft, um es in den Status “Approved” zu verschieben.

Häufige Fallstricke und Entscheidungskriterien

Ein häufiger Fehler ist die Verwechslung eines Abfalls des F1-Scores in der Produktion mit einem Modellfehler, obwohl das zugrunde liegende Problem ein Data Drift ist. Die wahrscheinlichste Ursache für einen anhaltenden F1-Abfall Monate nach der Bereitstellung ist ein Drift in der Eingabeverteilung oder ein Label-Drift (Concept Drift) und nicht ein plötzlicher Bug. Zur Diagnose aktivieren Sie DataCaptureConfig auf dem Endpunkt, um Anfrage- und Antwort-Payloads in S3 zu erfassen, führen Sie Model Monitor Monitoring Schedules gegen die Baseline-Constraints aus und berechnen Sie Statistiken zur Merkmalsverteilung sowie den PSI (Population Stability Index). Führen Sie außerdem Clarify-Prüfungen auf Data Drift und Bias durch, um Verschiebungen zu erkennen, die Fairness-Metriken beeinflussen.

Ein weiterer häufiger Fehler ist der unsachgemäße Umgang mit unausgeglichenen Klassen durch naives Resampling, ohne dabei zeitliche Lecks oder Geschäftskosten zu berücksichtigen. Bevorzugen Sie zuerst Kontrollen auf Algorithmus-Ebene – setzen Sie für XGBoost scale_pos_weight und stimmen Sie eval_metric auf aucpr oder ein benutzerdefiniertes Ziel ab –, bevor Sie zu Sampling-Strategien übergehen, die duplizierte Beispiele einführen können. Für Reproduzierbarkeit und Experiment-Tracking verwenden Sie immer die SageMaker Experiments APIs, um Hyperparameter und Metriken zu protokollieren und Modellpakete mit Artefakt-URIs und Herkunfts-Metadaten zu registrieren, damit Beförderungen (Promotions) auditierbar sind.

Praktisches Problem: Anwendungsfallszenario

Unternehmen: FinSight Inc. – Betrugserkennung für Online-Transaktionen mit Daten in Amazon S3 und On-Premises-MySQL, Anforderung für sichere Datenisolation, automatisierte Anomalieerkennung und -visualisierung, manuelle Genehmigung vor der Produktionsbereitstellung, geringe Startlatenz für iteratives Training und zentralisierte Modellversionierung mit minimalem Betriebsaufwand.

Datenaggregation und Sicherheit: Verwenden Sie AWS Glue, um die S3-Transaktionsprotokolle zu crawlen und Glue-Katalogtabellen zu erstellen, richten Sie die Bucket-Verschlüsselung mit SSE-KMS ein und beschränken Sie den Zugriff durch IAM-Richtlinien und VPC-Endpunkte. Für On-Premises-MySQL verwenden Sie eine AWS Glue JDBC-Verbindung innerhalb einer VPC mit einem sicheren VPN oder AWS Direct Connect, oder verwenden Sie AWS DMS, um die erforderlichen Tabellen in eine S3-Landing-Zone zu replizieren. Registrieren Sie Datensätze im Glue Data Catalog und gewähren Sie den SageMaker-Ausführungsrollen den Zugriff mit den geringsten Rechten (Least-Privilege).
Feature-Vorbereitung und Anomalieerkennung: Verwenden Sie Amazon SageMaker Data Wrangler, um eine Verbindung zum Glue Catalog und zur S3-Landing-Zone herzustellen, Transformationen anzuwenden (Imputation fehlender Werte, Label-Encoding für kategoriale Variablen, Skalierung für numerische Werte) und das integrierte Profiling von Data Wrangler auszuführen, um Verteilungen zu visualisieren und Anomalien zu kennzeichnen. Exportieren Sie die verarbeiteten Features in den Offline-Store des SageMaker Feature Store für das Training und in den Online-Store für Abfragen mit geringer Latenz bei der Inferenz.
Modelltraining und Minimierung der Startlatenz: Verwenden Sie den SageMaker Estimator für XGBoost mit objective='binary:logistic', eval_metric='aucpr' und setzen Sie scale_pos_weight=(neg_count/pos_count). Um die Startlatenz bei iterativen Trainingsjobs zu reduzieren, cachen Sie die Ausgaben von Data Wrangler in S3 und verwenden Sie dasselbe Trainings-Container-Image und denselben Instanztyp wieder, anstatt die Datenaufnahme jedes Mal neu zu erstellen; verwenden Sie SageMaker Pipelines mit aktiviertem cache_config, damit wiederholte Schritte mit unveränderten Eingaben/Hyperparametern den Start der Infrastruktur überspringen.
Experiment-Tracking und Modellauswahl: Instrumentieren Sie jeden Trainingslauf mit SageMaker Experiments (CreateExperiment, CreateTrial, LogMetric). Verwenden Sie den HyperparameterTuner, der mit objective_metric_name='validation:aucpr', objective_type='Maximize', strategy='Bayesian', max_jobs und max_parallel_jobs konfiguriert ist, um die besten Hyperparameter zu finden. Vergleichen Sie Modelle in Experiments und registrieren Sie ausgewählte Kandidaten in der SageMaker Model Registry, indem Sie ein ModelPackage in einer ModelPackageGroup erstellen.
Manuelle Genehmigung und Deployment-Steuerung: Belassen Sie neu erstellte Modellpakete im Status ModelPackageApprovalStatus='PendingManualApproval'. Verwenden Sie einen AWS Step Functions-Workflow mit einer menschlichen Genehmigungsaufgabe oder eine AWS CodePipeline-Genehmigungsaktion; sobald die Genehmigung erteilt ist, führen Sie UpdateModelPackage aus, um die Genehmigung auf ‘Approved’ zu setzen und die automatische Erstellung einer EndpointConfig und die Ausführung von UpdateEndpoint zur Bereitstellung auszulösen.
Überwachung, Bias und Drift: Aktivieren Sie DataCaptureConfig auf dem Echtzeit-Endpunkt mit CaptureOptions für Input und Output, DestinationS3Uri und SamplingPercentage. Erzeugen Sie Baseline-Statistiken mit GenerateBaseline von Model Monitor aus dem Trainingsdatensatz und planen Sie eine kontinuierliche Überwachung mit create_monitoring_schedule. Führen Sie SageMaker Clarify regelmäßig als Processing Job aus, um Bias- und Data-Drift-Metriken zu berechnen. Wenn der F1-Score unter die Baseline-Constraints fällt, verwenden Sie Model Monitor-Alarme, um eine automatisierte Retrain-Pipeline (SageMaker Pipeline) auszulösen, die neue Läufe in Experiments protokolliert und neue Modellpakete zur menschlichen Überprüfung erstellt.

AWS-Begründung: Dieser Ansatz nutzt verwaltete SageMaker-Funktionen – Data Wrangler und Feature Store zur Minimierung des Vorverarbeitungsaufwands, XGBoost mit scale_pos_weight zur Handhabung von unausgeglichenen Daten ohne komplexes Resampling, SageMaker Experiments und Model Registry für ein auditierbares Management des Experiment- und Modelllebenszyklus, DataCaptureConfig plus Model Monitor und Clarify zur automatisierten Erkennung von Drift und Fairness, und Step Functions/CodePipeline integriert mit der Model Registry, um die erforderliche manuelle Genehmigungsschleuse bereitzustellen. Diese Dienste zusammen minimieren den Betriebsaufwand und gewährleisten gleichzeitig Sicherheit, Nachverfolgbarkeit und die Fähigkeit, auf eine Verschlechterung des Modells zu reagieren.

← Modelltraining und Hyperparameter-Optimierung · Alle Domänen · Modellbereitstellung und Inferenz →

Diese Fragen üben → · Zeitlich begrenzte Übung auf ExamRoll.io →