Amazon MLA-C01: Modelmonitoring en Observeerbaarheid — Studiegids

By Laurynas Brazys · 3 August 2026 · #amazon #mla-c01 #certification #exam-prep #study-guide

Onderdeel van de AWS Machine Learning Engineer Associate MLA-C01 — Studiegids. Oefen met geverifieerde antwoorden in het Amazon-examencentrum, of doe getimede oefentests op ExamRoll.io.

Kernconcepten: drift, baselines en observability

Modelmonitoring is de operationele discipline die ruwe runtime-telemetrie omzet in bruikbare signalen: data drift, concept drift, regressies in modelkwaliteit en de gezondheid van de infrastructuur. Data drift betekent dat de statistische verdeling van input-features in productie afwijkt van de baseline-verdeling die tijdens de training is waargenomen; concept drift betekent dat de statistische relatie tussen inputs en labels verandert, waardoor de voorspellende mapping van het model verslechtert. Effectieve observability vereist een baseline van verwacht gedrag, continue profilering van productie-inputs en -outputs, extractie van metrics (zowel model-centrisch zoals F1/ROC AUC als data-centrisch zoals KS-afstand, PSI, percentages ontbrekende waarden, kardinaliteit van categorieën), en een betrouwbaar alarmerings- en workflowsysteem dat de cirkel sluit naar validatie of hertraining.

Baselines worden doorgaans gegenereerd op basis van een representatieve snapshot van trainings- (en validatie-)data met behulp van beschrijvende statistieken en constraint-bestanden. In AWS SageMaker kan de DefaultModelMonitor.suggest_baseline-utility of een Processing job baseline-statistieken en een initiële set constraints (bijv. min/max, toegestane categorische waarden, percentielen) berekenen. De output is een JSON-constraints-bestand en een statistiekenbestand die worden opgeslagen in S3; deze artefacten worden de canonieke baseline waarnaar doorlopende monitoring-jobs verwijzen. Monitoring vergelijkt statistieken per batch met die baselines en signaleert schendingen wanneer geconfigureerde drempelwaarden worden overschreden. Observability betekent ook het vastleggen van model-inputs, model-outputs, inference latency en de downstream business metric (indien beschikbaar) en het correleren van deze signalen om een daling in model-level metrics zoals F1 snel te kunnen analyseren.

Belangrijkste services en configuratie

SageMaker Model Monitor biedt de beheerde mogelijkheid om processing jobs in te plannen die statistieken berekenen en evalueren ten opzichte van baselines. De kern-API’s en configuratieobjecten die je zult gebruiken zijn onder andere CreateMonitoringSchedule met parameters MonitoringScheduleName en MonitoringScheduleConfig, waarbij MonitoringScheduleConfig een ScheduleConfig bevat met een cron-stijl ScheduleExpression en een MonitoringJobDefinition die RoleArn, MonitoringAppSpecification.ImageUri, MonitoringResources.ClusterConfig (InstanceType, InstanceCount, VolumeSizeInGB), MonitoringInputs (S3-inputlocaties en DatasetFormat), en MonitoringOutputConfig.S3OutputPath omvat. Naar baseline-artefacten wordt verwezen via MonitoringJobDefinition.BaselineConfig. Gebruik voor automatische afleiding van de baseline de DefaultModelMonitor.suggest_baseline-call (SageMaker Python SDK), die een ProcessingJob uitvoert die constraints en statistieken naar S3 schrijft.

Observability en alarmering worden geïmplementeerd met behulp van CloudWatch metrics en alarms en EventBridge voor event-driven workflows. Model Monitor publiceert uitvoeringsresultaten die kunnen worden omgezet in CloudWatch-metrics; om een alarm te creëren gebruik je de PutMetricAlarm-API met AlarmName, MetricName, Namespace, Statistic (of MetricDataQuery), ComparisonOperator, Threshold, Period en EvaluationPeriods. Koppel alarmen aan geautomatiseerde acties door AlarmActions op te geven die verwijzen naar een SNS-topic of een EventBridge-target. EventBridge-regels kunnen filteren op de bron “aws.sagemaker” en een patroon gebruiken dat overeenkomt met uitvoeringsfouten of constraint-schendingen van een Model Monitor-monitoringschema, en vervolgens routeren naar een Lambda of rechtstreeks naar StartPipelineExecution voor een SageMaker Pipeline.

Voor gecontroleerde implementatie en handmatige goedkeuringen ondersteunt de SageMaker Model Registry ModelPackage- en ModelPackageGroup-objecten. Wanneer je CreateModelPackage aanroept, kun je ModelApprovalStatus instellen op “PendingManualApproval”, en later roept een geautoriseerde gebruiker UpdateModelPackage aan met ModelApprovalStatus ingesteld op “Approved”. Pipelines of CI/CD-jobs die modellen implementeren, zullen alleen modelpakketversies promoten met ModelApprovalStatus == “Approved”. Gebruik IAM-beleidsregels om te bepalen wie UpdateModelPackage mag aanroepen.

Een complete monitoring-stack maakt doorgaans gebruik van de volgende services in combinatie:

Amazon SageMaker Model Monitor
Amazon SageMaker Pipelines en Model Registry
Amazon S3 (voor baselines, ground truth en het vastleggen van inference-data)
Amazon CloudWatch (metrics, logs, PutMetricAlarm)
Amazon EventBridge (event-regels en routering)
AWS Lambda of Step Functions (doelen voor automatisering)
Amazon SNS (alarmnotificaties)
AWS Glue / Athena / QuickSight voor ad-hoc verkenning en visualisatie

Ontwerppatronen en afwegingen

Een gebruikelijk, robuust patroon is om kortetermijndetectie te scheiden van langetermijnherstel. Gebruik een monitoringschema met een hoge frequentie (bijvoorbeeld elk uur of elke dag een CreateMonitoringSchedule met ScheduleExpression) om statistieken per batch te berekenen en drift snel te detecteren. Voer de resultaten per run in CloudWatch custom metrics in met behulp van PutMetricData, en creëer CloudWatch Alarms met conservatieve drempelwaarden voor geautomatiseerde acties met een lage betrouwbaarheid (bv. notificaties versturen) en strengere drempelwaarden voor geautomatiseerde acties met een hoge betrouwbaarheid (bv. een hertrainingspijplijn starten). EventBridge-regels overbruggen de detectie naar herstel door een Model Monitor-schendingsevenement of een statuswijziging van een CloudWatch Alarm te koppelen aan een Lambda die authenticeert en StartPipelineExecution aanroept voor een SageMaker Pipeline, of een hertrainingstaak start via CreateTrainingJob.

Weeg bij de beslissing om automatisch te hertrainen of handmatige goedkeuring te vereisen, het bedrijfsrisico en de compliance af. Automatisch hertrainen is geschikt voor modellen met een laag risico met betrouwbare geautomatiseerde validatiestappen in de pijplijn (datavalidatie, modelevaluatie tegen holdout-data, rollback-tests). Voor gereguleerde modellen of modellen met een hoge impact, gebruik het patroon voor handmatige goedkeuring van de Model Registry: push een kandidaat-ModelPackage met ModelApprovalStatus “PendingManualApproval”, start een menselijke beoordelingsflow (bv. een ticket in een MLOps-dashboard of een goedkeurings-Lambda die ModelPackage bijwerkt via UpdateModelPackage), en sta pas dan de implementatie naar productie-eindpunten toe.

De monitoringsfrequentie en de omvang van de vastgelegde inferentie brengen afwegingen met zich mee tussen kosten en gevoeligheid. Kleinere batchvensters verhogen de gevoeligheid voor tijdelijke ruis en verhogen de verwerkingskosten, terwijl grotere vensters de kosten verlagen maar de detectie van snelle drift kunnen vertragen. Evenzo kan het vastleggen van volledige inferentie-payloads duur zijn en data governance-problemen veroorzaken; overweeg sampling of het opslaan van alleen geaggregeerde features en modeloutputs, tenzij volledige replays nodig zijn voor root cause analysis.

Geef voor hertrainingstriggers de voorkeur aan event-driven automatisering die de bedrijfslogica in de pijplijn codeert: het afgaan van een CloudWatch Alarm triggert een EventBridge-regel die een minimale payload (S3 URI’s voor vastgelegde data en ‘constraint diff’-bestanden) doorgeeft aan StartPipelineExecution met PipelineParameters zoals “TrainingDataS3Uri”, “BaselineConstraintsS3Uri” en “RetrainTriggerReason”. Dit houdt de trigger deterministisch en auditeerbaar.

Veelvoorkomende valkuilen en beslissingscriteria

Een veelvoorkomende valkuil is het beschouwen van statistische drift als iets waarop altijd actie moet worden ondernomen. Niet alle drift beïnvloedt de prestaties van het model. Correleer veranderingen in de distributie van features met kwaliteitsmetrieken van het model (F1, precision-recall, kalibratie) voordat u kostbare hertrainingen start. Een andere fout is het niet beveiligen van vastgelegde inferentiedata; kies voor encryptie-at-rest (S3 SSE-KMS), S3 bucket policies en VPC-eindpunten om productiedata geïsoleerd te houden. Zorg er bij het configureren van monitoring jobs voor dat de IAM RoleArn de minst geprivilegieerde toegang heeft: leestoegang tot de S3-prefixes voor inferentie-opslag, schrijftoegang tot de S3-prefix voor monitoring-output, en de permissie om CloudWatch-logs aan te maken als u logs genereert.

Baseer beslissingen over de hertrainingsfrequentie en de complexiteit van de pipeline op de waargenomen signaal-ruisverhoudingen. Als Model Monitor frequente, tijdelijke schendingen vertoont, implementeer dan smoothing of vereis meerdere opeenvolgende schendingen voordat pipelines worden getriggerd. Voor workflows met handmatige goedkeuring, dwing het gebruik van UpdateModelPackage(ModelApprovalStatus="Approved") af via een beperkte set IAM-permissies en leg de identiteit van de goedkeurder vast in de metadata van de pipeline-uitvoering voor compliancedoeleinden.

Praktijkprobleem: Use-Case Scenario

Naam bedrijf: FinSecure Analytics; uitdaging: een productie XGBoost-model voor fraudedetectie vertoont periodieke pieken in false positives en een gestage daling van de F1-score over meerdere maanden; data is afkomstig van S3-transactielogs en een on-premises MySQL-mirror van klantprofielen; het model moet worden geaudit en opnieuw worden getraind met menselijke goedkeuring.

Geautomatiseerde monitoring en baseline: voer DefaultModelMonitor.suggest_baseline uit op een representatieve trainingssnapshot om baseline-statistieken en -beperkingen te genereren die worden opgeslagen in S3 (baseline S3-prefix). Maak een CreateMonitoringSchedule aan met een MonitoringScheduleConfig die een ScheduleExpression voor uurlijkse uitvoeringen specificeert, een RoleArn met S3 lees-/schrijfrechten, een MonitoringAppSpecification.ImageUri die verwijst naar de Model Monitor-container, een MonitoringResources.ClusterConfig met InstanceType ml.m5.large en InstanceCount 1, MonitoringInputs die verwijzen naar de S3-prefixes voor vastgelegde inferenties, en een MonitoringOutputConfig.S3OutputPath om de output van de runs vast te leggen.
Alerts en triage: publiceer het aantal schendingen per run naar CloudWatch met PutMetricData onder een aangepaste Namespace en maak een PutMetricAlarm aan met een AlarmName die een drempelwaarde instelt voor NumberOfViolations > X gedurende drie opeenvolgende perioden. Configureer AlarmActions naar een SNS-topic en een EventBridge-regel die filtert op source "aws.sagemaker" en detail-type "SageMaker Model Monitor" om metadata over de schending op te nemen.
Herstelpijplijn met handmatige goedkeuring: implementeer een SageMaker Pipeline die data-ingestie uitvoert (een Glue-job om de S3 + MySQL-mirror te centraliseren in een trainingsdataset), geautomatiseerde feature engineering, training via CreateTrainingJob met de XGBoost-container, een evaluatiestap die F1- en bias-rapporten produceert, en registratie in de Model Registry via CreateModelPackage met ModelApprovalStatus="PendingManualApproval". De pipeline schrijft evaluatiemetrieken naar CloudWatch en naar de metadata van de ModelPackage.
Human-in-the-loop en handhaving: gebruik een EventBridge-regel die wordt getriggerd door het CloudWatch Alarm om het data science-team via SNS op de hoogte te stellen; de goedkeurder beoordeelt de evaluatie-artefacten die toegankelijk zijn in S3/QuickSight en roept vervolgens UpdateModelPackage aan met ModelApprovalStatus="Approved". De CICD/deployment-stap controleert de ModelApprovalStatus voordat CreateModel (of een SageMaker-eindpuntupdate) wordt aangeroepen. Voor geautomatiseerde hertraining waarbij metrieken onder geautomatiseerde drempels vallen en het bedrijf automatische hertraining accepteert, koppel een Lambda-target aan de EventBridge-regel die StartPipelineExecution aanroept met PipelineParameters TrainingDataS3Uri en RetrainTriggerReason, waardoor een volledig geautomatiseerd pad mogelijk wordt dat wordt bewaakt door strengere drempels.

AWS-redenering: SageMaker Model Monitor centraliseert driftdetectie en baselinevergelijking met minimale operationele inspanning; CloudWatch en EventBridge bieden robuuste alarmering en routering naar SNS/Lambda; SageMaker Pipelines automatiseert hertraining en modelvalidatie; de ModelApprovalStatus van de Model Registry dwingt een handmatige goedkeuringspoort af voor productie-implementaties, en S3/Glue/Athena bieden gecentraliseerde, veilige data-aggregatie voor training en visualisatie. Samen maken deze services reproduceerbare baselines, auditeerbare goedkeuringen en configureerbare geautomatiseerde hertraining mogelijk met een duidelijke scheiding tussen detectie en herstel.

← MLOps en Beheer van de Modellevenscyclus · Alle domeinen · Beveiliging →

Oefen deze vragen → · Getimede oefening op ExamRoll.io →