Amazon MLS-C01: Verkennende data-analyse & visualisatie — Studiegids

By Laurynas Brazys · 26 July 2026 · #amazon #mls-c01 #certification #exam-prep #study-guide

Onderdeel van de AWS Machine Learning Specialty MLS-C01 — Studiegids. Oefen met geverifieerde antwoorden in het Amazon-examencentrum, of doe getimede oefentests op ExamRoll.io.

Distributies, Transformaties en Feature Scaling

Het begrijpen van de ruwe distributies van features is de basis van EDA. Begin met het profileren van elke variabele met histogrammen, kernel density estimates en kwantieloverzichten in een SageMaker Studio notebook of een SageMaker Processing job (ml.m5.xlarge met scikit-learn/pandas). Log-transformaties, Box-Cox, Yeo-Johnson en op rang gebaseerde transformaties (quantile transformer) zijn geschikt voor rechtsscheve data, maar Box-Cox vereist strikt positieve waarden en faalt bij nullen. Veelvoorkomende valkuilen zijn het toepassen van log/Box-Cox zonder nullen te compenseren en het vergeten om transformaties om te keren bij het interpreteren van modeluitvoer. Standaardisatie (nul gemiddelde, eenheidsvariantie) is essentieel voor op afstand gebaseerde methoden (k-means, PCA, SVM) en voor geregulariseerde lineaire modellen; Min-Max scaling is nuttig voor neurale netwerken met begrensde activaties. Bij het deployen, sla transformers op in SageMaker Feature Store of als modelartefacten, zodat online en batch inference identieke preprocessing gebruiken. Gebruik AWS Glue of Glue DataBrew om zeer grote S3-datasets te profileren en samenvattende statistieken te genereren; gebruik Athena om gestratificeerde steekproeven te queryen. Beslissingscriteria hangen af van de gevoeligheid van het algoritme: tree ensembles tolereren ongeschaalde features, terwijl lineaire en op afstand gebaseerde methoden dat niet doen. Controleer ten slotte op uitschieters en ‘heavy tails’ met robuuste statistieken (mediaan, IQR) en onderzoek of je moet clippen, winsorizen of afzonderlijk modelleren (segmentatie) in plaats van blindelings datapunten te verwijderen.

Residuanalyse, Learning Curves en Diagnostische Tests

Residuen onthullen modelspecificatiefouten: een gemiddelde dat niet nul is, heteroscedasticiteit, autocorrelatie of non-lineariteit moeten worden gediagnosticeerd. Plot residuen tegen voorspelde waarden en tegen belangrijke features in SageMaker Studio; bereken Durbin-Watson voor autocorrelatie en gebruik Ljung-Box voor de correlatie van residuen in tijdreeksen. Zoek bij regressie naar trechtervormen die duiden op heteroscedasticiteit; pas variantie-stabiliserende transformaties toe of gebruik heteroscedastische modellen (bijv. XGBoost met een aangepaste objective of probabilistische forecasting). Learning curves — grafieken van de training- en validatiefout versus de grootte van de trainingsset — identificeren hoge variantie (overfitting) of hoge bias (underfitting). Gebruik SageMaker Debugger om tensoren per epoch en CloudWatch-metrics vast te leggen en voeg een CloudWatch-alarm toe dat afgaat als de validatie-loss divergeert terwijl de training-loss daalt. Veelvoorkomende valkuilen zijn het gebruik van willekeurige cross-validatie voor temporele data (gebruik op tijd gebaseerde splits) en het evalueren met ‘accuracy’ op ongebalanceerde sets (geef de voorkeur aan precision-recall of AUC-PR). Gebruik voor hyperparameter tuning deze diagnostiek om beslissingen te sturen: als de kloof met de validatiedata aanhoudt, verhoog dan de regularisatie, voeg data toe of verminder de complexiteit van het model; als beide fouten hoog zijn, verhoog dan de capaciteit of voeg features toe. Sla diagnostische plots en metrics op via SageMaker Experiments voor reproduceerbaarheid.

Dimensionaliteitsreductie, PCA, Eigenanalyse en Clustering

Dimensionaliteitsreductie vermindert ruis en verbetert de interpreteerbaarheid. Pas PCA of randomized SVD (scikit-learn of Spark MLlib op EMR/Glue) toe na het schalen; inspecteer de ’explained variance ratio’ om het aantal componenten te kiezen en onderzoek de ’loadings’ om componenten terug te mappen naar de oorspronkelijke features. De tekens van eigenvectoren zijn willekeurig — interpreteer de absolute ’loadings’ en groepeer features op basis van grootte. Gebruik voor een zeer niet-lineaire structuur t-SNE of UMAP alleen voor visualisatie, niet als preprocessing voor modellen zonder zorgvuldige cross-validatie. Kies voor clustering k-means voor sferische clusters (schalen vereist), Gaussian Mixture Models voor ‘soft assignments’ en DBSCAN voor op dichtheid gebaseerde vormen; gebruik silhouette scores en de Davies-Bouldin index om te vergelijken. Gebruik op grote datasets de ingebouwde k-means van SageMaker (GPU/CPU instances) of voer mini-batch k-means uit in SageMaker Processing. Pas op voor de valkuil van het toepassen van PCA op categorische features die one-hot-encoded zijn — overweeg feature hashing of embedding layers. Gebruik ’elbow plots’, ’explained variance plots’ en clusterstabiliteit over sub-steekproeven om k te bepalen. Sla cluster-centroïden en PCA-transformers op in SageMaker Feature Store, zodat downstream real-time scoring en op segmenten gebaseerde modellen consistente transformaties gebruiken.

Visualisatie, Monitoring en AWS-integratie voor Drift en Prestaties

Visualisatie is zowel exploratief als operationeel: gebruik matplotlib/seaborn in SageMaker Studio voor ad-hoc grafieken en Amazon QuickSight voor dashboards die live prestatiemetrieken bijhouden. Voor modeldrift en datakwaliteit, stel baselines vast met een representatieve trainingssteekproef via SageMaker Model Monitor en SageMaker Clarify om distributionele verschuivingen, veranderingen in feature-belangrijkheid en bias te detecteren. Configureer Model Monitor met een baseline die is afgeleid van een artefact van een Processing job en schakel continue monitoring in op geïmplementeerde endpoints met uurlijkse/dagelijkse controles; CloudWatch-events en SNS kunnen waarschuwingen activeren. Voor streaming-ingestie en -analyse, gebruik Kinesis Data Firehose om JSON naar S3 te persisteren met formaatconversie naar Parquet (schakel recordformaatconversie en Glue Catalog-integratie in) of koppel een Lambda voor aangepaste transformaties. Voor near-real-time SQL over gecomprimeerde bestanden, partitioneer en registreer data in de Glue Data Catalog en voer queries uit met Athena, waarbij partities worden vernieuwd via Lambda bij de aankomst van een nieuw S3-object. Veelvoorkomende valkuilen zijn het niet versioneren van baselines, het negeren van schema-evolutie (gebruik Glue Schema Registry), en uitsluitend vertrouwen op geaggregeerde metrieken—neem altijd drift per feature en prestaties per segment op om gelokaliseerde degradatie te detecteren. Gebruik SageMaker Experiments en Model Monitor samen om veranderingen in hyperparameters te correleren met drift-gebeurtenissen en om lineage te behouden.

Praktijkprobleem: Gebruiksscenario

Scenario: Acme Retailer gebruikt de AWS ML-stack met SageMaker Studio, een S3 data lake, Kinesis Firehose voor ingestie, Glue Data Catalog en QuickSight voor visualisatie. Het team slaat klantdemografie, sessielogs en aankopen op in S3 als JSON en Parquet.

Uitdaging: Identificeer klantsegmenten die het meest waarschijnlijk zullen churnen (opzeggen) in de komende zes maanden en zet monitoring op om te detecteren of feature-distributies of modelprestaties driften na de implementatie.

Aanbevolen Aanpak:

Creëer een SageMaker Processing job (ml.m5.xlarge) om data te samplen en te profileren met pandas/sklearn, pas waar nodig log/Box-Cox-transformaties toe, en registreer preprocessing-artefacten in SageMaker Feature Store.
Bereken PCA (scikit-learn of Spark ML op Glue/EMR) na het schalen om dimensionaliteit te reduceren, onderzoek de verklaarde variantie en loadings, en voer clustering uit met SageMaker xgboost of de ingebouwde k-means om segmenten af te leiden.
Train een classificatiemodel (XGBoost in SageMaker of een klein NN in TensorFlow) met behulp van tijd-bewuste train/validatie-splits, log metrieken naar SageMaker Experiments, en stel early stopping en class-weighting in voor onbalans.
Implementeer met een SageMaker Endpoint, schakel Model Monitor in met een baseline die is gegenereerd door de Processing job, configureer uurlijkse driftcontroles en CloudWatch-alarmen om via SNS te notificeren; visualiseer prestaties en drift op segmentniveau in QuickSight.

Rationale: Deze aanpak combineert robuuste preprocessing, interpreteerbare dimensionaliteitsreductie en schaalbare clustering voor segmentatie, terwijl SageMaker Model Monitor en QuickSight operationele detectie van data- en prestatiedrift bieden. Dit zorgt voor reproduceerbare preprocessing via Feature Store en gevolgde experimenten voor root-cause analyse.

← Data Engineering · Alle domeinen · Modelleren — Gesuperviseerd →

Oefen deze vragen → · Getimede oefening op ExamRoll.io →