Amazon MLA-C01: Data Engineering en Feature Engineering — Studiegids
Onderdeel van de AWS Machine Learning Engineer Associate MLA-C01 — Studiegids. Oefen met geverifieerde antwoorden in het Amazon-examencentrum, of doe getimede oefentests op ExamRoll.io.
Kernconcept
Data engineering voor ML draait om het produceren van reproduceerbare, auditeerbare inputs voor modeltraining en inferentie, terwijl lekkage en operationele last worden geminimaliseerd. De kern bestaat uit consistente ingestiesemantiek (event time, record identifier, schema), een canonieke metadatacatalogus en goed gedefinieerde transformaties die zowel offline voor modeltraining als online voor real-time inferentie kunnen worden uitgevoerd. Ontwerp uw pipelines zo dat dezelfde transformatiecode (of dezelfde Feature Store recorddefinities) wordt gebruikt voor zowel trainingsdatasets als de online features die tijdens inferentie worden geretourneerd; dit voorkomt train/serve skew. Voor temporele problemen, bewaar de event time voor elk record en dwing tijd-bewuste joins en splits af om labellekkage te voorkomen; wanneer u SageMaker Feature Store gebruikt, stel een RecordIdentifierFeatureName en een EventTimeFeatureName in bij CreateFeatureGroup zodat downstream training en inferentie identieke sleutels gebruiken.
Feature engineering wordt opgesplitst in deterministische, herhaalbare transformaties en exploratieve transformaties. Deterministische transformaties omvatten imputatie, schalen, categorische codering en afgeleide aggregaties (rolling counts, time-window features). Voer deze uit als code die kan draaien in Glue ETL, SageMaker Processing of SageMaker Data Wrangler en die kan worden opgeslagen als checkpoint in een offline store. Voor categorische features met een hoge kardinaliteit, geef de voorkeur aan target encoding met cross-validation folds of op frequentie/embedding gebaseerde representaties in plaats van naïeve one-hot encoding om een combinatorische explosie te vermijden. Voor numerieke features, geef de voorkeur aan pipeline-vriendelijke standaardisatie (gemiddelde/variantie) of kwantieltransformaties die als parameters in een modelartefact worden opgeslagen, zodat de normalisatie in productie overeenkomt met de training.
Belangrijkste services en configuratie
AWS Glue levert de canonieke ETL- en metadatalaag voor veel ML-pipelines. Gebruik Glue Crawlers om de Glue Data Catalog te vullen voor S3- en JDBC-bronnen, en schrijf vervolgens op Spark gebaseerde Glue ETL-jobs of visuele jobs in Glue Studio om data op te schonen en te transformeren. Configureer Glue-jobs met GlueVersion (bijvoorbeeld 3.0), WorkerType (G.1X, G.2X), NumberOfWorkers, JobBookmarks voor incrementele verwerking, en DefaultArguments zoals “–additional-python-modules” om bibliotheken zoals awswrangler of pydeequ op te nemen. Voor ingestie vanuit on-prem MySQL, maak een Glue-connectie met een JDBC URL en gebruik ofwel Glue-jobs of AWS DMS om CDC vast te leggen in een S3 landing zone; wanneer u DMS gebruikt, selecteer dan full-load en vervolgens CDC en richt u op S3 parquet voor efficiënte offline features.
SageMaker Feature Store is de centrale optie voor feature management met lage operationele overhead op schaal. CreateFeatureGroup vereist FeatureDefinitions, RecordIdentifierFeatureName, EventTimeFeatureName, OnlineStoreConfig (EnableOnlineStore=True om een door DynamoDB ondersteunde low-latency store in te schakelen), en OfflineStoreConfig met S3Uri en DataCatalogConfig om offline features beschikbaar te maken via Athena/Glue. Ingesteer met BatchPutRecord of PutRecord afhankelijk van de doorvoersnelheid; voeg de FeatureGroupArn en RoleArn toe die de service PutRecord-permissies verleent. De offline store slaat Parquet-bestanden permanent op in S3 en integreert automatisch met de Glue Data Catalog, wat reproduceerbare trainingsqueries mogelijk maakt. Gebruik voor real-time features GetRecord tegen de online store; geef voor bulk joins tijdens de training de voorkeur aan het offline S3 Parquet-pad.
Gebruik voor model governance en deployment-workflows SageMaker Model Registry en SageMaker Pipelines. Registreer getrainde modellen met CreateModelPackage of de Pipelines RegisterModel-stap en stel ModelApprovalStatus in op “PendingManualApproval” om een handmatige goedkeuringsstap af te dwingen. Integreer Pipelines met AWS CodePipeline of voeg een custom Lambda toe die model_package-versies via UpdateModelPackage overzet naar “Approved” wanneer geautoriseerd. Combineer voor drift- en bias-monitoring SageMaker Clarify voor bias/baseline-analyse en SageMaker Model Monitor voor continue detectie van data/label drift. Gebruik ClarifyProcessor (sagemaker.processing.ProcessingJob) voor on-demand bias-beoordeling door het te richten op de Parquet-artefacten in de offline store of op streaming samples die door Model Monitor zijn verzameld.
Ontwerppatronen en trade-offs
Kies voor offline-first architecturen wanneer training throughput en complexe joins belangrijk zijn: aggregeer en persisteer grote ‘windowed features’ naar S3 Parquet (Glue/EMR/Glue Spark jobs), catalogiseer ze in Glue Data Catalog, en versieer datasets met S3-prefixen en object-versioning. Deze aanpak geeft de voorkeur aan reproduceerbaarheid en kosteneffectieve opslag, maar verhoogt de latency voor het serveren van verse features. Wanneer features met lage latency vereist zijn, spiegel dan een subset naar de Feature Store Online (DynamoDB) of een caching-laag; de trade-off is de operationele overhead om de online en offline stores consistent te houden. Gebruik de ingebouwde BatchPutRecord-pipelines van de Feature Store of stream-ingestie via Kinesis Data Streams + Lambda die naar de Feature Store schrijft om near-real-time updates te realiseren, terwijl je toch een offline canonieke weergave behoudt.
Voor iteratieve experimenten versus productie-throughput biedt SageMaker Pipelines met caching een aanzienlijk voordeel: schakel CacheConfig in voor pipeline-stappen zodat rekenintensieve transformaties en zelfs trainingsstappen worden overgeslagen wanneer hun inputs (parameters, data-checksums) niet zijn veranderd. Dit vermindert de opstartlatency voor opeenvolgende runs in vergelijking met het herhaaldelijk provisionen van identieke compute-resources. Voor inference met extreem lage latency maak je een afweging tussen kosten en complexiteit: multi-model endpoints of provisioned concurrency verminderen de variabiliteit van cold-starts maar verhogen de kosten; het gebruik van de online Feature Store plus een lichtgewicht modelcontainer minimaliseert de orkestratie per request.
Keuzes in algoritmes en preprocessing brengen trade-offs met zich mee: de ingebouwde XGBoost excelleert in fraudetaken met tabeldata en biedt scale_pos_weight om klasse-onbalans aan te pakken zonder resampling, wat operationeel licht is. Echter, deep models met embeddings gaan eleganter om met categorische variabelen met een hoge kardinaliteit, maar vereisen meer infrastructuur en feature-pipelines. Gebruik waar mogelijk geautomatiseerde transformaties: SageMaker Data Wrangler en Glue DataBrew bieden visuele, herhaalbare transformaties (imputatie, normalisatie, resampling) en kunnen flows exporteren naar scripts of naar de Feature Store, wat de engineeringtijd vermindert.
Veelvoorkomende valkuilen en beslissingscriteria
Een veelgemaakte fout is het niet op elkaar afstemmen van transformaties voor training en serving. Sla transformatieparameters (scalers, encoders) op bij het model of in Feature Store, zodat de online preprocessing identiek is aan die tijdens de training. Een andere valkuil is het one-hot-encoderen van categorieën met een hoge kardinaliteit, wat leidt tot een excessieve dimensionaliteit van features; geef de voorkeur aan embeddings, hashing of target-frequency encodings en valideer deze via cross-validatieprocedures die datalekken voorkomen. Beveiligingsfouten komen ook vaak voor: bij het trainen op gevoelige S3-data, dwing SSE-KMS (KmsKeyId) af, beperk de toegang met S3-bucketbeleid en IAM-rollen (principal sagemaker.amazonaws.com) en plaats trainingstaken in een VPC met S3 VPC Gateway-eindpunten zodat data niet over het openbare internet gaat.
Maak een keuze tussen door Glue-jobs aangedreven ETL versus SageMaker Processing/Data Wrangler door de frequentie en complexiteit te evalueren: Glue is geoptimaliseerd voor geplande, schaalbare Spark ETL over vele bronnen en integreert met de Glue Data Catalog; Data Wrangler en SageMaker Processing zijn geschikt voor snelle experimenten en directe export naar Feature Store of trainingstaken. Gebruik voor anomaliedetectie Amazon Lookout for Metrics voor automatische statistische anomaliedetectie op tijdreeksen zonder zware ML-operaties, maar kies voor Deequ dat in Glue draait voor aanpasbare, lineage-bewuste datakwaliteitscontroles die metrieken kunnen doorgeven aan dashboards.
Praktijkprobleem: Gebruikersscenario
Bedrijfsnaam: FinEdge
FinEdge bouwt een fraudedetectieservice die modellen moet trainen op basis van dagelijkse batch-transactielogs in Amazon S3 plus klantprofielen die zijn opgeslagen in een on-premise MySQL-database. De data moet versleuteld en geïsoleerd blijven; modelversies vereisen handmatige goedkeuring voordat ze in productie worden genomen; modellen moeten on-demand beoordelingen van bias en drift hebben; inferentie vereist het opzoeken van features met een lage latentie.
Ingestie en centralisatie: Gebruik AWS DMS om een initiële volledige lading en CDC-replicatie uit te voeren van de on-premise MySQL naar een S3-landingzone als Parquet-bestanden. Configureer DMS met S3-doelinstellingen en zorg voor SSL voor de JDBC-bron. Gebruik een Glue Crawler om zowel de S3-transactielogs als de DMS-parquet klantprofielen te registreren in de Glue Data Catalog. Stel de parameters van de Glue-job in: GlueVersion 3.0, WorkerType G.2X, NumberOfWorkers afgestemd op het dagelijkse volume, en schakel JobBookmarks in voor incrementele runs.
Feature-engineering en opslag: Schrijf Spark-transformaties in Glue of gebruik SageMaker Data Wrangler voor interactieve feature-iteraties en export. Sla deterministische geaggregeerde features op in S3 als Parquet en maak een SageMaker Feature Store FeatureGroup aan met CreateFeatureGroup, waarbij je FeatureDefinitions, RecordIdentifierFeatureName=“transaction_id”, EventTimeFeatureName=“event_time”, OnlineStoreConfig met EnableOnlineStore=True, en OfflineStoreConfig S3Uri die naar de canonieke data lake wijst en DataCatalogConfig om de Glue-tabel te koppelen, specificeert. Voer ingestie uit via BatchPutRecord voor bulkladingen en PutRecord voor transactionele updates.
Training en modelregister: Gebruik SageMaker Pipelines voor preprocessing, training en registratie. Voeg een RegisterModel-stap toe die het model registreert in een ModelPackageGroupName en ModelApprovalStatus instelt op “PendingManualApproval”. Koppel een handmatige goedkeuringsactie van AWS CodePipeline of gebruik de SageMaker API UpdateModelPackage om goedgekeurde packages naar “Approved” te verplaatsen. Stel voor klassenonbalans de XGBoost-hyperparameter “scale_pos_weight” in op basis van de klassenverhouding die is berekend in de basisstatistieken om de complexiteit van resampling te vermijden.
Governance, monitoring en on-demand controles: Maak baselines met SageMaker Clarify met behulp van een ClarifyProcessor om bias-metrieken te berekenen en sla de baselines offline op in S3/FeatureStore. Implementeer Model Monitor met CreateMonitoringSchedule voor data/feature-drift; voor een on-demand beoordeling van bias of drift, voer programmatisch een ClarifyProcessor of StartMonitoringSchedule uit om recent vastgelegd verkeer of de snapshot van de online store te analyseren. Sla de output van de monitoring op in S3 en maak anomalieën zichtbaar via QuickSight-dashboards. Beveilig S3 met SSE-KMS, beperk de toegang met IAM-rollen volgens het ’least privilege’-principe, en plaats training en inferentie in een VPC met een S3 VPC-eindpunt.
AWS-onderbouwing: Deze aanpak gebruikt Glue en DMS voor schaalbare, auditeerbare ingestie en metadata via de Glue Data Catalog; SageMaker Feature Store voor consistente online/offline features en lookups met lage latentie; SageMaker Pipelines en Model Registry om de levenscyclus van modellen te beheren met minimale operationele overhead en ingebouwde ondersteuning voor handmatige goedkeuring; Clarify en Model Monitor om on-demand en continue analyse van bias/drift te bieden. De combinatie waarborgt versleutelde isolatie (SSE-KMS, VPC-eindpunten), vermindert de engineeringinspanning door beheerde services te gebruiken voor ingestie en feature-beheer, en dwingt reproduceerbare, auditeerbare ML-artefacten af.
Alle domeinen · Modeltraining en Hyperparameteroptimalisatie →
Oefen deze vragen → · Getimede oefening op ExamRoll.io →
Pass the whole exam — not just this question
You found this answer. Get every verified question and explanation in one place, and save hours of prep. Free to start.
Slaag voor je examen →