Amazon MLA-C01: Modelimplementatie en Inferentie — Studiegids
Onderdeel van de AWS Machine Learning Engineer Associate MLA-C01 — Studiegids. Oefen met geverifieerde antwoorden in het Amazon-examencentrum, of doe getimede oefentests op ExamRoll.io.
Real-time, serverless, async en batch endpoints — kernconcept
Real-time inference in Amazon SageMaker is een stateful servicemodel met lage latentie waarbij je een Model, een EndpointConfig en een Endpoint aanmaakt dat provisioned compute (ml.* instance types) toewijst en beschikbaar blijft om verzoeken te verwerken via de InvokeEndpoint API. CreateEndpointConfig accepteert ProductionVariants, en elke ProductionVariant definieert ModelName, InitialInstanceCount, InstanceType en InitialVariantWeight; je kunt verkeer en capaciteit aanpassen met UpdateEndpointWeightsAndCapacities of UpdateEndpoint. Voor voorspelbare behoeften met lage latentie zijn provisioned real-time endpoints de primaire optie en ondersteunen ze multi-container inference pipelines om preprocessing-, model- en postprocessing-containers aan elkaar te koppelen.
Serverless Inference neemt het beheer van instances weg en wordt geconfigureerd op endpoint-niveau met een ServerlessConfig die MemorySizeInMB en MaxConcurrency specificeert voor elke ProductionVariant; SageMaker beheert de provisioning van containers en schaalt naar nul wanneer er geen activiteit is, wat het ideaal maakt voor onregelmatige workloads met een lage doorvoer. Asynchronous Inference is geoptimaliseerd voor verzoeken die lang duren om uit te voeren of waarbij de client geen synchrone respons vereist. Een async endpoint wordt aangemaakt met AsyncInferenceConfig in CreateEndpointConfig (OutputConfig met S3OutputPath, optionele ClientConfig en MaxConcurrentInvocationsPerInstance) en clients roepen InvokeEndpointAsync aan, waarbij ze een input S3 URI meegeven; de resultaten worden weggeschreven naar de geconfigureerde S3-outputlocatie. Batch Transform is een apart jobtype (CreateTransformJob) voor grote offline inference workloads; de API vereist TransformInput (S3DataSource met S3Uri en S3DataType), TransformOutput (S3OutputPath, Accept, AssembleWith) en TransformResources (InstanceType, InstanceCount). Batch Transform is het meest geschikt wanneer doorvoer, maar niet latentie, van belang is en ondersteunt grootschalige parallellisatie over datasets.
Multi-model endpoints, inference pipelines, shadowing en A/B-testen — belangrijke services en configuratie
Voor het hosten van veel modellen met een lage QPS per model, maken SageMaker Multi-Model Endpoints (MME) het mogelijk om met één enkele container tientallen tot duizenden model-artefacten die in S3 zijn opgeslagen te hosten en deze on-demand te laden. Je bouwt een model server container die het SageMaker multi-model server patroon implementeert of gebruikt een ondersteunde framework image, uploadt model-tarballs naar S3 en maakt een Model resource aan die naar de container verwijst. Op het moment van aanroepen geef je de naam van het doelmodel door via de InvokeEndpoint API-parameter TargetModel (of de header X-Amzn-SageMaker-Target-Model), zodat de server dat model vanuit S3 in het geheugen laadt. MME’s besparen geheugen en operationele kosten voor grote verzamelingen modellen, maar voegen ‘cold-load’ latentie toe voor modellen die nog niet in de runtime aanwezig zijn.
Inference pipelines worden geïmplementeerd als multi-container models waarbij de Model resource de Containers op volgorde vermeldt; het endpoint leidt payloads door de eerste container (preprocessing), vervolgens de model-container en daarna de postprocessing-container. Definieer elke container met zijn eigen ModelDataUrl en omgevingsvariabelen in CreateModel. Voor testen in canary- of blue/green-stijl gebruik je meerdere ProductionVariants in een EndpointConfig en regel je de verdeling van het verkeer (traffic split) met InitialVariantWeight en later via UpdateEndpointWeightsAndCapacities. Een shadow deployment kan worden gerealiseerd door ofwel op de applicatielaag een kopie van elk verzoek naar een shadow endpoint te sturen (geen traffic weight op het productie-endpoint) of door een ProductionVariant met een laag gewicht aan te maken zodat de endpoint-infrastructuur wat gespiegeld verkeer ontvangt; het dupliceren van verzoeken op de applicatielaag geeft je volledige isolatie van het experiment en onafhankelijke observability.
Voor on-demand en continue monitoring configureer je DataCaptureConfig bij het aanmaken van een endpoint om request- en response-payloads naar S3 te persisteren. Interessante velden van DataCaptureConfig zijn onder andere EnableCapture (true), InitialSamplingPercentage, DestinationS3Uri en CaptureOptions (REQUEST, RESPONSE). Vastgelegde data vormt de basis voor post-deployment controles van SageMaker Model Monitor en SageMaker Clarify; je kunt baselines aanmaken met CreateMonitoringSchedule van Model Monitor en ad-hoc Processing jobs uitvoeren die de ingebouwde model-monitoring container gebruiken om constraints en drift-metrics te berekenen.
Ontwerppatronen en afwegingen
Kies voor provisioned real-time endpoints wanneer u een latentie van enkele tot lage dubbelcijferige milliseconden nodig heeft en u zich de always-on capaciteit kunt veroorloven. Als de kosten per minuut bij inactiviteit de belangrijkste beperking zijn en het verkeer intermitterend is, verminderen serverless endpoints de operationele last: configureer
undefined
en
undefined
voor elke variant en laat SageMaker automatisch schalen. Voor workloads met langdurige inferenties of patronen met zware payloads ontkoppelen asynchrone endpoints de levenscyclus van de client van de compute-laag; ze vereisen S3 voor inputs/outputs en zijn het meest geschikt wanneer clients kunnen pollen of S3-notificaties kunnen ontvangen voor de voltooiing.
Multi-model endpoints verminderen de duplicatie van geheugen en de complexiteit van het beheer van S3-objecten, maar ze voegen per model een cold-start latentie toe en vereisen een modelserver die in staat is om on-demand vanuit S3 te laden en correct lifecycle management (eviction/LRU) toe te passen. Als de latentie per model cruciaal is, host dan de ‘hot’ modellen op toegewijde ProductionVariants en verplaats modellen met weinig verkeer naar een MME. Inference pipelines centraliseren de logica voor pre- en postprocessing dichter bij het model, waardoor de client-side code wordt verminderd en een consistente transformatie tussen training en inferentie wordt gegarandeerd, maar ze verhogen de complexiteit bij het opstarten van het endpoint en vereisen een robuust containercontractontwerp (input/output codecs en content types).
A/B-testen met behulp van ProductionVariant-gewichten is eenvoudig voor het splitsen van verkeer en het verzamelen van offline metrics, maar als u verkeer wilt ‘shadowen’ zonder de productiemetrics te beïnvloeden, geef dan de voorkeur aan ‘mirroring’ op applicatieniveau. Voor progressieve rollouts en automatisering van rollbacks, integreer
undefined
in een CodePipeline- of Step Functions-workflow die automatische evaluatie van metrics omvat met behulp van CloudWatch-metrics, Model Monitor-alerts en een handmatige goedkeuringsactie die als poort fungeert voor de uiteindelijke promotie.
Veelvoorkomende valkuilen en beslissingscriteria
Een veelvoorkomende operationele fout is aannemen dat Model Monitor problemen met de beschikbaarheid van labels zal detecteren; Model Monitor kan drift in de distributie van features en schendingen van datakwaliteit detecteren op basis van vastgelegde verzoeken, maar om de degradatie van op labels gebaseerde metrics (F1, recall) te meten, moet u ground-truth labels terugleveren aan S3 in een formaat dat de monitoring jobs kunnen verwerken en een monitoring job inplannen die de voorspelling versus de waarheid berekent. Een andere valkuil is het niet correct dimensioneren van ServerlessConfig.MemorySizeInMB; te weinig geheugen veroorzaakt throttling of container-crashes, terwijl te veel geheugen de kosten verhoogt. Voor multi-model endpoints maakt het nalaten van een geschikte S3-objectlay-out en lifecycle (prefixes, modelmanifesten) koude starts trager en bemoeilijkt het eviction-beleid.
Bij het omgaan met klasse-onbalans voor fraudedetectie, geef de voorkeur aan algoritme-eigen weging boven zware sampling-pipelines voor minimale operationele overhead; bijvoorbeeld, XGBoost (SageMaker XGBoost container) ondersteunt de ‘scale_pos_weight’ hyperparameter, die u berekent als negative_examples/positive_examples en doorgeeft via de hyperparameters map in de CreateTrainingJob-aanroep. Gebruik voor handmatige deployment-gating de SageMaker Model Registry: maak een ModelPackageGroup, roep CreateModelPackage aan om een modelpakket te registreren en stel de status van het modelpakket in op PendingManualApproval; een externe CodePipeline handmatige goedkeuringsactie of een Step Functions + SNS handmatige bevestiging kan vervolgens UpdateModelPackage aanroepen om ApprovalStatus = “Approved” in te stellen voordat CreateModel of CreateEndpoint worden uitgevoerd.
Praktijkprobleem: Gebruiksscenario
FraudDetectCo bouwt een online fraudedetectiesysteem dat transactielogs in S3 en on-premise MySQL-klantprofieltabellen moet consolideren, een XGBoost-model moet trainen, dit met bijna-realtime latentie moet deployen, een handmatige goedkeuringspoort voor productiereleases moet afdwingen, en zowel datasetanomalieën als modeldrift on-demand moet detecteren.
Data-aggregatie en preprocessing: gebruik AWS Database Migration Service (DMS) of de JDBC-connector van AWS Glue om de on-premise MySQL-tabellen continu te repliceren naar S3 (parquet) of naar een data lake dat geschikt is voor Amazon RDS/Athena; catalogiseer met AWS Glue en registreer features in de offline store van Amazon SageMaker Feature Store om consistente training en online feature-lookup te bieden. Dit centraliseert de feature-lineage en dwingt S3-beveiligingsbeleid en Lake Formation-governance af voor isolatie.
Training en omgaan met klasse-onbalans: voer SageMaker Training jobs uit met de ingebouwde SageMaker XGBoost-container. Bereken de verhouding van de trainingslabels en stel de XGBoost-hyperparameter “scale_pos_weight” in de HyperParameters-map van CreateTrainingJob in om klasse-onbalans aan te pakken met minimale preprocessing. Gebruik Pipe-modus voor het trainingskanaal (DataSource met S3DataSource en S3DataType ingesteld op S3Prefix, en schakel “RecordWrapperType”:“None” in als u Pipe-modus gebruikt) om de opstarttijd en de downloadlatentie van data over opeenvolgende jobs te verminderen.
Model registry en handmatige goedkeuring: registreer getrainde modellen in de SageMaker Model Registry door CreateModelPackage aan te roepen binnen een ModelPackageGroup. Stel de initiële ApprovalStatus in op PendingManualApproval, integreer een AWS CodePipeline die een AWS Manual Approval-actie bevat, en roep na handmatige bevestiging UpdateModelPackage aan met ApprovalStatus=“Approved” voordat het ModelPackage naar productie wordt gepromoveerd via CreateModel en CreateEndpointConfig.
Deployment en inferentietopologie: deploy het model naar een provisioned real-time endpoint voor scoring met lage latentie. Als er later honderden modellen moeten worden gehost, evalueer dan een Multi-Model Endpoint en gebruik de InvokeEndpoint TargetModel-parameter om specifieke modellen die in S3 zijn opgeslagen aan te sturen. Configureer DataCaptureConfig (EnableCapture=true, InitialSamplingPercentage=100, DestinationS3Uri=s3://
<bucket>/captures, CaptureOptions=[‘REQUEST’,‘RESPONSE’]) om request/response-payloads te verzamelen voor on-demand analyse.Monitoring en anomaliedetectie: plan SageMaker Model Monitor-baselines in met CreateMonitoringSchedule voor datakwaliteit en feature-drift. Voer voor anomaliedetectie en visualisatie op datasetniveau de vastgelegde S3-data in Amazon Lookout for Metrics in om automatisch anomalieën te detecteren en in Amazon QuickSight voor dashboards. Voer voor on-demand beoordeling van bias en drift SageMaker Clarify processing jobs uit op de vastgelegde data of start een ad-hoc Model Monitor Processing job (via CreateProcessingJob) die de opgeslagen baseline-beperkingen toepast en het vergelijkingsrapport produceert.
Rationale: deze aanpak centraliseert features voor reproduceerbare training en serving met lage latentie, gebruikt de scale_pos_weight van XGBoost voor klasse-onbalans met minimale pipeline-complexiteit, dwingt een handmatige goedkeuring af in de Model Registry geïntegreerd met CodePipeline, vermindert de opstartlatentie van training door Pipe-modus te gebruiken voor het streamen van trainingsdata, en biedt zowel geautomatiseerde anomaliedetectie (Lookout for Metrics) als on-demand controles op fairness/drift (Clarify + Model Monitor) met behulp van vastgelegde inferentiedata.
← Modelevaluatie en Selectie · Alle domeinen · MLOps en Beheer van de Modellevenscyclus →
Oefen deze vragen → · Getimede oefening op ExamRoll.io →
Pass the whole exam — not just this question
You found this answer. Get every verified question and explanation in one place, and save hours of prep. Free to start.
Slaag voor je examen →