Amazon MLA-C01: ML 워크로드를 위한 비용 최적화 — 학습 가이드

By Laurynas Brazys · 4 August 2026 · #amazon #mla-c01 #certification #exam-prep #study-guide

다음의 일부입니다: AWS Machine Learning Engineer Associate MLA-C01 — 학습 가이드. 검증된 답안으로 연습하기: Amazon 시험 허브, 또는 다음에서 시간 제한 모의고사 풀기: ExamRoll.io.

핵심 개념: 비용 발생 지점과 제어 수단

머신 러닝 워크로드의 비용은 세 가지 기본 범주에 의해 결정됩니다. 즉, 훈련 및 추론을 위한 컴퓨팅, 데이터 세트 및 체크포인트를 위한 스토리지 및 데이터 전송, 그리고 활용도가 낮거나 잘못 프로비저닝된 인프라로 인한 운영 오버헤드입니다. 대규모 모델을 훈련하거나 많은 실험을 실행할 때 훈련 비용이 가장 큰 단일 비용 항목이 되는 경우가 많습니다. 대규모로 모델을 제공하거나 대화형 앱에 낮은 지연 시간이 필요한 경우에는 추론 비용이 지배적입니다. 핵심 최적화 수단은 인스턴스 패밀리 및 크기 선택, 구매 옵션(온디맨드 vs 스팟 vs Savings Plans), 모델 수명 주기 패턴(배치 vs 실시간 vs 서버리스), 그리고 모델 컴파일, 캐싱, 인스턴스 통합과 같은 런타임 최적화입니다.

운영 기술은 이러한 제어 수단을 실제로 적용하는 방법입니다. 체크포인팅과 함께 관리형 스팟 훈련을 사용하면 온디맨드에 비해 훈련 컴퓨팅 비용을 최대 70%까지 절감할 수 있습니다. 하지만 중단 후 작업을 재개할 수 있도록 체크포인팅(CreateTrainingJob 파라미터 CheckpointConfig → S3Uri)과 CreateTrainingJob 플래그 EnableManagedSpotTraining을 true로 설정하여 함께 사용해야 합니다. 실제 CPU/GPU/IO 사용량(CloudWatch 지표인 GPUUtilization, HostCPUUtilization 및 SageMaker Debugger의 프로파일러 추적)을 프로파일링하여 인스턴스 크기를 최적화한 다음, 워크로드 특성과 일치하는 컴퓨팅 패밀리(CPU는 ml.c5/ml.c6, GPU는 ml.g5/ml.p4, 메모리 집약적인 경우 ml.r5)로 전환합니다. 추론의 경우, 사용량에 비례하여 비용이 발생하는 모델을 선호합니다. 즉, 사용량이 급증하고 처리량이 낮은 워크로드에는 서버리스 추론(ServerlessConfig → MemorySizeInMB 및 MaxConcurrency를 사용하는 CreateEndpointConfig 프로덕션 변형)을 사용하고, 다수의 작은 모델에 대한 인스턴스 요구 사항을 줄이기 위해 다중 모델 엔드포인트나 모델 컴파일(SageMaker Neo)을 사용하며, 크거나 지연 시간에 민감하지 않은 워크로드는 비동기식 또는 배치 변환(AsyncInferenceConfig 및 Batch Transform)으로 이전합니다.

주요 서비스 및 구성

Amazon SageMaker는 비용 제어를 위한 명시적인 설정을 제공합니다. 훈련 비용을 낮추려면 관리형 스팟 훈련을 사용하십시오. CreateTrainingJob API에서 EnableManagedSpotTraining=true로 설정하고, CheckpointConfig.S3Uri를 포함하며, 스팟 용량을 확보할 수 있도록 MaxWaitTimeInSeconds > MaxRuntimeInSeconds로 설정합니다. SageMaker Python SDK에서는 estimator.use_spot_instances=True, estimator.max_wait를 설정하고 estimator.checkpoint_s3_uri를 S3 체크포인트 위치로 설정할 수 있습니다. 연속적인 훈련 작업에서 재현 가능한 낮은 지연 시간을 위해, 실험 주기에 따라 필요할 경우 SageMaker Processing을 활용하거나 영구적으로 프로비저닝된 인프라에서 훈련 컨테이너를 사용하여 컨테이너를 웜(warm) 상태로 유지하십시오. 그렇지 않은 경우, 더 작은 컨테이너 이미지, 사전 빌드된 SageMaker 컨테이너를 사용하거나 개발 환경에서 영구적인 훈련 인스턴스를 재사용하여 컨테이너 시작 시간을 줄이십시오.

추론 비용 제어를 위해 CreateEndpointConfig/UpdateEndpointConfig는 여러 전략을 지원합니다. ProductionVariants에서 ServerlessConfig를 사용하면 SageMaker가 전체 인스턴스 시간 대신 호출 및 메모리 단위로 요금을 청구하고 스케일링을 관리하도록 할 수 있습니다. ServerlessConfig에는 MemorySizeInMB와 MaxConcurrency 값이 필요합니다. 안정적이고 처리량이 높은 워크로드의 경우, 프로비저닝된 인스턴스를 사용하고 엔드포인트에 Application Auto Scaling 대상 추적 정책을 적용하여 과다 프로비저닝을 방지하십시오. 다중 모델 엔드포인트는 거의 사용되지 않는 다수의 모델을 호스팅할 때 단일 컨테이너를 공유하고 필요 시 S3에서 모델 아티팩트를 로드하여 비용을 절감합니다. 모델 크기 조정 권장 사항을 보려면 Inference Recommender에서 CreateInferenceRecommendationsJob를 호출하십시오. 이 작업은 인스턴스 유형, 배치 크기, 지연 시간/처리량 가이드를 제공합니다.

약정 요금은 SageMaker Savings Plans 또는 AWS Compute Savings Plans로 처리하는 것이 가장 좋습니다. AWS Billing 콘솔을 통해 Savings Plan을 구매하여 1년 또는 3년 기간 동안 시간당 $/달러를 약정하십시오. 이를 통해 여러 인스턴스 패밀리에 걸쳐 온디맨드 SageMaker 컴퓨팅(훈련 및 호스팅) 비용이 할인됩니다. Savings Plans는 온디맨드 사용량에 적용되며 스팟에는 적용되지 않으므로 전략을 결합해야 합니다. 즉, 기준이 되는 안정적인 사용량에 대해서는 Savings Plans를 구매하고, 사용량이 급증하거나 실험적인 훈련에는 스팟을 사용하십시오.

디자인 패턴 및 트레이드오프

관리형 스팟 + 체크포인팅 패턴은 길거나 대규모인 분산 훈련 실행에 가장 적합한 방법입니다. 코드 변경은 최소화됩니다. EnableManagedSpotTraining을 활성화하고, CheckpointConfig.S3Uri를 제공하며, 스팟 스케줄링을 허용하도록 적절한 MaxWaitTimeInSeconds를 설정하면 됩니다. 트레이드오프는 스팟 중단이 빈번할 경우 재시작이 복잡해지고 전체 실행 시간(wall-clock time)이 약간 길어지는 것이며, 장점은 극적인 비용 절감입니다. 연속적인 작업 간의 시작 지연 시간이 중요한 반복적인 실험의 경우, 웜(warm) 개발 환경을 유지하세요. 즉, NVMe/로컬 캐시에 데이터를 미리 로드한 더 작은 프로비저닝된 ml.m5 또는 ml.c5 인스턴스를 사용하거나, SageMaker Processing 또는 Studio 노트북을 사용하여 동일한 인스턴스에서 여러 실험을 로컬 처리 작업으로 실행합니다. 이렇게 하면 기본 비용은 증가하지만 전체 사이클 타임은 줄어듭니다.

추론의 경우 트래픽 형태에 따라 서버리스 엔드포인트와 프로비저닝된 엔드포인트 중에서 선택하세요. 서버리스 추론(ServerlessConfig)은 용량 계획이 필요 없으며, 호출 및 메모리 할당량에 따라 비용을 지불하므로 간헐적이고 예측 불가능한 트래픽에 대해 비용이 가장 저렴합니다. 트레이드오프는 콜드 스타트 지연 시간과 크기 제한입니다. 엄격한 저지연 시간 SLA가 요구되는 경우, 오토스케일링이 적용된 프로비저닝된 인스턴스를 선호하고 인스턴스 수를 줄이기 위해 SageMaker Neo를 사용한 모델 최적화를 고려하세요. 많은 모델을 호스팅해야 하지만 모델별 트래픽이 낮은 경우, 다중 모델 엔드포인트는 디스크 및 메모리 사용량을 통합하고 모델당 비용을 낮춥니다. 대신 로드되지 않은 모델에 대한 콜드 스타트 로딩 시간이 약간 더 길어지는 단점이 있습니다.

적정 용량 산정(Right-sizing)은 추측이 아닌 관찰에 기반해야 합니다. SageMaker Debugger 프로파일링과 CloudWatch를 사용하여 GPUUtilization 및 DiskReadOps를 수집한 다음, Inference Recommender 작업(CreateInferenceRecommendationsJob)을 실행하여 인스턴스 클래스/타입 및 성능을 검증하세요. 모델 지연 시간 요구 사항이 엄격하다면, 모델 양자화나 SageMaker Neo를 사용한 컴파일, 또는 Elastic Inference 가속기를 사용하여 CPU 인스턴스에 부분적인 GPU 추론 성능을 연결하는 것을 고려하세요. Elastic Inference를 사용하면 CPU 인스턴스에 작은 가속기를 연결하여 특정 모델의 경우 전체 GPU 인스턴스에 비해 비용을 절감할 수 있습니다.

일반적인 함정과 의사결정 기준

자주 저지르는 실수 중 하나는 모든 워크로드에 단일 비용 최적화 전략을 적용하는 것입니다. Savings Plans는 안정적인 기준 사용량에 강력하지만, 실험적인 워크로드에는 Spot을, 스파이크성 추론에는 서버리스를 함께 사용해야 합니다. Spot이 공짜라고 가정해서는 안 됩니다. 체크포인팅과 중단을 견딜 수 있는 훈련 로직이 필요합니다. CreateTrainingJob.CheckpointConfig와 EnableManagedSpotTraining을 구성하고, 지연된 시작을 얼마나 허용할지를 반영하는 MaxWaitTimeInSeconds를 계산해야 합니다. 또 다른 함정은 원격 측정(telemetry)을 소홀히 하는 것입니다. 프로파일링(SageMaker Debugger, CloudWatch, Inference Recommender) 없이는 과도한 프로비저닝을 하거나 CPU, GPU, 메모리 특성이 맞지 않는 인스턴스 패밀리를 선택할 위험이 있습니다. 마지막으로, 서버리스 추론은 비용을 단순화하지만 예측 불가능한 콜드 스타트를 유발할 수 있습니다. ServerlessConfig를 사용할 때는 종단 간(end-to-end) 지연 시간을 측정하고, 엄격한 SLA가 요구될 경우 오토스케일링이 적용된 프로비저닝된 엔드포인트로 전환해야 합니다.

실제 문제: 사용 사례 시나리오

회사: FinSight Analytics. 과제: FinSight는 S3에 저장된 거래 로그와 고객 프로필로 자주 훈련하고, 데이터를 격리하며, 프로덕션 배포 전 수동 승인을 통해 모델 버전 거버넌스를 지원하고, 야간 재훈련 비용을 절감하고, 빠른 실험 중 작업별 시작 지연 시간을 최소화하고, 스파이크성 트래픽에 비용 효율적으로 대응하는 저지연 실시간 엔드포인트를 제공하는 사기 탐지 파이프라인을 구축해야 합니다.

중앙화된 보안 데이터 및 모델 레지스트리. 기본 암호화 및 SageMaker 실행 역할로 액세스를 제한하는 버킷 정책을 사용하여 보안 S3 버킷에 데이터를 저장합니다. SageMaker Model Registry에 모델을 등록합니다. SageMaker Pipelines의 RegisterModel 단계를 사용하여 ModelApprovalStatus가 “PendingManualApproval"로 기본 설정된 모델 패키지를 생성합니다. 모델 패키지와 수동 승인 단계를 내보내는 SageMaker Pipeline을 생성하여 수동 승인 워크플로우를 구현합니다. 권한 있는 검토자가 검증을 마치면 boto3 sagemaker.update_model_package(ModelPackageName=…, ModelApprovalStatus=‘Approved’)를 호출하여 배포를 허용합니다. 근거: Model Registry는 중앙화된 버전 관리를 제공하며, ModelApprovalStatus는 SageMaker API와 직접 통합되어 사용자 지정 운영을 최소화합니다.
비용 효율적인 야간 재훈련. EnableManagedSpotTraining=true로 훈련 작업을 생성하여 관리형 Spot 훈련을 사용하고, 옵티마이저 상태를 유지하기 위해 CheckpointConfig.S3Uri를 포함하며, Spot 중단 시 작업이 재개될 수 있도록 MaxRuntimeInSeconds와 MaxWaitTimeInSeconds를 적절하게 설정합니다. 이를 평균 온디맨드 훈련/추론 시간을 충당할 수 있는 규모의 Savings Plan 기본 구매와 결합하여 안정적인 비용을 줄이고, 중단이 허용되는 실험에는 Spot을 사용합니다. 근거: 관리형 Spot은 최소한의 코드 변경으로 컴퓨팅 비용을 절감합니다. Savings Plans는 예측 가능한 비용을 낮추기 위해 기준 온디맨드 사용량에 적용됩니다.
실험을 위한 시작 지연 시간 단축. 대화형 실험 주기를 위해, SageMaker Studio에서 영구적인 개발 인스턴스 프로필(ml.c5 또는 ml.m5) 또는 EBS/NVMe에 데이터셋이 미리 로드된 소규모 전용 Notebook Instance를 유지하고, 여러 빠른 훈련 실행에 해당 환경을 재사용합니다. 프로덕션 야간 작업에는 여전히 체크포인팅이 적용된 관리형 Spot을 사용합니다. 근거: 영구적인 환경은 컨테이너 콜드 스타트를 방지하고 반복 속도를 개선하는 동시에, 부하가 큰 실행에 대한 비용 절감 효과를 유지합니다.
저지연, 비용 효율적인 실시간 서빙. 승인된 모델을 프로비저닝된 엔드포인트에 배포하여 기준이 되는 낮은 지연 시간을 확보하고, 엔드포인트에 Application Auto Scaling 정책을 연결하여 사용량이 적은 시간대에 스케일 다운합니다. 예측 불가능한 트래픽 스파이크의 경우, 트래픽이 적은 모델에는 Serverless 추론 옵션을 사용하거나, 무거운 비실시간 배치 스코어링 작업에는 비동기 추론(S3 OutputConfig가 포함된 AsyncInferenceConfig)을 사용합니다. 배포 전에 모델에 SageMaker Neo 컴파일을 적용하여 CPU/GPU 사용량을 줄입니다. 근거: 프로비저닝된 엔드포인트와 오토스케일링의 조합은 안정적인 저지연과 비용 제어를 제공합니다. 서버리스 또는 비동기 엔드포인트는 스파이크성 또는 배치 워크로드를 더 비용 효율적으로 처리하며, Neo는 인스턴스 요구 사항을 줄여줍니다.

이 접근 방식은 훈련 비용 절감을 위해 EnableManagedSpotTraining과 CheckpointConfig를 결합하고, 수동 승인을 위해 SageMaker Model Registry와 UpdateModelPackage를 사용하며, 시작 지연 시간 단축을 위해 영구 개발 인스턴스를 활용하고, 추론 비용을 최적화하기 위해 프로비저닝, 서버리스, 컴파일된 모델을 혼합하여 사용합니다.

← 생성형 AI 및 파운데이션 모델 · 모든 도메인 · 컴퓨터 비전 →

이 문제 연습하기 → · ExamRoll.io에서 시간 제한 연습 →