Amazon MLS-C01: 딥러닝 및 컴퓨터 비전 — 학습 가이드
다음의 일부입니다: AWS Machine Learning Specialty MLS-C01 — 학습 가이드. 검증된 답안으로 연습하기: Amazon 시험 허브, 또는 다음에서 시간 제한 모의고사 풀기: ExamRoll.io.
GPU 및 엣지를 위한 추론 최적화, 배포 및 모니터링
추론을 최적화하려면 GPU 연산뿐만 아니라 전체 파이프라인을 프로파일링해야 합니다. 낮은 GPU 사용률은 종종 CPU에 종속된(CPU-bound) 전처리, 작은 배치 크기, 동기식 엔드포인트 지연 시간 또는 I/O 대기 때문에 발생합니다. SageMaker Debugger와 CloudWatch 지표로 프로파일링하여 병목 현상을 식별한 후, 다음과 같은 해결책을 적용합니다: 배치 크기를 늘리거나 비동기식 추론을 사용합니다. 모델을 TorchScript/ONNX로 변환하고 NVIDIA 기반 인스턴스에서 TensorRT 최적화를 활성화합니다. p4/p3 인스턴스에서 혼합 정밀도(AMP/bfloat16)를 사용합니다. 대상 하드웨어에 맞게 SageMaker Neo로 컴파일하거나, 중간 수준의 처리량이 필요할 경우 Elastic Inference를 배포하여 CPU 인스턴스에 부분적 가속(fractional acceleration)을 연결합니다. 엣지 배포의 경우, SageMaker Edge Manager 또는 AWS IoT Greengrass를 Neo로 컴파일된 모델과 함께 사용하고, 양자화(quantization) 및 가지치기(pruning)를 적용하여 모델 크기를 줄이며, 가능한 경우 온디바이스(on-device) 배치 처리를 실행합니다. 콜드 스타트를 처리하기 위해 SageMaker 다중 모델 엔드포인트 또는 프로비저닝된 동시성(provisioned concurrency)을 구성하고, GPU 메모리 사용률 및 요청 지연 시간에 기반한 자동 조정 정책을 사용합니다. 또한 입력 데이터 드리프트를 감지하기 위해 Model Monitor를 활성화하고, 제어된 모델 승격을 위해 SageMaker Model Registry를 사용합니다. 흔히 저지르는 실수로는 Neo에서 지원하지 않는 연산으로 모델을 컴파일하거나, 프라이빗 S3 액세스를 위한 IAM 역할 및 VPC 엔드포인트를 프로비저닝하는 것을 잊어 배포 실패를 유발하는 경우 등이 있습니다.
실용적인 문제: 사용 사례 시나리오
시나리오: QuickServe Corp는 온프레미스 POS(Point-of-Sale) 시스템을 운영하며 모델 학습 및 추론에 SageMaker를 사용합니다. 매장 카메라의 이미지는 KMS 암호화가 적용된 프라이빗 S3 버킷에 저장됩니다. 이들은 계산대의 대기열 길이를 감지하는 프로덕션 파이프라인을 구축하고, 실시간 알림을 위해 엣지 디바이스에 경량 모델을 배포하고자 합니다.
과제: 데이터 보안(프라이빗 S3, KMS)을 준수하고 제약이 있는 엣지 하드웨어에서 실행되면서, 새로운 레이블링된 데이터로 안전하게 재학습할 수 있는 정확하고 지연 시간이 짧은 대기열 계수 모델을 구축하고 배포해야 합니다.
권장 접근 방식:
- KMS로 암호화된 S3에 저장된 Ground Truth 레이블링 경계 상자(bounding box)로 미세 조정한 사전 훈련된 MobileNetV3 백본(SageMaker PyTorch 컨테이너 내)을 사용하여 탐지기를 훈련합니다. 데이터 유출(leakage)을 방지하기 위해 매장별로 그룹화하여 데이터를 분할합니다.
- 증강(무작위 자르기, 수평 뒤집기, 밝기 조절)과 포컬 손실(focal loss)을 사용하여 대기열 프레임과 비대기열 프레임 간의 클래스 불균형을 처리합니다. AP50 및 클래스별 재현율(recall)로 검증합니다.
- 모델을 TorchScript/ONNX로 내보내고, 엣지 디바이스를 대상으로 SageMaker Neo로 컴파일한 후, 모델 서명 및 필요한 S3 아티팩트에만 접근을 허용하는 IAM 역할을 사용하여 AWS IoT Greengrass 또는 SageMaker Edge Manager를 통해 배포합니다.
- S3로 주기적인 배치 업로드를 통해 성능을 모니터링하고, 드리프트 감지를 위해 SageMaker Processing 작업을 실행하며, S3의 버전 관리되는 데이터셋과 Model Registry를 사용하여 SageMaker에서 재학습하고 엣지로 제어된 롤아웃을 수행합니다.
근거: 이 접근 방식은 효율적인 전이 학습(transfer learning)과 디바이스별 컴파일을 사용하여 지연 시간 및 크기 제약을 충족하고, KMS와 IAM을 통해 보안을 강화하며, 데이터 유출을 방지하면서 정확도를 유지하기 위해 모니터링되는 재학습 루프를 구현합니다.
← 모델링 — 지도 및 비지도 학습 (고전적 ML) · 모든 도메인 · 자연어 처리 및 음성 →
이 문제 연습하기 → · ExamRoll.io에서 시간 제한 연습 →
Pass the whole exam — not just this question
You found this answer. Get every verified question and explanation in one place, and save hours of prep. Free to start.
시험 합격하기 →