ML 엔지니어가 SageMaker Studio 노트북에서 estimator를 사용하여 신경망을 훈련합니다. Python 훈련 스크립트는 여러 GPU가 있는 단일 인스턴스에서 DDP(Distributed Data Parallel)를 사용하지만, GPU 활용률이 낮습니다. 엔지니어는 훈련 스크립트에서 리소스 사용량을 최적화할 지점을 찾아야 합니다. 어떤 접근 방식이 해당 지점을 식별할 수 있을까요?

정답은 SageMaker Profiler 주석을 추가하는 것입니다. SageMaker Profiler는 훈련 스크립트 내에서 GPU 활용률, CPU 사용량, 메모리 사용량 등 리소스 사용량에 대한 심층적인 가시성을 제공합니다. 스크립트에 주석을 추가하고 훈련을 실행하면, 프로파일러 보고서가 생성되어 병목 현상이나 비효율적인 코드 섹션을 정확히 찾아낼 수 있습니다. 이는 낮은 GPU 활용률의 원인을 식별하고 DDP 훈련을 최적화하는 데 필수적입니다. CloudWatch 지표는 상위 수준의 GPU 활용률을 보여주지만, 코드 수준의 비효율성을 식별하기에는 충분한 세부 정보를 제공하지 않습니다. CloudTrail은 AWS API 호출을 기록하는 서비스로, 리소스 사용량 분석과는 관련이 없습니다. SageMaker Model Monitor는 배포된 모델의 성능을 모니터링하는 데 사용되며, 훈련 중 리소스 최적화와는 무관합니다.