ML 전문가는 복잡한 윈도우 집계가 포함된 PySpark 작업을 사용하여 데이터를 준비하고 있습니다. 다양한 특징 개수와 샘플 크기가 모델 성능에 어떤 영향을 미치는지 테스트하려고 합니다. 변환 파라미터와 결과를 기록하여 데이터 준비 변형을 평가하고 비교할 수 있는 접근 방식은 무엇입니까?

정답은 Amazon SageMaker Experiments 트래커를 사용하여 주요 파라미터를 기록하고 스크립트를 SageMaker Processing Job으로 실행하는 것입니다. SageMaker Experiments는 기계 학습 실험을 추적, 비교 및 ​​평가하는 데 적합합니다. 데이터 준비 변형의 파라미터와 결과를 기록하여 모델 성능에 미치는 영향을 체계적으로 분석할 수 있습니다. SageMaker Processing Job은 PySpark 작업을 포함한 대규모 데이터 처리 워크로드를 실행하는 데 이상적입니다. SageMaker Debugger는 모델 훈련 중 문제를 식별하는 데 사용되며 데이터 준비 단계에는 적합하지 않습니다. AWS Glue는 데이터 통합 서비스이지만 SageMaker Experiments와 같은 실험 추적 기능은 제공하지 않습니다.