프로덕션 SageMaker 엔드포인트에서 모델 버전 v1이 실행 중입니다. 새로운 버전 v2를 프로덕션 환경에서 최소한의 위험으로 라이브 트래픽을 중단시키지 않고 테스트해야 합니다. 전환하기 전에 v2를 검증하는 가장 좋은 접근 방식은 무엇입니까?

정답은 섀도우 배포를 통해 v2를 프로덕션으로 승격하는 것입니다. 섀도우 배포는 사용자에게 영향을 주지 않고 v2가 프로덕션 트래픽을 처리하는 방식을 평가할 수 있는 가장 안전한 방법입니다. v2는 v1과 동일한 추론 요청을 100% 수신하지만, v2의 출력은 사용자에게 반환되지 않습니다. 대신, v2의 출력을 S3에 수집하여 v1의 출력과 비교하고 성능을 평가할 수 있습니다. v2가 허용 가능한 성능을 보이면, v2를 프로덕션으로 승격하여 라이브 트래픽을 처리하도록 할 수 있습니다. 다른 옵션들은 라이브 트래픽의 일부를 v2로 라우팅하므로, v2에 문제가 발생할 경우 사용자에게 직접적인 영향을 미칠 수 있습니다. 새 엔드포인트에 배포하고 스크립트로 테스트하는 방법은 프로덕션 환경에서의 실제 트래픽 패턴을 완벽하게 시뮬레이션하기 어렵습니다.