DataWave Inc.는 SageMaker 실시간 엔드포인트(단일 프로덕션 변형)에서 낮은 지연 시간의 사기 모델을 실행합니다. 그들은 라이브 프로덕션 트래픽의 5%를 새 모델 변형(섀도우)으로 라우팅하고 95%는 현재 변형으로 계속 라우팅하여 섀도우 테스트를 수행하려고 합니다. 섀도우 모델의 응답은 클라이언트에 반환되지 않아야 합니다(오프라인 비교를 위해 로깅됨). SageMaker 내에서 이를 구현하는 가장 적절하고 침해적이지 않은 방법은 무엇입니까?

이 방법은 SageMaker의 A/B 테스트 기능을 활용하여 섀도우 테스트를 수행하는 가장 적절하고 침해적이지 않은 방법입니다. 새 모델 변형을 생성하고 InitialVariantWeight를 0.05로 설정하면 SageMaker는 자동으로 라이브 트래픽의 5%를 새 섀도우 변형으로 라우팅합니다. 섀도우 모델의 응답은 클라이언트에 반환되지 않으므로 기존 프로덕션 환경에 영향을 주지 않고 모델 성능을 오프라인으로 비교할 수 있습니다. 두 번째 옵션은 클라이언트 측 로직을 사용하여 섀도우 응답을 폐기해야 하므로 클라이언트 애플리케이션의 복잡성을 증가시키고 잠재적인 오류를 유발할 수 있습니다. 세 번째 옵션은 ALB와 두 개의 개별 엔드포인트를 설정해야 하므로 불필요한 인프라 복잡성과 비용을 초래합니다. 네 번째 옵션은 사용자 지정 라우터 람다를 사용해야 하므로 추가적인 개발 및 유지 관리 오버헤드가 발생합니다.