한 회사에서 SageMaker를 사용하여 실시간 추론을 실행합니다. 엔드포인트를 지원하는 EC2 인스턴스에 대한 Auto Scaling이 이전 스케일 아웃 인스턴스가 완전히 준비되기 전에 새 인스턴스를 시작하여 비효율성과 지연이 발생합니다. 응답 시간 성능을 유지하면서 스케일링 동작을 개선할 수 있는 변경 사항은 무엇입니까?

스케일 아웃 활동 후 쿨다운 기간을 늘리면 이전 스케일 아웃 인스턴스가 완전히 준비될 시간을 확보하여 불필요한 새 인스턴스 시작을 방지하고 비효율성과 지연을 줄일 수 있습니다. 이는 시스템이 안정화되고 새로 프로비저닝된 리소스가 트래픽을 처리할 준비가 될 때까지 추가 스케일 아웃을 일시 중지하여 성능을 유지하는 데 도움이 됩니다. 다중 모델 엔드포인트는 모델 관리 효율성을 높이지만 스케일링 동작을 직접 개선하지는 않습니다. API Gateway 및 Lambda는 추론 호출을 관리할 수 있지만, 인스턴스 준비 시간과 관련된 스케일링 비효율성을 해결하지는 않습니다. 스케일 인 쿨다운 기간을 줄이거나 최대 인스턴스 수를 늘리는 것은 현재 문제와 관련이 없거나 오히려 문제를 악화시킬 수 있습니다.