한 미디어 회사가 한 도시의 독자들을 위해 짧은 지연 시간의 기사 추천을 필요로 합니다. 트래픽은 예측 가능한 시간(아침, 점심, 퇴근 후)에 최고조에 달하고, 그 외 시간에는 적습니다. 추론 응답은 4MB 미만입니다. 지연 시간을 최소화하고 가장 비용 효율적인 배포 옵션은 무엇입니까?

정답은 "콜드 스타트 지연 시간을 최소화하기 위해 프로비저닝된 동시성을 사용하는 서버리스 추론"입니다. 이 옵션은 짧은 지연 시간 요구 사항을 충족하면서도 예측 가능한 트래픽 패턴에 따라 비용 효율적으로 확장할 수 있습니다. 프로비저닝된 동시성은 콜드 스타트 지연 시간을 제거하여 피크 시간 동안 즉각적인 응답을 보장합니다. 서버리스 특성 덕분에 사용량에 따라 자동으로 확장 및 축소되어 유휴 시간 동안 비용을 절감합니다. "자동 스케일링을 사용하는 실시간 추론 엔드포인트"는 지연 시간 요구 사항을 충족할 수 있지만, 서버리스 추론보다 관리 오버헤드가 더 크고 유휴 시간 동안 비용이 더 많이 발생할 수 있습니다. "비동기 추론" 및 "배치 변환 작업"은 짧은 지연 시간 요구 사항에 적합하지 않습니다. 이들은 대기열에 요청을 넣거나 배치로 처리하므로 즉각적인 응답이 필요한 추천 시스템에는 부적합합니다.