Una empresa tiene un modelo de ML entrenado en Amazon SageMaker que debe alojarse en producción con alta disponibilidad, latencia mínima y la capacidad de manejar ráfagas impredecibles de solicitudes. Cada solicitud tendrá un tamaño de entre 1 KB y 3 MB. La capacidad de inferencia debe escalar proporcionalmente con la demanda. ¿Cómo debería la empresa implementar el modelo?

La opción correcta es crear un SageMaker real-time inference endpoint con autoescalado. SageMaker Endpoints están diseñados para despliegues de modelos con alta disponibilidad, baja latencia y escalado automático para manejar cargas de trabajo variables, lo cual es ideal para ráfagas impredecibles y tamaños de solicitud diversos. El autoescalado de SageMaker se adapta dinámicamente a la demanda. Alojar el modelo en Amazon ECS con escalado programado no es óptimo porque el escalado programado no responde a ráfagas impredecibles, y el escalado basado en CPU puede no ser el indicador más preciso para la carga de inferencia. Instalar el SageMaker Operator en Amazon EKS y desplegar el modelo con autoescalado horizontal de pods basado en el uso de memoria es una opción más compleja y generalmente innecesaria cuando SageMaker ofrece una solución gestionada y optimizada para este caso de uso. Ejecutar la inferencia en Spot Instances con una Spot Fleet y ALBRequestCountPerTarget para autoescalado es arriesgado para cargas de trabajo de producción que requieren alta disponibilidad, ya que las Spot Instances pueden ser interrumpidas, y la configuración es más compleja que un endpoint gestionado de SageMaker.