RetailVision tiene 240 modelos de personalización por tienda (cada uno de ~120 MB) que se consultan con poca frecuencia (minutos entre solicitudes por modelo). Actualmente, alojan cada modelo como un endpoint separado, lo cual es costoso. Quieren consolidar para minimizar el costo manteniendo una latencia de arranque en frío aceptable cuando se solicita un modelo por primera vez. ¿Cuál es el mejor enfoque de alojamiento de SageMaker para reducir costos en este escenario?

La opción correcta es la más adecuada porque los endpoints multi-modelo de SageMaker están diseñados para consolidar múltiples modelos en una sola instancia, lo que reduce significativamente los costos operativos al compartir recursos. Almacenar los artefactos en S3 permite cargar modelos bajo demanda, optimizando el uso de la memoria y aceptando una latencia inicial aceptable para modelos poco frecuentes. Las otras opciones son menos eficientes: Reemplazar con instancias EC2 personalizadas introduce una sobrecarga de gestión y no aprovecha las optimizaciones de SageMaker para el alojamiento de modelos. Usar 240 endpoints en tiempo real separados, incluso con autoescalado a cero, incurre en costos de infraestructura y gestión por cada endpoint, lo que es costoso para 240 modelos. La inferencia asíncrona no es adecuada para baja latencia y mantener una concurrencia mínima de 1 para 240 modelos es costoso y no resuelve la consolidación.