Una empresa de entrega en línea tiene un modelo XGBoost por ciudad almacenado en S3 y actualmente aloja cada modelo en su propia instancia EC2 (5% de utilización). Quieren que la aplicación web seleccione el mensajero más rápido en tiempo real tanto para usuarios existentes como nuevos, minimizando la sobrecarga operativa. ¿Qué solución logra esto con el menor esfuerzo de gestión?

La solución de punto final de múltiples modelos de SageMaker es la más eficiente. Permite alojar miles de modelos en una sola instancia, cargando dinámicamente el modelo específico de la ciudad desde S3 según sea necesario, lo que reduce drásticamente los costos y la sobrecarga operativa en comparación con tener una instancia por modelo. El parámetro TargetModel en la invocación del endpoint dirige la solicitud al modelo correcto. La opción de notebook de SageMaker y transformación por lotes no es adecuada para predicciones en tiempo real y no escalaría bien con nuevos usuarios o cambios de modelo. Consolidar en una única instancia EC2 con un servidor de modelos personalizado aún requiere gestión de infraestructura y escalado manual. Crear endpoints de SageMaker separados por ciudad, aunque funcional, sería costoso y administrativamente complejo debido a la gran cantidad de endpoints individuales necesarios.