Un ingeniero de ML entrena múltiples modelos usando el mismo framework de ML y quiere alojarlos en Amazon SageMaker minimizando los costos de inferencia. ¿Qué opción de alojamiento es la más rentable?

La opción más rentable es crear un endpoint de inferencia multi-modelo para todos los modelos. SageMaker Multi-Model Endpoints (MME) permite alojar múltiples modelos en una sola instancia, cargando y descargando modelos dinámicamente según sea necesario. Esto reduce significativamente los costos operativos al optimizar el uso de los recursos de la instancia, ya que no se necesita una instancia dedicada por cada modelo. Crear múltiples endpoints de inferencia de modelo único sería más caro porque cada modelo requeriría su propia instancia. Los endpoints multi-contenedor son para casos de uso más complejos donde se necesita ejecutar varios contenedores (por ejemplo, preprocesamiento, inferencia) para una sola invocación, no para alojar múltiples modelos independientes de forma rentable.