Una empresa aloja múltiples modelos de SageMaker en tiempo real que requieren instancias aceleradas y tienen diferentes necesidades de escalado. Se deben evitar los arranques en frío (cold starts) para cada modelo. ¿Qué diseño cumple con estas restricciones?

La opción correcta es crear un endpoint de SageMaker con un componente de inferencia para cada modelo, configurar el autoescalado por componente y establecer un mínimo de 1 instancia. Esto permite el uso de instancias aceleradas, ya que los componentes de inferencia son compatibles con ellas. El autoescalado por componente maneja las diferentes necesidades de escalado de cada modelo de forma independiente. Mantener al menos una instancia activa para cada componente de inferencia evita los arranques en frío. Las otras opciones son incorrectas porque: SageMaker Serverless Inference no admite instancias aceleradas y, aunque la concurrencia aprovisionada evita arranques en frío, no cumple con el requisito de hardware. SageMaker Asynchronous Inference está diseñado para cargas de trabajo de baja latencia o grandes cargas útiles, no para inferencia en tiempo real con requisitos de baja latencia. Un endpoint multi-modelo de SageMaker puede compartir instancias, pero la pregunta implica que cada modelo tiene necesidades de escalado diferentes y requiere instancias aceleradas, lo que a menudo se gestiona mejor con componentes de inferencia dedicados para un control más granular y evitar la contención de recursos en un solo endpoint multi-modelo.