Una empresa ejecuta inferencias en tiempo real con SageMaker. El auto scaling de las instancias EC2 que respaldan el endpoint lanza nuevas instancias antes de que las instancias de escalado horizontal anteriores estén completamente listas, lo que provoca ineficiencias y retrasos. ¿Qué cambio mejorará el comportamiento del escalado manteniendo el rendimiento del tiempo de respuesta?

Aumentar el período de "cooldown" (enfriamiento) permite que las instancias recién lanzadas se inicialicen completamente y estén listas para manejar el tráfico antes de que se evalúen nuevas decisiones de escalado. Esto evita que el sistema lance instancias adicionales innecesariamente cuando las existentes aún no están operativas, mejorando la eficiencia y el rendimiento. Cambiar a un endpoint de múltiples modelos no resuelve el problema de inicialización de instancias. Integrar API Gateway y Lambda añade complejidad sin abordar directamente el comportamiento del auto scaling de SageMaker. Disminuir el período de "cooldown" o solo aumentar el número máximo de instancias empeoraría el problema al permitir que el escalado horizontal actúe más rápidamente sobre instancias no listas o simplemente aumentar la capacidad sin resolver la causa raíz de la ineficiencia.