Un ingeniero de ML configura el auto scaling para un componente de inferencia detrás de un endpoint de Amazon SageMaker con una política de seguimiento de destino de 100 invocaciones por modelo por minuto. El endpoint escala normalmente durante el horario comercial, pero al inicio de cada día hábil no hay instancias disponibles para manejar las solicitudes, lo que provoca retrasos. ¿Cómo debe asegurarse el ingeniero de que el endpoint pueda manejar las solicitudes entrantes al inicio de cada día hábil?

La opción correcta aborda directamente el problema de la falta de instancias al inicio del día. Al usar una política de escalado por pasos con una alarma de CloudWatch, se puede configurar el escalado para que responda a métricas específicas. La clave es la segunda alarma y política de escalado que cambia el recuento mínimo de instancias de cero a uno (o más) antes del inicio de la carga de trabajo diaria. Esto asegura que siempre haya al menos una instancia lista para manejar las solicitudes, eliminando los retrasos iniciales. Reducir el período de "cooldown" no resuelve el problema de no tener instancias disponibles inicialmente. Cambiar la métrica objetivo a la utilización de CPU podría ser útil para el escalado reactivo, pero no previene el problema de inicio en frío. Establecer el valor objetivo en uno para la política de seguimiento de destino no es apropiado para invocaciones por modelo por minuto y no garantiza una instancia activa al inicio.