MediaWatch esegue un modello di classificazione video in tempo reale e desidera ricevere un avviso quando il tempo di esecuzione del modello aumenta. Quale metrica di CloudWatch dovrebbe essere utilizzata per rilevare solo l'aumento del tempo di inferenza del container del modello e qual è il modo consigliato per attivare un allarme su aumenti sostenuti per una particolare variante di un endpoint?

La metrica AWS/SageMaker 'ModelLatency' misura il tempo impiegato dal container del modello per elaborare una richiesta di inferenza, che è esattamente ciò che si vuole monitorare per il tempo di esecuzione del modello. L'uso delle dimensioni EndpointName e VariantName consente di isolare il monitoraggio per una specifica variante di un endpoint, come richiesto. Creare un allarme CloudWatch sulla statistica p90 (90° percentile) su un periodo di 5 minuti con 3 periodi di valutazione consecutivi è un approccio robusto per rilevare aumenti sostenuti, evitando falsi positivi dovuti a picchi temporanei. OverheadLatency misura il tempo impiegato da SageMaker al di fuori del container del modello (ad esempio, routing, autenticazione), non il tempo di esecuzione del modello stesso. InvocationDuration misura il tempo totale dell'invocazione, inclusi i tempi di overhead, e non isola specificamente il tempo del container. L'uso di ModelLatency senza dimensioni sarebbe troppo generico e non permetterebbe di monitorare una specifica variante, mentre monitorare il minimo che scende non è l'approccio corretto per rilevare un aumento del tempo di inferenza.