Un modello distribuito su un endpoint serverless di SageMaker mostra una latenza più elevata in produzione rispetto ai test. L'ingegnere sospetta che la latenza aggiuntiva sia causata dal tempo di avvio del modello. Cosa dovrebbe controllare per verificarlo?

La latenza aggiuntiva dovuta all'avvio del modello in un endpoint serverless è misurata dalla metrica ModelSetupTime. Abilitando le metriche di Amazon CloudWatch e ispezionando questa metrica nel namespace SageMaker, l'ingegnere può verificare se il tempo di configurazione del modello è la causa della latenza. Le altre opzioni non sono corrette perché: i job di SageMaker Model Monitor sono progettati per monitorare la qualità dei dati e le deviazioni del modello, non i tempi di avvio; e ModelLoadingWaitTime non è una metrica standard di SageMaker per il tempo di avvio del modello.