Een model dat is geïmplementeerd op een SageMaker serverless endpoint vertoont in productie een hogere latentie dan in tests. De engineer vermoedt dat de extra latentie wordt veroorzaakt door de opstarttijd van het model. Wat moeten ze controleren om dit te verifiëren?

De juiste optie is om Amazon CloudWatch-statistieken in te schakelen en de ModelSetupTime-statistiek in de SageMaker-namespace te inspecteren. ModelSetupTime meet specifiek de tijd die nodig is om een model op te starten en te laden op een serverless endpoint, wat direct relevant is voor de vermoedelijke oorzaak van de hogere latentie. Als deze waarde hoog is, bevestigt dit de hypothese van de engineer. De andere opties zijn minder geschikt: Het plannen van een SageMaker Model Monitor-taak om kwaliteitsstatistieken te controleren, richt zich op de prestaties van het model zelf (bijv. nauwkeurigheid, drift), niet op de opstarttijd. Het plannen van een SageMaker Model Monitor-taak met ingeschakelde CloudWatch-statistieken is nog steeds gericht op modelkwaliteit en niet op de infrastructuur- of opstartlatentie. De ModelLoadingWaitTime-statistiek bestaat niet in de SageMaker-namespace; ModelSetupTime is de relevante statistiek voor dit scenario.