Een SageMaker-endpoint met het ingebouwde Image Classification-model op een ml.m5.xlarge-instantie ervaart onacceptabele inferentielatentie, en ModelLatency is de dominante factor. De latentie verslechtert wanneer meerdere gebruikers tegelijkertijd het endpoint aanroepen. Welke actie zal de inferentielatentie voor deze onderzoekers verminderen?

Het koppelen van een Amazon Elastic Inference (EI)-accelerator aan het SageMaker-endpoint is de meest effectieve oplossing. EI-accelerators zijn speciaal ontworpen om de inferentielatentie en kosten voor diepe neurale netwerken te verminderen door de inferentietaken te versnellen. Dit is bijzonder nuttig wanneer ModelLatency de dominante factor is en de latentie toeneemt bij gelijktijdig gebruik. Het overschakelen naar een ml.t3 burstable-instantie is ongeschikt omdat deze minder krachtig is dan ml.m5 en de prestaties verder zou verslechteren. SageMaker Autopilot is voor modeltuning, niet voor het versnellen van inferentie op een reeds getraind model. Het wijzigen naar een geheugen-geoptimaliseerd instantietype is niet direct relevant voor het verminderen van inferentielatentie, tenzij er sprake is van geheugenbeperkingen, wat hier niet de hoofdoorzaak is.