Een bedrijf host een aangepaste PyTorch CNN-beeldclassificatie op een SageMaker-endpoint en wil een hogere doorvoer en lagere latentie voor gebruikers. Welke optie is de meest kosteneffectieve manier om de prestaties te verbeteren?

Amazon Elastic Inference (EI) is de meest kosteneffectieve oplossing omdat het de inferentiekosten aanzienlijk verlaagt door een kleine hoeveelheid GPU-versnelling toe te voegen aan CPU-instanties, wat resulteert in een hogere doorvoer en lagere latentie. Het opnieuw trainen van het CNN met meer lagen en een grotere dataset zal de nauwkeurigheid verbeteren, maar niet noodzakelijk de doorvoer of latentie, en kan de trainingskosten verhogen. Het opnieuw trainen met een kleinere dataset zal de prestaties waarschijnlijk verslechteren. Overschakelen naar een SageMaker-instantietype met meerdere GPU's zou de prestaties verbeteren, maar is veel duurder dan het gebruik van Elastic Inference, omdat het de volledige GPU-instanties vereist.