Een productie SageMaker real-time endpoint dat het ingebouwde objectdetectiemodel draait op een P3-instantie, vertoont een lage GPU-utilisatie. Welke implementatiewijziging zal de provisioned inferentiebronnen beter benutten?

De juiste optie is om het model opnieuw te implementeren op een M5-instantie en Amazon Elastic Inference (EI) accelerators te koppelen. Dit komt omdat EI accelerators zijn ontworpen om de inferentiekosten te verlagen en de GPU-utilisatie te optimaliseren door de juiste hoeveelheid GPU-versnelling toe te voegen aan CPU-instanties. Aangezien het model al op een P3-instantie draait met lage GPU-utilisatie, wat duidt op onderbenutting van de dure GPU-bronnen, biedt het gebruik van een goedkopere CPU-instantie (M5) in combinatie met EI accelerators een kosteneffectieve oplossing die de prestaties behoudt of verbetert. De andere opties zijn minder geschikt: Een batch transform job is voor offline inferentie, niet voor real-time endpoints. Verplaatsen naar een grotere GPU-instantie (P3dn) zou de kosten verhogen zonder het probleem van lage GPU-utilisatie op te lossen. Het hosten op een Amazon ECS-cluster met een P3-instantie lost het probleem van lage GPU-utilisatie niet op en introduceert extra beheerscomplexiteit.