Firma hostuje niestandardowy klasyfikator obrazów PyTorch CNN na punkcie końcowym SageMaker i chce uzyskać wyższą przepustowość oraz niższe opóźnienia dla użytkowników. Która opcja jest najbardziej opłacalnym sposobem na poprawę wydajności?

Włączenie Amazon Elastic Inference (EI) to najbardziej opłacalne rozwiązanie. EI pozwala na dołączanie akceleratorów GPU o niskim koszcie do instancji CPU lub GPU, co znacznie zwiększa przepustowość i obniża opóźnienia wnioskowania, bez konieczności używania drogich instancji z pełnymi GPU. Ponowne trenowanie sieci z większą liczbą warstw lub danych zwiększy złożoność i czas wnioskowania, a nie poprawi wydajności. Zmiana na instancję z wieloma procesorami GPU jest skuteczna, ale znacznie droższa niż EI, ponieważ pełne instancje GPU są droższe niż instancje CPU z dołączonymi akceleratorami EI.