Adverto ocenia SageMaker Serverless Inference w porównaniu z zawsze aktywnym (always-on) endpointem czasu rzeczywistego dla partii modeli o bardzo niestabilnym ruchu (wiele minut bez żądań, sporadyczne skoki). Które stwierdzenie dotyczące modelu kosztów Serverless Inference w porównaniu z zawsze aktywnym endpointem czasu rzeczywistego jest najdokładniejsze w celu minimalizacji kosztów w tym obciążeniu?

Serverless Inference jest rozliczane na podstawie liczby wywołań i czasu obliczeń (GB-sekundy), co oznacza, że płacisz tylko za faktyczne użycie. Jest to idealne dla niestabilnego ruchu z długimi okresami bezczynności, ponieważ nie ponosisz kosztów, gdy endpoint nie jest używany. Zawsze aktywne endpointy czasu rzeczywistego są rozliczane za godzinę instancji, niezależnie od tego, czy przetwarzają żądania, czy są bezczynne, co prowadzi do wyższych kosztów w przypadku sporadycznego ruchu. Serverless Inference nie ma stałej opłaty miesięcznej, jego cennik różni się od Lambda i nie obejmuje miliona bezpłatnych żądań miesięcznie.