Adverto оценивает SageMaker Serverless Inference по сравнению с постоянно активной конечной точкой реального времени для пакета моделей с очень неравномерным трафиком (много минут без запросов, случайные всплески). Какое утверждение о модели ценообразования Serverless Inference по сравнению с постоянно активной конечной точкой реального времени является наиболее точным для минимизации затрат в этой рабочей нагрузке?

Serverless Inference тарифицируется за количество вызовов и продолжительность вычислений (GB-секунды), что идеально подходит для неравномерного трафика. Плата взимается только тогда, когда модель активно обрабатывает запросы, что минимизирует затраты в периоды простоя. Постоянно активные конечные точки реального времени тарифицируются за час работы экземпляра, независимо от того, обрабатывает ли он запросы или простаивает. Это делает их более дорогими для рабочих нагрузок с низким коэффициентом использования и длительными периодами бездействия. Serverless Inference не имеет фиксированной ежемесячной платы или неограниченных бесплатных вызовов. Постоянно активные конечные точки реального времени взимают плату за час работы экземпляра даже в режиме простоя. Тарифы Serverless Inference не идентичны тарифам Lambda и не включают бесплатный уровень в 1 миллион запросов.