BrightDrive хочет заменить низконагруженную конечную точку GPU реального времени на SageMaker Serverless Inference для экономии средств. Им необходимо контролировать параллелизм и понимать компромиссы в задержке. Какое утверждение наиболее точно описывает, как настроить бессерверную архитектуру и компромиссы по сравнению с постоянной конечной точкой реального времени?

Правильный ответ точно описывает ключевые аспекты SageMaker Serverless Inference. Вы настраиваете его с помощью MaxConcurrency для управления параллельными запросами и размера памяти. Важно понимать, что бессерверные конечные точки масштабируются до нуля, что приводит к задержкам холодного старта при первом вызове после периода бездействия. Это делает их экономически эффективными для прерывистого трафика. Однако, в отличие от постоянных конечных точек реального времени, бессерверные конечные точки не поддерживают GPU и могут иметь более высокую и менее стабильную задержку из-за холодных стартов и отсутствия выделенных ресурсов. Неправильные варианты: Установка ProvisionedConcurrency не поддерживается для бессерверных конечных точек SageMaker. Бессерверные конечные точки также не поддерживают типы экземпляров GPU. Serverless inference имеет настройки параллелизма через MaxConcurrency. Переход на Serverless не гарантирует идентичную задержку p99, и холодные старты могут происходить даже при MaxConcurrency 1, если конечная точка масштабируется до нуля.