Компания размещает пользовательский классификатор изображений PyTorch CNN на конечной точке SageMaker и хочет добиться более высокой пропускной способности и меньшей задержки для пользователей. Какой вариант является наиболее экономически эффективным способом повышения производительности?

Включение Amazon Elastic Inference (EI) на конечной точке SageMaker является наиболее экономически эффективным решением. EI позволяет добавлять ускорение GPU к инстансам Amazon EC2 и SageMaker без необходимости использования полных инстансов GPU. Это значительно снижает затраты, поскольку вы платите только за необходимое ускорение, а не за весь инстанс GPU, который может быть избыточным для инференса. EI повышает пропускную способность и снижает задержку, так как инференс выполняется быстрее. Переобучение CNN с большим количеством слоев или данных увеличит сложность модели и время инференса, а не уменьшит его. Переключение на инстанс SageMaker с несколькими GPU обеспечит высокую производительность, но будет значительно дороже, чем использование Elastic Inference, поскольку вы будете платить за полный инстанс GPU, который может быть избыточным.