EdgeAI создает модель компьютерного зрения, которую необходимо развернуть на парке разнородных периферийных устройств (Raspberry Pi 3, NVIDIA Jetson TX2 и шлюзы arm64 Linux). Они хотят максимально увеличить пропускную способность инференса и уменьшить объем используемой памяти. Какое утверждение относительно использования компиляции SageMaker Neo является наиболее точным для этого сценария?

SageMaker Neo компилирует модели для конкретных целевых платформ, применяя оптимизации графа и, при необходимости, квантование для повышения пропускной способности и снижения потребления памяти. Для разнородного парка устройств, таких как Raspberry Pi 3, NVIDIA Jetson TX2 и шлюзы arm64 Linux, необходимо компилировать модель отдельно для каждой целевой платформы (raspberrypi3, jetsontx2, linuxaarch64), чтобы максимально использовать аппаратные особенности каждого устройства. Не существует единого универсального бинарного файла, который оптимально работал бы на всех устройствах. Neo поддерживает компиляцию для широкого спектра периферийных устройств, а не только для инстансов AWS Inferentia или GPU. Кроме того, Neo поддерживает модели, обученные как в TensorFlow, так и в PyTorch, а также в других фреймворках.