Вы упаковываете пользовательскую среду обучения ResNet в контейнер Docker для запуска на экземплярах GPU (NVIDIA) в SageMaker (используя экземпляры EC2 P3). Что необходимо сделать, чтобы контейнер мог правильно использовать GPU?

Для использования GPU в контейнере Docker на экземплярах P3 в SageMaker необходимо, чтобы контейнер был совместим с NVIDIA-Docker (теперь NVIDIA Container Toolkit). Этот инструментарий позволяет Docker-контейнерам получать доступ к GPU и использовать их драйверы, установленные на хост-машине. Включение драйверов NVIDIA внутрь образа Docker не требуется и не рекомендуется, так как драйверы уже установлены на хост-машине SageMaker. Организация файловой структуры контейнера не влияет на доступ к GPU. Установка флага GPU в запросе CreateTrainingJob API SageMaker лишь указывает SageMaker использовать GPU-инстансы, но не обеспечивает совместимость самого контейнера с GPU.