Je verpakt een aangepaste ResNet-trainingsomgeving in een Docker-container om te draaien op GPU-instances (NVIDIA) in SageMaker (met behulp van EC2 P3-instances). Wat moet je doen zodat de container de GPU's correct kan gebruiken?

Om GPU's correct te gebruiken binnen een Docker-container op NVIDIA-instances, moet de container compatibel zijn met de NVIDIA Container Toolkit (voorheen NVIDIA-Docker). Deze toolkit zorgt ervoor dat de container toegang heeft tot de host-GPU's en de benodigde NVIDIA-stuurprogramma's en bibliotheken. SageMaker beheert de onderliggende EC2 P3-instances, inclusief de installatie van de NVIDIA-stuurprogramma's op de host. Het opnemen van NVIDIA-stuurprogramma's in de Docker-image is overbodig en kan conflicten veroorzaken, omdat de host al de juiste stuurprogramma's heeft. De bestandsindeling van de container heeft geen directe invloed op GPU-toegang. Een GPU-vlag in de CreateTrainingJob API is nodig om SageMaker te instrueren GPU-instances te gebruiken, maar dit alleen is niet voldoende; de container zelf moet ook correct geconfigureerd zijn voor GPU-toegang via de NVIDIA Container Toolkit.