Een ML-engineer traint een neuraal netwerk in een SageMaker Studio notebook met behulp van een estimator. Het Python-trainingsscript gebruikt Distributed Data Parallel (DDP) op een enkele instantie met meerdere GPU's, maar de GPU's worden onderbenut. De engineer moet bepalen waar in het trainingsscript de resource usage geoptimaliseerd kan worden. Welke aanpak zal dat punt identificeren?

De juiste aanpak is het toevoegen van SageMaker Profiler-annotaties aan het trainingsscript. SageMaker Profiler is specifiek ontworpen om de prestaties van trainingstaken te analyseren, inclusief CPU-, GPU- en geheugengebruik, en om knelpunten te identificeren die leiden tot onderbenutting van resources. Door annotaties toe te voegen, kan de engineer gedetailleerde inzichten krijgen in de uitvoering van het script en precies zien waar de GPU's niet optimaal worden benut, bijvoorbeeld door data-bottlenecks of inefficiënte DDP-implementatie. Amazon CloudWatch-metrics geven weliswaar een overzicht van GPU-gebruik, maar bieden niet de gedetailleerde, code-specifieke inzichten die nodig zijn om de oorzaak van onderbenutting binnen het trainingsscript te achterhalen. AWS CloudTrail logt API-activiteit en is niet bedoeld voor het monitoren van resourcegebruik tijdens training. Amazon SageMaker Model Monitor is gericht op het detecteren van data-drift en modelkwaliteit na de training, niet op het optimaliseren van de trainingsprestaties zelf.