Een team voor autonome voertuigen gebruikt transfer learning met PyTorch en de SageMaker SDK. Ze moeten de inferentietijd verkorten voor zelfrijdende toepassingen met lage latentie. Welk proces moeten ze gebruiken om de inferentieprestaties van het model te analyseren en te verbeteren?

De juiste optie beschrijft een proces van modeloptimalisatie via pruning, waarbij SageMaker Debugger wordt gebruikt om inzicht te krijgen in de interne werking van het model. SageMaker Debugger kan trainingsgewichten, -gradiënten, -biases en -activaties inspecteren, wat essentieel is voor het berekenen van filterrangen. Door filters met een lage rang te snoeien, kan het model kleiner en efficiënter worden gemaakt, wat leidt tot lagere inferentietijden, cruciaal voor toepassingen met lage latentie zoals autonome voertuigen. Het opnieuw trainen van het gesnoeide model zorgt ervoor dat de prestaties behouden blijven of zelfs verbeteren. De eerste optie is onjuist omdat CloudWatch-algoritmemetrics niet direct toegang bieden tot de interne trainingsgewichten, -gradiënten, -biases en -activaties op een manier die geschikt is voor gedetailleerde filterrangberekening en pruning. De tweede optie is onjuist omdat het aanpassen van hyperparameters wel de prestaties kan beïnvloeden, maar niet direct de modelgrootte of -complexiteit vermindert op de manier die nodig is voor aanzienlijke inferentietijdreductie door middel van pruning. De vierde optie is onjuist omdat SageMaker Model Monitor pas na implementatie metrics verzamelt en niet direct helpt bij het optimaliseren van het model vóór implementatie door middel van pruning of structurele wijzigingen.