Zespół zajmujący się pojazdami autonomicznymi wykorzystuje transfer learning z PyTorch i SageMaker SDK. Muszą skrócić czas wnioskowania (inference time) dla zastosowań autonomicznej jazdy o niskim opóźnieniu. Który proces powinni zastosować do analizy i poprawy wydajności wnioskowania modelu?

Prawidłowa odpowiedź opisuje proces przycinania (pruning) modelu, który jest skuteczną techniką redukcji rozmiaru i złożoności modelu, a tym samym skrócenia czasu wnioskowania. SageMaker Debugger pozwala na inspekcję wewnętrznych tensorów modelu, takich jak wagi i aktywacje, co jest kluczowe do identyfikacji i usunięcia mniej istotnych filtrów. Ponowne wytrenowanie przyciętego modelu (fine-tuning) pomaga odzyskać utraconą dokładność. Pozostałe opcje są nieprawidłowe, ponieważ: Użycie metryk CloudWatch do inspekcji wag i gradientów nie jest standardową funkcją CloudWatch; CloudWatch monitoruje metryki infrastruktury i aplikacji, a nie wewnętrzne tensory modelu. SageMaker Debugger może inspekcjonować tensory, ale samo dostosowanie hiperparametrów nie jest bezpośrednią metodą na redukcję złożoności modelu w celu skrócenia czasu wnioskowania w taki sposób jak przycinanie. SageMaker Model Monitor służy do monitorowania dryfu danych i dryfu modelu po wdrożeniu, a nie do optymalizacji wydajności wnioskowania poprzez zmianę architektury modelu.