Un team di veicoli a guida autonoma utilizza il transfer learning con PyTorch e l'SDK di SageMaker. Hanno bisogno di ridurre il tempo di inferenza per un utilizzo a bassa latenza nella guida autonoma. Quale processo dovrebbero usare per analizzare e migliorare le prestazioni di inferenza del modello?

SageMaker Debugger è lo strumento corretto per analizzare i problemi di performance del modello durante il training. Permette di ispezionare i tensori interni (pesi, gradienti, bias, attivazioni) per identificare i filtri meno importanti (a basso rango). La potatura (pruning) di questi filtri riduce la complessità del modello, portando a tempi di inferenza più rapidi senza una significativa perdita di accuratezza. Dopo la potatura, è necessario un nuovo job di training per adattare il modello ai pesi rimanenti. Le altre opzioni non sono adatte: CloudWatch non ispeziona i tensori interni per la potatura; SageMaker Debugger non regola direttamente gli iperparametri per l'inferenza in questo contesto; SageMaker Model Monitor è per il monitoraggio post-deployment della deriva dei dati o del modello, non per l'ottimizzazione del modello tramite potatura.