Un'azienda ospita un classificatore di immagini CNN PyTorch personalizzato su un endpoint SageMaker e desidera una maggiore velocità effettiva e una minore latenza per gli utenti. Qual è l'opzione più conveniente per migliorare le prestazioni?

Abilitare Amazon Elastic Inference (EI) è l'opzione più conveniente per migliorare la velocità effettiva e ridurre la latenza. EI consente di allegare un acceleratore GPU a istanze EC2 o endpoint SageMaker senza GPU, o con GPU di dimensioni insufficienti, a una frazione del costo di una GPU completa. Questo è ideale per l'inferenza, dove le GPU sono spesso sottoutilizzate. Riapprendere la CNN con più livelli e un dataset più grande aumenterebbe la complessità e probabilmente il tempo di inferenza, non migliorandolo. Riapprendere con un dataset più piccolo potrebbe ridurre le prestazioni del modello. Passare a un tipo di istanza SageMaker con più GPU migliorerebbe le prestazioni, ma sarebbe significativamente più costoso rispetto all'utilizzo di Elastic Inference, rendendola meno conveniente.