Ein Unternehmen hostet einen benutzerdefinierten PyTorch CNN-Bildklassifikator auf einem SageMaker-Endpunkt und wünscht sich einen höheren Durchsatz und geringere Latenz für die Benutzer. Welche Option ist der kostengünstigste Weg, um die Leistung zu verbessern?

Die Aktivierung von Amazon Elastic Inference (EI) ist die kostengünstigste Lösung. EI beschleunigt Deep-Learning-Inferenz-Workloads, indem es die Inferenzkosten um bis zu 75 % senkt und gleichzeitig den Durchsatz erhöht und die Latenz reduziert. Es ermöglicht Ihnen, die richtige Menge an GPU-beschleunigter Inferenz zu Ihrer SageMaker-Instanz hinzuzufügen, anstatt überdimensionierte GPU-Instanzen zu verwenden. Das erneute Trainieren des CNN mit mehr Layern würde die Modellkomplexität erhöhen und wahrscheinlich die Latenz erhöhen, anstatt sie zu verringern. Die Umstellung auf einen Instanztyp mit mehreren GPUs wäre teurer und möglicherweise überdimensioniert, da EI eine feinere Kontrolle über die Inferenzbeschleunigung bietet.