Uno specialista di machine learning addestra modelli di computer vision di deep learning su un'istanza EC2 con un rapporto CPU:GPU di 12:1 e rileva che la GPU è inattiva per circa metà del tempo. Deve ridurre i costi di addestramento senza allungare la durata dei job. Quale opzione soddisfa questo requisito?

La risposta corretta è "Utilizzare istanze Spot EC2 ottimizzate per la memoria per i job di addestramento". Le istanze Spot offrono sconti significativi rispetto alle istanze On-Demand, il che riduce i costi. Sebbene la GPU sia inattiva per metà del tempo, il problema principale è il costo, non la durata dell'addestramento. Le istanze ottimizzate per la memoria possono essere utili se il modello richiede molta RAM, ma l'aspetto chiave qui è il costo ridotto delle istanze Spot. Passare a un tipo di istanza con sole CPU non è adatto, poiché i modelli di deep learning beneficiano enormemente delle GPU per l'addestramento accelerato. Utilizzare un cluster eterogeneo non risolve direttamente il problema del costo o dell'inattività della GPU. Passare a un tipo di istanza con un rapporto CPU:GPU di 6:1 potrebbe migliorare l'utilizzo della GPU, ma non è garantito che riduca i costi complessivi quanto le istanze Spot, e potrebbe comunque non risolvere completamente l'inattività.