Un modello deve essere eseguito una volta per notte per prevedere i valori azionari del giorno successivo. L'input è di 3 MB raccolti quel giorno e l'inferenza si completa in meno di 1 minuto. Come si dovrebbe distribuire questo modello in Amazon SageMaker per soddisfare questi requisiti?

La risposta corretta è "Utilizzare un endpoint di inferenza serverless e impostare MaxConcurrency su 1". Questo perché un endpoint serverless è ideale per carichi di lavoro sporadici o a bassa frequenza, come un'esecuzione notturna, poiché si scala automaticamente a zero quando non in uso, eliminando i costi di inattività. L'impostazione di MaxConcurrency su 1 assicura che venga elaborata una sola richiesta alla volta, il che è appropriato per un'esecuzione batch singola. Le altre opzioni sono meno adatte: Un endpoint serverless multi-modello è per servire più modelli da un singolo endpoint, non necessario qui. La memorizzazione nella cache non è rilevante per un'esecuzione notturna singola. L'inferenza asincrona è per payload di grandi dimensioni o tempi di elaborazione lunghi, mentre qui l'input è piccolo (3 MB) e l'inferenza è veloce (meno di 1 minuto). Impostare InitialInstanceCount su 0 è per endpoint in tempo reale, non asincroni. Un endpoint in tempo reale con autoscaling a 0 è possibile, ma un endpoint serverless è una soluzione più gestita e ottimizzata per questo tipo di carico di lavoro sporadico, richiedendo meno configurazione per la scalabilità a zero.