Un modello basato su CPU fornirà previsioni in tempo reale con traffico intermittente durante l'orario lavorativo e periodi di inattività dopo l'orario lavorativo. Qual è l'opzione di hosting di SageMaker più conveniente per questo pattern?

L'opzione corretta è SageMaker Serverless Inference perché è progettata per carichi di lavoro intermittenti e a basso traffico, scalando automaticamente a zero quando non in uso, riducendo i costi. La concorrenza provisioned garantisce prestazioni ottimali durante le ore di punta lavorative. Le altre opzioni sono meno convenienti: Un endpoint real-time con auto scaling basato su pianificazione è più costoso perché le istanze rimangono attive anche con traffico zero, e l'auto scaling potrebbe non essere abbastanza reattivo per traffico intermittente. L'Asynchronous Inference è per carichi di lavoro batch o con payload di grandi dimensioni, non per previsioni in tempo reale. Attivare un endpoint real-time tramite Lambda è complesso e non sfrutta la scalabilità automatica a zero di Serverless Inference, mantenendo costi più elevati.