Una pipeline ML di produzione su Amazon SageMaker elabora input fino a 1 GB e job che possono essere eseguiti fino a un'ora, ma l'applicazione richiede risposte quasi in tempo reale. Qual è l'opzione di inferenza SageMaker più appropriata?

L'inferenza asincrona è la scelta più appropriata per questo scenario. Supporta payload di grandi dimensioni (fino a 1 GB) e tempi di elaborazione lunghi (fino a un'ora), pur fornendo risposte quasi in tempo reale. L'inferenza in tempo reale è adatta per payload più piccoli e latenza molto bassa, ma non per payload da 1 GB. L'inferenza serverless è ideale per carichi di lavoro intermittenti e non per payload così grandi o tempi di esecuzione lunghi. La trasformazione batch è per l'elaborazione offline di grandi set di dati, non per risposte quasi in tempo reale.