Un modello di machine learning valuterà i clienti in un'applicazione online per determinare quale prodotto mostrare. L'ingegnere deve ridurre al minimo la latenza di risposta. Come dovrebbe essere distribuito il modello in SageMaker per soddisfare i requisiti di bassa latenza?

Per minimizzare la latenza di risposta in un'applicazione online che deve mostrare prodotti in tempo reale, la configurazione di un endpoint di inferenza in tempo reale (Real-time Inference Endpoint) è la soluzione più appropriata. Questo tipo di endpoint è progettato per fornire inferenze a bassa latenza e alta disponibilità, rispondendo immediatamente alle richieste. La trasformazione batch è per elaborazioni offline di grandi volumi di dati. L'endpoint serverless offre scalabilità automatica ma potrebbe introdurre una latenza maggiore a causa del "cold start". L'endpoint asincrono è per inferenze che non richiedono una risposta immediata, come elaborazioni in background.