Un'azienda di media necessita di raccomandazioni di articoli a bassa latenza per i lettori di una città. Il traffico raggiunge il picco in orari prevedibili (mattina, pranzo, dopo il lavoro) ed è leggero negli altri momenti. Le risposte di inferenza sono inferiori a 4 MB. Quale opzione di deployment minimizza la latenza ed è più conveniente?

L'inferenza serverless con concorrenza provisioned è la soluzione più conveniente e a bassa latenza per questo scenario. La concorrenza provisioned elimina i cold start, garantendo risposte rapide anche durante i picchi di traffico. Essendo serverless, l'azienda paga solo per le risorse effettivamente utilizzate, il che è ideale per carichi di lavoro variabili con picchi prevedibili e periodi di bassa attività, minimizzando i costi quando il traffico è leggero. L'endpoint di inferenza in tempo reale con auto scaling potrebbe essere più costoso perché le istanze potrebbero rimanere attive più a lungo del necessario. L'inferenza asincrona e i job di trasformazione batch introducono latenza, rendendoli inadatti per raccomandazioni in tempo reale.