Un pipeline ML de production sur Amazon SageMaker traite des entrées allant jusqu'à 1 Go et des tâches pouvant durer jusqu'à une heure, mais l'application nécessite des réponses quasi en temps réel. Quelle option d'inférence SageMaker est la plus appropriée ?

L'inférence asynchrone est la plus appropriée car elle est conçue pour les charges utiles volumineuses (jusqu'à 1 Go) et les tâches de longue durée (jusqu'à une heure), tout en offrant des réponses quasi en temps réel. Elle met en file d'attente les requêtes et les traite de manière asynchrone, ce qui permet à l'application cliente de ne pas attendre la fin du traitement. L'inférence en temps réel convient aux petites charges utiles et aux temps de traitement courts (millisecondes), ce qui n'est pas le cas ici. L'inférence sans serveur est similaire à l'inférence en temps réel en termes de limites de charge utile et de durée. La transformation par lots est destinée aux grands volumes de données qui peuvent être traités hors ligne, sans exigence de quasi temps réel.