BrightDrive souhaite remplacer un point de terminaison GPU en temps réel à faible trafic par SageMaker Serverless Inference pour réduire les coûts. Ils doivent contrôler la concurrence et comprendre les compromis en matière de latence. Quelle affirmation décrit le mieux comment configurer le mode serverless et les compromis par rapport à un point de terminaison persistant en temps réel ?

L'option correcte décrit précisément les caractéristiques de SageMaker Serverless Inference. Il permet de configurer MaxConcurrency et la taille de la mémoire, et il est vrai que les requêtes peuvent subir une latence de démarrage à froid car le mode serverless démarre les ressources à la demande. Il est rentable pour le trafic intermittent, mais les points de terminaison persistants offrent une latence plus faible et constante, et prennent en charge les GPU et la capacité provisionnée, ce que Serverless Inference ne fait pas. Les autres options sont incorrectes car : SageMaker Serverless Inference ne prend pas en charge les types d'instances GPU et ProvisionedConcurrency n'est pas une fonctionnalité de Serverless Inference (elle est pour les fonctions Lambda ou les points de terminaison asynchrones). Serverless Inference a bien des paramètres de concurrence (MaxConcurrency). Le passage au mode Serverless n'élimine pas les démarrages à froid et ne garantit pas une latence p99 identique à celle d'un point de terminaison en temps réel, même avec MaxConcurrency configuré.