Une entreprise héberge plusieurs modèles SageMaker en temps réel qui nécessitent des instances accélérées et ont des besoins de mise à l'échelle différents. Les démarrages à froid (cold starts) doivent être évités pour chaque modèle. Quelle conception répond à ces contraintes ?

La bonne réponse est de créer un endpoint SageMaker, d'ajouter un composant d'inférence pour chaque modèle, de configurer l'auto scaling par composant d'inférence et de définir le nombre minimum de copies à au moins 1. Cette approche utilise la fonctionnalité Multi-Model Endpoints (MME) de SageMaker avec des composants d'inférence, permettant de partager un seul endpoint tout en gérant l'auto scaling et les exigences spécifiques de chaque modèle (y compris les instances accélérées et les besoins de mise à l'échelle différents). Définir le nombre minimum de copies à 1 pour chaque composant d'inférence garantit qu'il y a toujours au moins une instance prête, évitant ainsi les démarrages à froid. L'inférence Serverless avec concurrence provisionnée (option 1) pourrait fonctionner, mais les MME sont plus efficaces pour consolider plusieurs modèles sur un seul endpoint. L'inférence asynchrone (option 2) n'est pas adaptée aux besoins en temps réel. Un endpoint multi-modèle pointant vers un compartiment S3 (option 4) est une option, mais la gestion par composant d'inférence offre une granularité supérieure pour l'auto scaling et les types d'instances, ce qui est crucial pour des besoins de mise à l'échelle différents et des instances accélérées.