Une entreprise déplace un grand modèle linguistique (LLM) d'un environnement d'entraînement sur site vers Amazon SageMaker pour l'utiliser dans un système conversationnel en direct qui répond aux requêtes de carte de crédit en temps réel. Quelle approche SageMaker doit être utilisée pour entraîner et déployer le LLM ?

L'approche correcte consiste à utiliser SageMaker Training Compiler pour l'entraînement et l'inférence en temps réel de SageMaker pour le déploiement. SageMaker Training Compiler optimise les modèles pour un entraînement plus rapide et plus efficace sur les instances GPU, ce qui est crucial pour les grands modèles linguistiques (LLM). L'inférence en temps réel de SageMaker est idéale pour les systèmes conversationnels qui nécessitent des réponses à faible latence, comme les requêtes de carte de crédit en temps réel. Les autres options sont moins appropriées : L'utilisation de conteneurs d'apprentissage profond pour l'inférence afin d'effectuer l'entraînement est incorrecte ; ces conteneurs sont optimisés pour l'inférence, pas pour l'entraînement. SageMaker Notebook Jobs est une option pour l'entraînement, mais l'inférence asynchrone n'est pas adaptée aux systèmes en temps réel. SageMaker Studio peut être utilisé pour l'entraînement, mais SageMaker batch transform est conçu pour le traitement par lots et non pour les réponses en temps réel.