Una empresa está migrando un modelo de lenguaje grande (LLM) del entrenamiento on-premises a Amazon SageMaker para usarlo en un sistema conversacional en vivo que responde a consultas de tarjetas de crédito en tiempo real. ¿Qué enfoque de SageMaker se debe usar para entrenar e implementar el LLM?

La opción correcta es usar SageMaker Training Compiler para acelerar el entrenamiento del LLM e implementar el modelo entrenado usando SageMaker real-time inference. SageMaker Training Compiler optimiza el código de entrenamiento para ejecutarlo más rápido en instancias de GPU, lo cual es crucial para LLMs grandes. La inferencia en tiempo real de SageMaker es ideal para sistemas conversacionales en vivo que requieren respuestas de baja latencia. Las otras opciones son menos adecuadas: Usar contenedores de aprendizaje profundo para inferencia de modelos grandes no es el enfoque principal para el entrenamiento, aunque son útiles para la inferencia. SageMaker Notebook Jobs es para ejecutar notebooks como trabajos, no para optimizar el entrenamiento de LLMs. La inferencia asíncrona no es adecuada para respuestas en tiempo real. SageMaker Studio es un IDE, no una técnica de entrenamiento. La transformación por lotes no es para inferencia en tiempo real.