Uma empresa está migrando um large language model (LLM) de um treinamento on-premises para o Amazon SageMaker para uso em um sistema conversacional ao vivo que responde a consultas de cartão de crédito em tempo real. Qual abordagem do SageMaker deve ser usada para treinar e implantar o LLM?

A opção correta é usar o SageMaker Training Compiler para acelerar o treinamento do LLM e implantar o modelo treinado usando a inferência em tempo real do SageMaker. O SageMaker Training Compiler otimiza o código do treinamento para GPUs, reduzindo o tempo e o custo, o que é crucial para LLMs. A inferência em tempo real do SageMaker é ideal para sistemas conversacionais ao vivo que exigem respostas de baixa latência. Usar deep learning containers para large model inference para treinamento não é a principal finalidade desses containers, que são mais focados na inferência otimizada. O SageMaker Notebook Jobs é para execução de notebooks, não a ferramenta mais otimizada para treinamento distribuído de LLMs. O SageMaker Asynchronous Inference e o SageMaker batch transform são para cenários onde a latência não é crítica ou para processamento em lote, respectivamente, não sendo adequados para um sistema conversacional em tempo real.