Un'azienda sta spostando un modello linguistico di grandi dimensioni (LLM) dall'addestramento on-premise ad Amazon SageMaker per l'utilizzo in un sistema conversazionale live che risponde a query sulle carte di credito in tempo reale. Quale approccio SageMaker dovrebbe essere utilizzato per addestrare e distribuire l'LLM?

L'opzione corretta è usare SageMaker Training Compiler per accelerare l'addestramento dell'LLM e distribuire il modello addestrato usando l'inferenza in tempo reale di SageMaker. SageMaker Training Compiler ottimizza le prestazioni di addestramento dei modelli, specialmente per LLM, riducendo i tempi e i costi. L'inferenza in tempo reale di SageMaker è essenziale per un sistema conversazionale live che richiede risposte immediate. Le altre opzioni sono meno adatte: l'uso di container di deep learning per l'inferenza di modelli di grandi dimensioni è più generico e non specifica l'ottimizzazione dell'addestramento; SageMaker Notebook Jobs non è l'approccio più efficiente per l'addestramento su larga scala e l'inferenza asincrona non è adatta per applicazioni in tempo reale; SageMaker Studio è un ambiente di sviluppo, non una soluzione di addestramento e distribuzione ottimizzata, e la trasformazione batch non è adatta per l'inferenza in tempo reale.