Firma przenosi duży model językowy (LLM) ze środowiska lokalnego do Amazon SageMaker w celu wykorzystania go w systemie konwersacyjnym na żywo, który odpowiada na zapytania dotyczące kart kredytowych w czasie rzeczywistym. Które podejście SageMaker należy zastosować do trenowania i wdrożenia LLM?

Prawidłowa odpowiedź to użycie SageMaker Training Compiler do przyspieszenia trenowania LLM i wdrożenie wytrenowanego modelu za pomocą SageMaker real-time inference. SageMaker Training Compiler optymalizuje kod treningowy, co jest kluczowe dla dużych modeli językowych (LLM) ze względu na ich złożoność i rozmiar, skracając czas treningu i obniżając koszty. Wdrożenie w czasie rzeczywistym (real-time inference) jest niezbędne dla systemu konwersacyjnego, który wymaga natychmiastowych odpowiedzi na zapytania użytkowników. Pozostałe opcje są mniej odpowiednie: Użycie SageMaker z deep learning containers for large model inference do trenowania jest możliwe, ale SageMaker Training Compiler oferuje specyficzne optymalizacje przyspieszające trening LLM. SageMaker Notebook Jobs są dobre do eksperymentów, ale nie oferują wbudowanych optymalizacji przyspieszających trening LLM, a SageMaker Asynchronous Inference jest przeznaczony do zadań, które nie wymagają natychmiastowej odpowiedzi, co jest sprzeczne z wymaganiami systemu konwersacyjnego na żywo. SageMaker Studio jest środowiskiem IDE, a nie metodą trenowania, a SageMaker batch transform jest przeznaczony do przetwarzania dużych partii danych offline, a nie do interakcji w czasie rzeczywistym.