Bir şirket, gerçek zamanlı kredi kartı sorgularını yanıtlayan canlı bir konuşma sisteminde kullanmak üzere büyük bir dil modelini (LLM) şirket içi eğitimden Amazon SageMaker'a taşıyor. LLM'i eğitmek ve dağıtmak için hangi SageMaker yaklaşımı kullanılmalıdır?

Doğru cevap, büyük dil modellerinin (LLM) eğitimini hızlandırmak için SageMaker Training Compiler'ı kullanmayı ve gerçek zamanlı yanıtlar için eğitilmiş modeli SageMaker gerçek zamanlı çıkarım ile dağıtmayı önerir. SageMaker Training Compiler, LLM'lerin eğitimini optimize ederek daha hızlı ve verimli hale getirir. Gerçek zamanlı kredi kartı sorguları gibi düşük gecikmeli uygulamalar için SageMaker gerçek zamanlı çıkarım en uygun çözümdür. Diğer seçenekler şunlar için uygun değildir: Büyük model çıkarımı için derin öğrenme kapsayıcıları eğitim için değil, çıkarım için tasarlanmıştır. SageMaker Notebook Jobs, etkileşimli geliştirme için daha uygundur, büyük ölçekli LLM eğitimi için optimize edilmiş bir çözüm değildir. Ayrıca, SageMaker Asynchronous Inference, gerçek zamanlı değil, gecikmeli çıkarım için kullanılır. SageMaker Studio, geliştirme ortamıdır ancak doğrudan eğitim yöntemi değildir. SageMaker batch transform ise gerçek zamanlı değil, toplu çıkarım için kullanılır.