Bir şirket, dil modellerini kullanarak uç cihazlarda mutlak en düşük gecikmeyle çıkarım yapmak istiyor. Bu duruma en uygun dağıtım yaklaşımı hangisidir?
Bir cevap seçin
Cevabınızı kontrol etmek için bir seçeneğe dokunun.
Doğru cevap: Optimize edilmiş küçük dil modellerini (SLM'ler) doğrudan uç cihazlara dağıtın.
Neden bu cevap
En düşük gecikme ve uç cihazlarda çıkarım için optimize edilmiş küçük dil modellerinin (SLM'ler) doğrudan dağıtımı en uygun çözümdür. SLM'ler, daha az hesaplama kaynağı gerektirdiğinden ve ağ gecikmesini ortadan kaldırdığından, uç cihazlarda hızlı çıkarım için idealdir. Büyük dil modelleri (LLM'ler) genellikle uç cihazların işlem gücünü aşar ve daha fazla gecikmeye neden olur. Merkezi API'ler ise ağ gecikmesi ekleyerek "mutlak en düşük gecikme" hedefine ulaşmayı engeller, çünkü her çıkarım isteği sunucuya gidip gelmek zorundadır.
Sonsuz cevap arayışı olmadan sınavınızı geçin
Bu sınav için her doğrulanmış soruyu ve açıklamayı tek bir yerde edinin ve saatlerce süren hazırlıktan tasarruf edin. 1.000'den fazla sertifika · 20'den fazla dil · ücretsiz başlayın.
Sınavınızı daha hızlı geçin → Kart gerekmez