Bir ürün tavsiye uygulaması üretken bir yapay zeka modeli kullanıyor. Şirket, uygulamanın çevresel ayak izini en aza indirmek istiyor. Bu hedefe en uygun yaklaşım hangisidir?

Doğru cevap, model çıkarımı sırasında hesaplama verimliliğini önceliklendirmek için dağıtılan model mimarisini optimize etmektir. Üretken yapay zeka modelleri genellikle büyük ve hesaplama açısından yoğundur. Çıkarım sırasında gereken işlem gücünü azaltmak, enerji tüketimini ve dolayısıyla çevresel ayak izini doğrudan düşürür. Bu, daha küçük, daha verimli modeller kullanmayı veya mevcut modelleri daha az kaynakla çalışacak şekilde optimize etmeyi içerebilir. Diğer seçenekler neden yanlış: Çıkarım yapmak için Availability Zone'lar arasında dağıtılmış birden çok küçük model kullanmak, genel enerji tüketimini artırabilir çünkü daha fazla kaynak ve ağ trafiği gerektirir. Verileri AWS'de depolarken modeli şirket içinde dağıtarak hibrit bir yaklaşım kullanmak, şirket içi altyapının enerji verimliliği AWS'den daha düşük olabileceği için çevresel ayak izini artırabilir. Birden çok model dağıtmak ve dinamik bir seçim mekanizması kullanarak aralarından rastgele seçim yapmak, her bir modelin verimliliği optimize edilmediği sürece genel enerji tüketimini azaltmaz. Hatta daha fazla modelin yönetilmesi ek kaynak gerektirebilir.