Bir sınıflandırma görevi için sinir ağı mini-batch'lerle eğitilirken, eğitim doğruluğu iterasyonlar arasında büyük ölçüde dalgalanıyor. Bunun en olası nedeni nedir?

Eğitim doğruluğunun iterasyonlar arasında büyük ölçüde dalgalanmasının en olası nedeni, öğrenme oranının çok yüksek ayarlanmış olmasıdır. Yüksek bir öğrenme oranı, modelin ağırlıklarını her güncellemede çok fazla ayarlamasına neden olur, bu da optimizasyon sürecinin minimum noktayı aşmasına ve kayıp fonksiyonunda büyük dalgalanmalara yol açar. Diğer seçenekler neden doğru değil: Sınıf etiketlerinin dengesiz olması, modelin azınlık sınıfları kötü öğrenmesine neden olabilir, ancak genellikle doğruluğun iterasyonlar arasında bu kadar büyük dalgalanmasına yol açmaz; daha ziyade genel performans düşüşüne neden olur. Epoch'lar arasında veri setinin karıştırılmasının devre dışı bırakılması, modelin aynı sırayla örnekleri görmesine ve belirli bir sıraya ezberlemesine yol açabilir, ancak bu da genellikle doğruluğun bu denli büyük dalgalanmasına neden olmaz. Mini-batch boyutunun çok büyük olması, daha kararlı gradyan tahminleri sağlar ve genellikle daha az dalgalanmaya yol açar, ancak daha yavaş öğrenme ve yerel minimumlara takılma riskini artırabilir.