Amazon AIF-C01: Model Eğitimi, Değerlendirme ve Optimizasyon — Çalışma kılavuzu

By Laurynas Brazys · 30 July 2026 · #amazon #aif-c01 #certification #exam-prep #study-guide

Şunun bir parçası: AWS AI Practitioner AIF-C01 — Çalışma kılavuzu. Doğrulanmış cevaplarla şurada pratik yapın: Amazon sınav merkezi, veya şurada süreli deneme sınavları çözün: ExamRoll.io.

Eğitim stratejileri ve veri mimarisi

Eğitim stratejileri tasarlamak, sıfırdan eğitim yapmaya, önceden eğitilmiş bir modele ince ayar (fine-tune) yapmaya veya few-shot/prompting tekniklerini uygulamaya karar vermekle başlar. Küçük etiketli veri kümeleri için, önceden eğitilmiş bir model (Amazon Bedrock veya SageMaker JumpStart modelleri) üzerinde transfer öğrenimi (transfer learning) yakınsamayı hızlandırır ve genellemeyi iyileştirir; büyük, alana özgü külliyatlar için ise SageMaker Training üzerinde dağıtık örneklerle (Horovod veya SageMaker tarafından yönetilen dağıtık eğitim) tam eğitim yapmak gerekebilir. Veri mimarisi önemlidir: ham ve işlenmiş verileri Amazon S3’te saklayın, özellikleri (feature) Amazon SageMaker Feature Store’da düzenleyin, AWS Glue veya SageMaker Processing ile dönüştürün ve Amazon SageMaker Ground Truth ile etiketleyin. Hassas veriler üzerinde ince ayar yaparken VPC uç noktaları, KMS şifrelemesi ve özel Bedrock bağlayıcıları ile güvenlik ve gizliliği sağlayın. Yaygın tuzaklar arasında gelecekteki bilgilerden kaynaklanan etiket sızıntısı, zamansal problemler için zamana dayalı sızıntı ve metrikleri saptıran dengesiz örnekleme yer alır. Karar kriterleri veri kümesi boyutunu, etiket kalitesini, gecikme süresi ve maliyet kısıtlamalarını ve yasal gereklilikleri tartmalıdır; maliyet tasarrufu için spot eğitimi (spot training) seçin ancak tekrarlanabilirliği ve kontrol noktası almayı (checkpointing) doğrulayın. Çalışmaları izlemek için SageMaker Experiments’ı ve yapıtları (artifact) sürümlemek için Model Registry’yi kullanarak tekrarlanabilir karşılaştırmalar ve güvenli geri almalar sağlayın.

Değerlendirme ve doğrulama metrikleri

Metrik seçimi, aşinalıktan ziyade iş hedefine göre yönlendirilmelidir. Sınıflandırma için, yanlış pozitiflerin maliyetli olduğu durumlarda (dolandırıcılık uyarıları) precision’a, pozitifleri kaçırmanın tehlikeli olduğu durumlarda (hastalık taraması) ise recall’a öncelik verin. Bilgi getirme (information retrieval) ve özetleme için ROUGE ve BLEU, n-gram çakışmasını ve akıcılığı yakalarken, uyumluluğun kritik olduğu yanıtlar için insan değerlendirmesi veya olgusallık (factuality) metrikleri gereklidir. Sağlam doğrulama stratejileri kullanın: katmanlı k-katlamalı (stratified k-fold) veya zaman serisine duyarlı bölmeler, özel bir holdout test seti ve gerçek trafik altında üretim performansını doğrulamak için gölge (shadow) veya kanarya (canary) dağıtımları. Model kalibrasyonu ve eşik seçimi genellikle precision-recall eğrileri veya ROC-AUC analizi ve eğitim sonrası kalibrasyon yöntemleri gerektirir. Teknik metriklerin yanı sıra iş odaklı metrikleri de (maliyet ağırlıklı hata, müşteri kayıp oranı (churn) artışı) göz önünde bulundurun. Uygulamacılar arasında yaygın olan tuzaklar, dengesiz sınıflarda doğruluğa (accuracy) aşırı güvenmek ve olgusal tutarlılığın önemli olduğu durumlarda NLG’yi (doğal dil üretimi) yalnızca BLEU/ROUGE ile değerlendirmektir. Referans alınacak metrik tanımları:

Accuracy: doğru tahminlerin oranı.
Precision: doğru pozitiflerin, tahmin edilen pozitiflere bölünmesi.
Recall: doğru pozitiflerin, gerçek pozitiflere bölünmesi.
F1 score: precision ve recall’un harmonik ortalaması.
ROC AUC: alıcı işletim karakteristiği (receiver operating characteristic) eğrisinin altındaki alan.
BLEU: çeviri benzeri görevler için precision tabanlı n-gram çakışma metriği.
ROUGE: özetleme için recall odaklı n-gram çakışma metriği.

Aşırı öğrenme, eksik öğrenme, kayma ve açıklanabilirlik

Aşırı öğrenme (overfitting), modeller eğitim verisindeki gürültüyü ezberlediğinde ortaya çıkar; eksik öğrenme (underfitting) ise modeller sinyali yakalayamadığında meydana gelir. Azaltma yöntemleri arasında erken durdurma (early stopping), regülarizasyon (L1/L2), sinir ağları için dropout, veri artırma (data augmentation) ve topluluk öğrenmesi (ensembling) bulunur. Tablosal problemler için özellik mühendisliği (feature engineering) ve budama (pruning) varyansı azaltır; LLM’ler için ise seçici ince ayar (selective fine-tuning) veya prompt tuning, katastrofik unutmayı (catastrophic forgetting) önler. Model kayması (drift), kovaryant kayması (girdi dağılımı kayması) veya konsept kayması (etiket ilişkisi değişiklikleri) olarak kendini gösterir. Veri ve tahmin kaymasını tespit etmek için Amazon SageMaker Model Monitor ile sürekli izleme uygulayın ve SageMaker Pipelines veya AWS Lambda ve Step Functions kullanan olay güdümlü iş akışları ile periyodik yeniden eğitimi düzenleyin. Düzenlemeye tabi ortamlar için açıklanabilirlik (explainability) ve adalet (fairness) araçlarını uygulayın: SageMaker Clarify özellik önemi (feature importance), yanlılık (bias) metrikleri ve eğitim öncesi/sonrası raporlar sunar; çıkarım işlem hatlarına (inference pipeline) entegre edilmiş SHAP ve LIME ise yerel açıklamalar sunar. Yaygın tuzaklar arasında veri kalitesi sorunlarını model bozulmasıyla karıştırmak, performans iş eşiklerinin altına düşene kadar yeniden eğitimi geciktirmek ve kök neden analizi için girdileri/çıktıları kaydetmemek yer alır. Düşük güvenilirlikli veya yüksek riskli tahminler için Amazon Augmented AI (A2I) kullanarak insan döngüsü içinde (human-in-the-loop) bir gözden geçirme süreci tasarlayın.

Optimizasyon, hiperparametre ayarı ve yaşam döngüsü yönetimi

Hiperparametre ayarı ve dağıtım stratejisi, bir modelin doğruluk, gecikme süresi ve maliyet hedeflerini karşılayıp karşılamadığını belirler. Bayesçi (Bayesian), rastgele (random) veya hyperband aramaları çalıştırmak için SageMaker Automatic Model Tuning’i kullanın ve zayıf bölgeleri yeniden keşfetmeden yinelemeli iyileştirme istediğinizde ayarlama işlerini warm-start (önceden ısıtılmış başlangıç) ile başlatın. Arama stratejisini boyutsallığa ve işlem bütçesine göre seçin: küçük ayrık alanlar için grid (ızgara), geniş kapsam için random (rastgele) ve verimli yakınsama için Bayesian (Bayesçi). Kaybolan gradyanları (vanishing gradients) veya darboğazları (bottlenecks) gösteren tensörleri ve kuralları toplamak için SageMaker Debugger ile profil oluşturarak operasyonel kısıtlamalar için optimizasyon yapın ve bellek ile CPU/GPU ihtiyaçlarına göre örnek (instance) türlerini seçin. Bedrock’ta veya SageMaker aracılığıyla temel modellerde (foundation models) ince ayar (fine-tuning) yaparken, maliyeti kontrol etmek ve temel model davranışına yönelik riski azaltmak için parametre verimli teknikler (adaptör katmanları, prompt ayarı) göz önünde bulundurulmalıdır. Dağıtım için modelleri SageMaker Model Registry’ye kaydedin, CodePipeline ve SageMaker Projects ile CI/CD oluşturun ve trafiğe bağlı olarak SageMaker Endpoints veya sunucusuz çıkarım (serverless inference) ile sunun. Yaygın tuzaklar arasında, orantısız maliyetle marjinal metrik kazanımlarının peşinden gitmek, kalibrasyon ve güvenilirlik puanlamasını ihmal etmek (bu da kırılgan insan incelemesi tetikleyicilerine yol açar) ve veri setlerini modellerle birlikte sürümlememek yer alır; yeniden üretilebilirliği sürdürmek için Feature Store ve Glue Catalog’da veri seti kökenini (lineage) dahil edin.

Pratik Problem: Kullanım Senaryosu

Senaryo: Orta ölçekli bir finansal hizmetler şirketi olan FinBank, modellerini AWS üzerinde çalıştırıyor ve işlem ile müşteri meta verilerini S3 ve SageMaker Feature Store’da saklıyor. Üretken bir asistan için Bedrock’u, tahmine dayalı modeller için ise SageMaker’ı kullanıyorlar.

Zorluk: Müşteri kaybı (churn) tahmin modeli, bir haftalık üretim verisinden sonra performans düşüşü gösteriyor ve ekibin sapmayı (drift) ölçmek, modeli güncellemek ve açıklanabilirlik gereksinimleriyle uyumluluğu sağlamak için kontrollü bir plana ihtiyacı var.

Önerilen Yaklaşım:

Özellik dağılımlarını, tahmin özetlerini yakalamak ve temel veri setine göre kovaryant ve tahmin sapmasını (covariate and prediction drift) tespit etmek için Amazon SageMaker Model Monitor’ü dağıtın.
Sapma tespit edilirse, veri doğrulaması (Glue ve AWS Data Wrangler), veriyi yeniden dengeleme veya zenginleştirme ve Warm-Start hiperparametre ayarı ile SageMaker Training kullanarak bir yeniden eğitim işi oluşturmak için bir SageMaker Pipeline’ı tetikleyin.
Dağıtımdan önce, adillik (fairness) ve özellik önemi (feature-importance) analizi için SageMaker Clarify’ı çalıştırın ve açıklanabilirlik raporları oluşturun; düşük güvenilirlikli tahminleri Amazon Augmented AI (A2I) insan incelemesi iş akışlarına yönlendirin.
Yeni modeli SageMaker Model Registry’ye kaydedin, bir kanarya (canary) SageMaker Endpoint’ine dağıtın ve iş KPI’ları için CloudWatch alarmları ile aşamalı bir sunumdan (phased rollout) önce gölge trafik testi (shadow traffic testing) yapın.

Gerekçe: Model Monitor ile sürekli izleme, sapmayı erken tespit eder; otomatikleştirilmiş pipeline’lar yeniden üretilebilirliği ve uygun maliyetli yeniden eğitimi sağlar. Clarify ve A2I ise AWS AI Practitioner en iyi uygulamalarıyla uyumlu, uyumluluk düzeyinde açıklamalar ve insan denetimi sunar.

← ML Veri Mühendisliği · Tüm alanlar · MLOps ve Dağıtım →

Bu soruları çözün → · ExamRoll.io’da süreli pratik →