Amazon MLA-C01: Üretken Yapay Zeka ve Temel Modeller — Çalışma kılavuzu
Şunun bir parçası: AWS Machine Learning Engineer Associate MLA-C01 — Çalışma kılavuzu. Doğrulanmış cevaplarla şurada pratik yapın: Amazon sınav merkezi, veya şurada süreli deneme sınavları çözün: ExamRoll.io.
Temel kavram
Temel modeller, genel amaçlı dil, görüntü veya çok modlu temsiller sağlayan, genellikle transformer tabanlı, büyük, önceden eğitilmiş ağlardır. Pratik olarak üretim ortamına almak, bu geniş yetenekleri uygulamaya özgü davranışlara dönüştürmek için üç ayrı koldan müdahale gerektirir: çıkarım zamanında prompt mühendisliği, çıktıları güncel veya alana özgü bilgilere dayandırmak için geri çağırma ile zenginleştirilmiş üretim (RAG) ve ince ayar veya parametre verimli teknikler yoluyla model özelleştirme. Amazon Bedrock, birleşik bir API aracılığıyla üçüncü taraf ve Amazon tarafından sağlanan temel modelleri çağırmak için yönetilen bir yol sunar. Bu yol, model seçimini soyutlarken girdiler, model parametreleri (temperature, top_p, max_output_tokens) ve yanıt işleme üzerindeki kontrolü korur. SageMaker JumpStart, SageMaker Training veya Hugging Face container’larında çalışan önceden eğitilmiş model yapıtlarını, eğitim betiklerini ve ince ayar reçetelerini paketleyerek Bedrock’u tamamlar ve böylece tekrarlanabilir adaptasyon iş akışları ile model kaydı entegrasyonunu mümkün kılar.
İnce ayar, adaptasyonun doğruluğuna karşılık hesaplama ve veri kümesi ihtiyaçları arasında denge kuran farklı türlerde gelir. Tam ince ayar, tüm model ağırlıklarını günceller ve genellikle en yüksek göreve özgü performansı sağlar, ancak büyük GPU filoları ve kontrol noktaları (checkpoints) için depolama alanı gerektirir. LoRA (düşük ranklı adaptörler), adaptör modülleri veya QLoRA (kuantize edilmiş düşük ranklı adaptörler) gibi parametre verimli ince ayar (PEFT) teknikleri, az sayıda ek parametre enjekte edip eğiterek GPU belleğini ve süresini önemli ölçüde azaltır. Bu teknikler, 8-bit/4-bit kuantizasyon için Hugging Face ve bitsandbytes kullanan SageMaker eğitimi ile uyumludur. İnsan geri bildiriminden pekiştirmeli öğrenme (RLHF) daha karmaşık bir işlem hattıdır: çiftli insan tercihi etiketlerini toplayın, bir ödül modeli eğitin (SageMaker Training ve bir ModelPackage kullanan bir gözetimli öğrenme adımı) ve S3’te rollout’ları ve kontrol noktalarını depolarken ve SageMaker Debugger ile ödül sinyallerini izlerken politika modelini on-policy RL (PPO veya benzeri) ile optimize edin.
RAG mimarileri, halüsinasyonları azaltmak için temel modeller ile güncel külliyatlar arasında köprü kurar. Tipik bir RAG işlem hattı, sorgu metnini bir gömme modeli (Bedrock Embeddings API veya bir SageMaker Hugging Face gömme aracı) ile gömer, bir dizinde (k-NN ile Amazon OpenSearch Service, Amazon Kendra veya üçüncü taraf vektör veritabanları) en yakın komşu vektör araması yapar, en iyi k belgeyi alır ve alınan bağlam aracılığıyla prompt şablonları ve kontrollü kod çözme parametreleri ile dil modelini (LM) koşullandırır. Güncelliği ve alaka düzeyini yönetmek, AWS Glue kullanarak kaynakların periyodik olarak yeniden alınmasını ve yeniden indekslenmesini, akış güncellemeleri için AWS Lambda’yı veya işlemsel kaynaklar için AWS DMS’yi kullanmayı ve denetlenebilirlik için köken meta verilerini (source_id, document_id, ingestion_time) vektörlerle birlikte depolamayı gerektirir.
Temel hizmetler ve yapılandırma
Amazon Bedrock, isteklerin model tanımlayıcısını ve çalışma zamanı parametrelerini içerdiği InvokeModel API’sini sunar: modelId, contentType ve accept başlıklarını, prompt’ları veya inputText’i içeren body’yi ve temperature, topP ve maxOutputTokens gibi modelParameters’ı geçin. Rol tabanlı talimatları ayırmak ve çıktı formatlarını kısıtlamak için yapılandırılmış sistem ve kullanıcı mesajları kullanın; gecikmeyi ve maliyeti sınırlamak için durdurma dizilerini ve max_output_tokens’ı zorunlu kılın. Gömme (embedding) oluşturma için Bedrock embeddings uç noktasını veya bir SageMaker Hugging Face çıkarım container’ını kullanın ve vektörleri OpenSearch, Kendra veya harici bir vektör veritabanında kalıcı hale getirin.
SageMaker JumpStart, CreateTrainingJob’a somut API parametreleriyle bağlanan önceden oluşturulmuş notebook’lar ve ince ayar işlem hatları sağlar: TrainingJobName, AlgorithmSpecification (TrainingImage, TrainingInputMode), RoleArn, InputDataConfig (S3Uri, DataSource), OutputDataConfig (S3OutputPath), ResourceConfig (InstanceType, InstanceCount, VolumeSizeInGB) ve StoppingCondition (MaxRuntimeInSeconds). Model yönetişimi için SageMaker Model Registry’yi ve ApprovalStatus’u “PendingManualApproval” olarak ayarlanmış CreateModelPackage/CreateModelPackageGroup’u kullanın; dağıtımları kontrol etmek (gate) amacıyla ApprovalStatus özniteliğini AWS CodePipeline veya AWS Step Functions ve bir ManualApproval eylemiyle birlikte kullanarak model terfisini CI/CD’ye entegre edin. Sürekli izleme ve yanlılık tespiti için, MonitoringScheduleConfig ve BaselineConfig ile CreateMonitoringSchedule aracılığıyla SageMaker Model Monitor’ü dağıtın; S3’te depolanan temel çizgileri (baseline) üretmek ve veri kümesi yanlılık metriklerini hesaplamak için ProcessingJob API’leri (ClarifyProcessor.run_pre_training_bias ve run_post_training_bias) aracılığıyla SageMaker Clarify’ı kullanın.
Vektör arama ve RAG için, ölçek ve sorgu gecikmesine göre indeksleme ve arama teknolojisi seçin. Amazon OpenSearch Service, k-NN eklentisini destekler ve REST API’leri ile ayrıntılı erişim kontrolü sağlar; Amazon Kendra, S3, SharePoint ve RDS’e bağlayıcılarla kurumsal anlamsal arama sunar. Merkezi bir Veri Kataloğu (Data Catalog) oluşturmak için AWS Glue crawler’larını ve S3 eğitim verilerinin ayrıntılı erişim kontrolünü ve izolasyonunu zorunlu kılmak için AWS Lake Formation’ı kullanın; IAM, bucket politikaları ve şifrelemenin (SSE-S3 veya SSE-KMS) uygulandığından emin olun.
Tasarım desenleri ve ödünleşimler
Temel modelleri özelleştirirken, çevrimdışı ince ayar (fine-tuning) ile çalışma zamanı prompt mühendisliği arasında karar verin. Tam ince ayar (full fine-tuning), dar kapsamlı görevler için performansı en üst düzeye çıkarır ancak operasyonel karmaşıklığı artırır: eğitim işleri büyük GPU filoları, çok düğümlü dağıtık eğitim (Script Mode’da SageMaker DistributedDataParallel veya Horovod kullanın), UploadDirectory aracılığıyla S3’e checkpoint alma ve daha sonra verimli çıkarım için niceleme (quantization) ve dönüştürme gerektirir. LoRA gibi PEFT yaklaşımları, model ağırlıklarının çoğunu dondurulmuş halde tutar, bu da eğitim süresini önemli ölçüde azaltır, daha ucuz hiperparametre taramalarına olanak tanır ve temel model bozulmadan kaldığı için geri almayı (rollback) basitleştirir. Çıkarım için, Bedrock tarafından yönetilen endpoint’ler üçüncü taraf FM’ler (Foundation Models) için operasyonel yükü hafifletirken, SageMaker gerçek zamanlı endpoint’leri daha derin kontrol sağlar: tek bir instance’tan çok sayıda modeli sunmak için MultiModelEndpoints, öngörülemeyen trafik için Serverless Inference veya cold start’ları azaltmak için otomatik ölçeklendirme (auto-scaling) ve sağlanan eşzamanlılık (provisioned concurrency) özelliklerine sahip provisioned endpoint’ler kullanın.
RAG, dizini (index) güncel tutmada ve bilgi getirme (retrieval) ile halüsinasyon arasındaki dengeyi kurmada karmaşıklık getirir. Basit bir desen, hibrit getirme (hybrid retrieval) yöntemidir: önce bir vektör araması (anlamsal) çalıştırın, ardından kesinliği (precision) sağlamak için bir anahtar kelime filtresi uygulayın. Belge parçası (chunk) üst verilerini saklayın; böylece üretim (generation) adımı kaynaklara atıfta bulunabilir ve Model Monitor’ün halüsinasyon sıklığı kontrollerini kolaylaştırır. Gecikmeye duyarlı uygulamalar için, gömme (embedding) hesaplamasını ve dizini (index) aynı yerde barındırın (aynı VPC içinde SageMaker çıkarımı + OpenSearch) ve hız karşılığında geri çağırmadan (recall) ödün vermek için yaklaşık en yakın komşu (ANN) indekslemesini kullanın.
RLHF, sürtünmesi yüksek (uygulaması zor) bir yöntemdir ancak insani değerlere uyum veya güvenlik gerektiğinde zorunludur. Bu işlem hattı (pipeline), not ekleme (annotation) için araçlar, SageMaker Estimator API’leri ile tekrarlanabilir ödül eğitimi ve kararlı RL optimize edicileri (RLlib veya Stable Baselines ailelerindeki PPO uygulamaları) gerektirir. RLHF’nin maliyeti ve istikrarsızlığı, statik bir kayıp (loss) olarak kodlanamayan davranışları düzeltme yeteneği karşısında tartılmalıdır.
Sık karşılaşılan tuzaklar ve karar kriterleri
Sık yapılan bir hata, model düzeyinde adaptasyon gerektiren sistematik hataları düzeltmek için yalnızca prompt’lara güvenmektir; prompt’lar yardımcı olabilir ancak alan bilgisi (domain) temellendirmesi için ince ayarın (fine-tuning) veya RAG’nin yerini tutmaz. Bir diğer tuzak ise yönetişimi (governance) hafife almaktır: üretken sistemleri production’a almak, model soy takibi (SageMaker Model Registry), otomatik sapma tespiti (Model Monitor temelleri ve Clarify) ve bir onay iş akışı (ApprovalStatus + CodePipeline manuel onayı) gerektirir. Gömme (embedding) depoları için, meta verisi veya köken bilgisi (provenance) olmayan bir vektör dizini seçmek, daha sonraki denetimleri ve hata analizini maliyetli hale getirir.
Model barındırmaya (hosting), kontrol ile operasyonel yük arasında bir denge kurarak karar verin. Çıkarım (inference) filosunu yönetmeden çeşitli, performanslı temel modellere yönetilen erişim istediğinizde Bedrock kullanın. Özel çıkarım yığınlarına (stack), VPC izolasyonuna veya Model Registry ve Model Monitor ile tam entegrasyona ihtiyacınız olduğunda SageMaker uç noktalarını (endpoint) kullanın. İnce ayar (fine-tuning) yöntemleri için, veri kümesi boyutu mütevazı olduğunda ve hızlı yineleme (iteration) önemli olduğunda PEFT’i seçin; alan (domain) derin bir temsili değişiklik gerektirdiğinde ve GPU bütçeniz olduğunda tam ince ayarı (full fine-tuning) seçin.
Pratik Problem: Kullanım Senaryosu
Şirket adı: AuroraPayments — zorluk: şüpheli skorları açıklamak için işlem bağlamını ve politika belgelerini sentezleyen ve kontrollü model güncellemelerini destekleyen, düşük gecikmeli, denetlenebilir bir dolandırıcılık tespit asistanı dağıtmak.
Veri toplama ve depolama: S3 işlem loglarını taramak için AWS Glue kullanın ve şirket içi (on-prem) MySQL tablolarını Amazon RDS veya S3’e çoğaltmak için AWS DMS’i kurun. Tüm kaynakları AWS Glue Data Catalog’a kaydedin ve Lake Formation politikalarını uygulayın. Gerekçe: Glue, sunucusuz ETL ve alt sistemler tarafından erişim için birleşik bir katalog sağlar ve Lake Formation, S3 erişim izolasyonunu zorunlu kılar.
Özellik mühendisliği ve anormallik tespiti: çevrimdışı/çevrimiçi tutarlılık için özellikleri (feature) SageMaker Feature Store’a alın. İşlem zaman serilerine karşı Amazon Lookout for Metrics kullanarak otomatik anormallik tespiti çalıştırın ve Amazon QuickSight’ta panolar (dashboard) oluşturun. Gerekçe: Feature Store, eğitim (training) ve sunum (serving) için yeniden üretilebilir özellikleri garanti eder; Lookout for Metrics anormallik tespitini otomatikleştirir ve QuickSight iş analistleri için görselleştirme sağlar.
Model eğitimi ve dengesizlik yönetimi: hiperparametrelerle SageMaker yerleşik XGBoost’u kullanarak bir XGBoost sınıflandırıcısı eğitin ve sınıf dengesizliğini düzeltmek için scale_pos_weight’i (num_negative/num_positive) olarak ayarlayın. Eğitim boyutuna göre ayarlanmış ResourceConfig ile SageMaker Training CreateTrainingJob kullanın ve hataya dayanıklılık (fault tolerance) için S3 kontrol noktası oluşturmayı (checkpointing) etkinleştirin. Gerekçe: XGBoost, tablosal dolandırıcılık görevleri için etkilidir; scale_pos_weight, sentetik aşırı örneklemeye (oversampling) kıyasla minimum operasyonel yük gerektirir.
Model kaydı, onayı ve dağıtımı: CreateModelPackage/ModelPackageGroupName ile model yapıtlarını (artifact) SageMaker Model Registry’ye kaydedin ve ApprovalStatus’u “PendingManualApproval” olarak ayarlayın. Bir onay eylemini tetikleyen bir CodePipeline uygulayın, ardından onaylanmış sürümleri Auto Scaling arkasındaki MultiModel uç noktaları veya Provisioned Instances ile SageMaker gerçek zamanlı uç noktalarına dağıtın. Gerekçe: Model Registry, merkezi sürümlemeyi ve Yönetişimi (Governance) sürdürür; CodePipeline aracılığıyla manuel onay, yetkili sürümleri zorunlu kılar.
Açıklanabilirlik ve politika temellendirmesi için RAG: Bedrock veya bir SageMaker Hugging Face gömme aracı (embedder) ile politika belgelerinin gömmelerini (embedding) oluşturun, bunları meta verilerle Amazon OpenSearch k-NN’de dizinleyin ve şüpheli bir işlem prompt’unun, en iyi k (top-k) sayıda alınan politika parçacıklarını ve temel modele kaynakları belirtmesini ve insan tarafından okunabilir bir açıklama oluşturmasını bildiren bir şablonu içerdiği bir RAG akışı uygulayın. Gerekçe: RAG, açıklamaları yetkili belgelere dayandırır ve OpenSearch, güvenlik çevresi içinde ölçeklenebilir vektör araması sağlar.
İzleme ve yeniden eğitim: ilk doğrulamadan (validation) alınan bir temel (baseline) ile SageMaker Model Monitor’ü etkinleştirin ve dağıtım sonrası yanlılık (bias) kontrollerini çalıştırmak için isteğe bağlı (on-demand) Clarify ProcessingJobs’u zamanlayın. Model Monitor bir sapma (özelliklerde dağılımsal değişiklik veya etiket değişiklikleri) sinyali verirse, veri alımını çalıştıran, metinsel özellikler için bir temel model kodlayıcı (encoder) kullanılıyorsa LoRA ince ayarı (fine-tuning) ile yeniden eğiten, değerlendiren ve yeni modeli PendingManualApproval olarak kayıt defterine (registry) yerleştiren bir SageMaker Pipeline’ı tetikleyin. Gerekçe: Otomatikleştirilmiş pipeline’lar ile sürekli izleme, production değişiklikleri üzerinde manuel kontrolü korurken model performansını ve uyumluluğu kontrol altında tutar.
← Güvenlik · Tüm alanlar · ML İş Yükleri için Maliyet Optimizasyonu →
Bu soruları çözün → · ExamRoll.io’da süreli pratik →
Pass the whole exam — not just this question
You found this answer. Get every verified question and explanation in one place, and save hours of prep. Free to start.
Sınavınızı geçin →