Amazon DEA-C01: Veri İş Yükleri için Maliyet Optimizasyonu — Çalışma kılavuzu
Şunun bir parçası: Amazon Data Engineer Associate DEA-C01 — Çalışma kılavuzu. Doğrulanmış cevaplarla şurada pratik yapın: Amazon sınav merkezi, veya şurada süreli deneme sınavları çözün: ExamRoll.io.
Veri hizmetleri için Rezerve kapasite ve Savings Plans
Rezerve kapasite ve Savings Plans, veri hizmetleri arasında farklı şekilde uygulanır. EC2 destekli hizmetler (EMR, kendi kendine yönetilen HBase, özel Hadoop) için, işlem harcamasını karşılamak üzere EC2 Savings Plans veya Rezerve Örneklemler kullanın; taşınabilirlik ihtiyaçlarına göre bölgesel veya zonal seçenekleri belirleyin. Redshift, öngörülebilir ambar iş yükleri için saatlik maliyetleri düşürmek amacıyla sağlanan kümeler için rezerve düğüm alımlarını destekler. Sunucusuz hizmetlerin (Glue, Athena) kaynak rezervasyonları yoktur; bunun yerine iş yükü zamanlaması ve veri formatı değişiklikleriyle optimizasyon yapın.
Pratik satın alma rehberi:
- Kullanımı bilinen, sabit durumdaki veri ambarı iş yükleri için Redshift Rezerve Düğümleri satın alın (1 yıllık ve 3 yıllık dönemleri ve tümü peşin/kısmi peşin/peşinatsız seçeneklerini değerlendirin).
- Örneklem aileleri genelindeki öngörülebilir EMR/EC2 harcamalarını karşılamak için EC2 Savings Plans kullanın; Savings Plans, örneklem ailesi veya bölge değişiklikleri durumunda esneklik sağlar.
- Sunucusuz hizmetler için rezervasyon satın almayın; bunun yerine kullanım desenlerini, zamanlamayı ve veri düzenini optimize edin.
Yaygın Tuzaklar ve Karar Kriterleri
- Athena, bölümleme olmadan tüm tabloyu tarar — büyük, zaman serisi tablolarını her zaman tarihe veya yüksek kardinaliteye sahip, sık filtrelenen diğer sütunlara göre bölümleyin ve taranan bayt miktarını en aza indirmek için Parquet/ORC’ye dönüştürün.
- Glue DPU otomatik ölçeklendirme aşırı kaynak sağlayabilir — iş yapılandırmasında (konsol veya
undefined
) maksimum DPU sınırı belirleyin ve maliyetleri öngörülebilir tutmak için uygun çalışan türlerini seçin.
- S3 Glacier erişim ücretleri — iş açısından kritik olmadıkça Hızlandırılmış erişimden kaçının; Standart veya Toplu erişim için plan yapın ve gerçekçi SLA’lerle yaşam döngüsü geçişleri ayarlayın.
- EMR ana ve çekirdek düğümleri Spot kullanmamalıdır — ana/çekirdek düğümleri İsteğe Bağlı olarak yapılandırın ve Spot’u yalnızca HDFS durumundan kaçınılmış veya durum çoğaltılmış görev düğümlerine atayın.
- Çok sayıda küçük S3 nesnesi, istek maliyetlerini artırır ve analitiği yavaşlatır — içe aktarım sırasında küçük dosyaları daha büyük sütunlu dosyalara sıkıştırın.
- Eş zamanlılık ölçeklendirmeye veya yönetilmeyen otomatik ölçeklendirmeye aşırı güvenmek saatlik ücretleri artırabilir — ölçeklendirme metriklerini izleyin, sınırlar belirleyin ve iş yükleri öngörülebilir olduğunda rezerve kapasite kullanın.
Pratik Problem: Acme Analytics’in gecelik ETL maliyetini düşürme
Acme Analytics, gecelik ETL ve günlük anlık analitik işlemleri yürütmektedir; artan ham S3 depolaması ve isteğe bağlı Redshift saatleri nedeniyle aylık bulut harcaması aniden yükselmiştir. Şirketin, gecelik SLA’leri etkilemeden %35’lik bir maliyet düşüşüne ihtiyacı var.
- 90 günden eski soğuk ham dosyaları Glacier Flexible Retrieval’a taşımak için S3 Depolama Sınıfı Analizi çalıştırın ve yaşam döngüsü kuralları oluşturun (Toplu/Standart erişimleri planlayın).
- Ham CSV’leri bölümlenmiş, sıkıştırılmış Parquet’e dönüştürün ve küçük dosyaları sıkıştırın; optimize edilmiş veri setlerini Athena/Redshift Spectrum için ayrı ön ekler altında saklayın.
- Sorgu başına taranan veri limitleri olan Athena çalışma grupları oluşturun ve çalışma grubu ayarlarını zorunlu kılın; sorgu sonucu yeniden kullanımını etkinleştirin ve çalışma grubu başına aylık bir bütçe belirleyin.
- Acil olmayan dönüşümler için toplu ETL’i Glue Flex işlerine taşıyın, maksimum DPU sınırları belirleyin ve bunları yoğun olmayan saatlerde zamanlayın; acil işler için daha küçük bir standart Glue filosu bulundurun.
- Redshift’i doğru boyutlandırın: sabit temel işlem gücü için 1 yıllık Rezerve Düğümler satın alın, geçmiş verileri S3’e taşıyın ve seyrek sorgular için Spectrum kullanın ve eş zamanlılık ölçeklendirmeyi yalnızca izleme ile etkinleştirin.
Gerekçe: Strateji, kullanılabilirlik ve performansı korurken indirimleri en üst düzeye çıkarmak için veri formatı ve yaşam döngüsü optimizasyonunu (depolama ve tarama maliyetlerini düşürme), esnek işler için sunucusuz daha düşük maliyetli yürütmeyi (Glue Flex), sorgu yönetişimini (Athena çalışma grupları) ve sürekli işlem gücü için rezerve kapasiteyi bir araya getirir.
← Veri Hattı İzleme ve Sorun Giderme · Tüm alanlar · Veri Kalitesi →
Bu soruları çözün → · ExamRoll.io’da süreli pratik →
Pass the whole exam — not just this question
You found this answer. Get every verified question and explanation in one place, and save hours of prep. Free to start.
Sınavınızı geçin →