Bir ML mühendisinin analiz için Amazon S3'ten veri ayıklaması, dönüştürmesi ve yüklemesi, veri şemasını keşfetmesi ve meta verileri minimum manuel çabayla depolaması gerekiyor. Hangi seçenek bunu başarır?

Doğru cevap, AWS Glue'u ETL işini çalıştırmak, şemayı keşfetmek ve meta verileri AWS Glue Data Catalog'da depolamak için kullanmaktır. AWS Glue, sunucusuz bir ETL hizmetidir ve veri keşfi, dönüşümü ve yüklemesi için tasarlanmıştır. Glue Crawler'lar, S3'teki verilerin şemasını otomatik olarak keşfeder ve bu meta verileri AWS Glue Data Catalog'da depolar. Bu, minimum manuel çaba ile veri şemasını yönetmek için ideal bir çözümdür. Diğer seçenekler neden uygun değil: Amazon SageMaker Data Wrangler, veri hazırlığı için güçlü bir araç olsa da, şema keşfi ve meta veri depolama için bir S3 bucket'ı kullanmak, Glue Data Catalog'ın sağladığı merkezi ve yönetilen meta veri depolama avantajlarından yoksundur. Amazon Athena, S3'teki verileri sorgulamak için kullanılır, ancak doğrudan ETL işleri çalıştırmak veya şema keşfi ve meta veri depolama için birincil araç değildir. AWS Step Functions ile entegre edilse bile, Glue'un yerleşik yeteneklerini tam olarak karşılamaz. Bir Amazon EC2 instance'ında scikit-learn kullanarak ETL yapmak mümkündür, ancak bu, altyapı yönetimi gerektirir ve Glue'un sunduğu otomatik şema keşfi ve Data Catalog entegrasyonu gibi sunucusuz özelliklerden yoksundur. Ayrıca, meta verileri Amazon Redshift'te depolamak, Redshift'in bir veri ambarı olması nedeniyle bu amaca uygun değildir.