Bir yaşam bilimleri ekibi, sekanslayıcılardan genom başına yaklaşık 200 GB veri üretiyor. Günde 10-15 iş çalıştırıyorlar. Her iş, ideal hesaplama ile birkaç saat sürebilir. Sekanslama verileri şirket içi bir SAN üzerinde depolanır ve şirketin yüksek hızlı bir AWS Direct Connect bağlantısı vardır. Nihai sonuçlar Amazon S3'te depolanmalıdır. Ekip, talebe göre ölçeklenmek ve geri dönüş süresini azaltmak için genomik analiz platformunu AWS'ye taşımak istiyor. Hangi çözüm bu gereksinimleri karşılar?

Doğru cevap, AWS DataSync'i şirket içi verileri AWS S3'e güvenli ve verimli bir şekilde aktarmak için kullanır. S3 olayları, veri yüklemesi tamamlandığında bir Lambda işlevini tetikler. Bu Lambda işlevi, karmaşık iş akışlarını yönetmek için AWS Step Functions'ı başlatır. Genomik analiz işleri, Docker kapsayıcıları kullanılarak Amazon ECR'de depolanır ve AWS Batch, bu kapsayıcıları yüksek performanslı ve ölçeklenebilir bir şekilde çalıştırarak işleme görevlerini yerine getirir. Bu kombinasyon, yüksek hacimli verilerin işlenmesi, talebe göre ölçeklenme ve geri dönüş süresinin azaltılması gereksinimlerini en iyi şekilde karşılar. Diğer seçenekler şunları içerir: AWS Snowball Edge, büyük miktarda veriyi fiziksel olarak taşımak için uygundur, ancak günlük 10-15 iş için sürekli bir çözüm değildir. AWS Data Pipeline, veri taşıma için kullanılabilir ancak DataSync kadar optimize değildir ve EC2 Auto Scaling gruplarını doğrudan tetiklemek yerine daha entegre bir iş akışı yönetimi (Step Functions) ve konteyner orkestrasyonu (AWS Batch) daha verimlidir. AWS Storage Gateway, şirket içi uygulamaların bulut depolamaya erişmesini sağlar ancak doğrudan büyük veri transferi için DataSync kadar optimize değildir ve AWS Batch'in EC2 örneklerinde doğrudan tetiklenmesi yerine Step Functions ile entegrasyon daha iyi bir iş akışı yönetimi sunar.