Zespół naukowców zajmujących się naukami przyrodniczymi generuje około 200 GB danych na genom z sekwencerów. Wykonują 10–15 zadań dziennie. Każde zadanie może trwać kilka godzin przy idealnej mocy obliczeniowej. Dane sekwencjonowania są przechowywane w lokalnej sieci SAN, a firma posiada szybkie łącze AWS Direct Connect. Ostateczne wyniki muszą być przechowywane w Amazon S3. Zespół chce przenieść platformę analizy genomiki do AWS, aby skalować ją wraz z zapotrzebowaniem i skrócić czas realizacji. Które rozwiązanie spełnia te wymagania?

Prawidłowa odpowiedź spełnia wszystkie wymagania. AWS DataSync efektywnie przenosi duże ilości danych (200 GB na genom, 10-15 zadań dziennie) z lokalnej sieci SAN do S3, wykorzystując szybkie łącze Direct Connect. Zdarzenia S3 wyzwalają funkcję Lambda, która inicjuje AWS Step Functions, zapewniając orkiestrację złożonych przepływów pracy. AWS Batch, z obrazami Docker przechowywanymi w Amazon ECR, skaluje się do przetwarzania zadań sekwencjonowania, skracając czas realizacji i dopasowując się do zapotrzebowania. Nieprawidłowe opcje: AWS Snowball Edge jest przeznaczone do bardzo dużych transferów danych, ale regularne wysyłki nie są idealne dla codziennych zadań wymagających szybkiego przetwarzania. AWS Data Pipeline jest starszą usługą i nie jest optymalna do przesyłania danych w czasie rzeczywistym ani do orkiestracji złożonych zadań kontenerowych. Bezpośrednie wywoływanie grupy Auto Scaling EC2 ze zdarzeń S3 jest mniej elastyczne niż Step Functions i Batch. Brama plikowa AWS Storage Gateway jest użyteczna do dostępu do danych w S3 z lokalnych aplikacji, ale nie jest podstawowym narzędziem do jednorazowego przenoszenia dużych wolumenów danych w celu ich przetworzenia.