Een life sciences-team genereert ongeveer 200 GB per genoom van sequencers. Ze voeren 10-15 taken per dag uit. Elke taak kan enkele uren duren met ideale compute. Sequentiedata wordt opgeslagen op een on-prem SAN en het bedrijf heeft een snelle AWS Direct Connect-verbinding. De uiteindelijke resultaten moeten worden opgeslagen in Amazon S3. Het team wil het genomics-analyseplatform naar AWS verplaatsen om mee te schalen met de vraag en de doorlooptijd te verkorten. Welke oplossing voldoet aan deze vereisten?

De correcte oplossing maakt gebruik van AWS DataSync voor efficiënte overdracht van on-premise data naar S3 via Direct Connect, wat ideaal is voor grote datasets. S3-events, Lambda en Step Functions bieden een robuust en schaalbaar orkestratieplatform voor de analyseworkflows. AWS Batch is uitermate geschikt voor het uitvoeren van containerized (Docker) genomics-taken, omdat het automatisch de benodigde compute-resources provisioneert en beheert, wat schaalbaarheid en verkorte doorlooptijden garandeert. Docker-images in Amazon ECR zorgen voor versiebeheer en eenvoudige implementatie. De andere opties zijn minder optimaal: Snowball Edge is bedoeld voor offline data-overdracht en niet voor dagelijkse, frequente uploads via een bestaande Direct Connect. Lambda is niet geschikt voor langlopende taken. AWS Data Pipeline is een oudere service en minder flexibel dan DataSync voor data-overdracht. Het direct triggeren van een EC2 Auto Scaling-groep met aangepaste AMI's voor elke taak is minder efficiënt dan het gebruik van een gespecialiseerde service zoals AWS Batch voor containerized workloads. Storage Gateway is meer gericht op het bieden van on-premise toegang tot cloudopslag en minder op bulkdata-migratie. Hoewel AWS Batch geschikt is, is de data-ingestie via Storage Gateway voor dit scenario minder direct en efficiënt dan DataSync.