Een onderzoekslaboratorium moet ongeveer 8 TB aan gegevens verwerken met sub-milliseconde latenties en een minimale opslagdoorvoer van 6 GBps. Honderden Amazon Linux EC2-instances zullen de gegevens distribueren en verwerken. Welke oplossing voldoet aan de prestatie-eisen?

De juiste optie is om een Amazon S3-bucket te gebruiken voor ruwe gegevens en vervolgens een Amazon FSx for Lustre-bestandssysteem met persistent SSD-opslag te maken. FSx for Lustre is geoptimaliseerd voor high-performance computing (HPC) workloads en biedt de vereiste sub-milliseconde latentie en hoge doorvoer (tot honderden GBps), wat essentieel is voor de verwerking van 8 TB aan gegevens door honderden EC2-instances. De integratie met S3 maakt het eenvoudig om gegevens te importeren en exporteren. De andere opties zijn minder geschikt: FSx for NetApp ONTAP is een robuuste oplossing, maar de doorvoer en latentie zijn doorgaans niet zo hoog als FSx for Lustre voor HPC-workloads. Het instellen van het tiering policy op ALL of NONE verandert niets aan de fundamentele prestatiekarakteristieken voor deze specifieke use case. FSx for Lustre met persistent HDD-opslag zou niet voldoen aan de sub-milliseconde latentie-eis, aangezien HDD's inherent langzamer zijn dan SSD's.