Ein Big-Data-Analyse-Cluster wird auf vielen Linux Amazon EC2-Instanzen in mehreren Availability Zones ausgeführt. Jeder Knoten muss Lese-/Schreibzugriff auf einen gemeinsam genutzten zugrunde liegenden Dateispeicher haben. Das Dateisystem muss POSIX-kompatibel, hochverfügbar, ausfallsicher sein und einen sehr hohen Durchsatz unterstützen. Welche Speicherlösung erfüllt diese Anforderungen?

Amazon EFS ist ein vollständig verwaltetes, skalierbares, hochverfügbares und dauerhaftes Dateisystem, das POSIX-kompatibel ist und von mehreren EC2-Instanzen gleichzeitig gemountet werden kann. Der Leistungsmodus „Max I/O“ ist für Anwendungen konzipiert, die den höchsten Durchsatz und die höchste IOPS-Leistung erfordern, was für Big-Data-Analyse-Cluster entscheidend ist. AWS Storage Gateway File Gateway bietet zwar eine NFS-Freigabe, ist aber eher für Hybrid-Cloud-Speicher gedacht und nicht für die direkte Bereitstellung eines hochleistungsfähigen, gemeinsam genutzten Dateisystems für Big-Data-Cluster innerhalb von AWS optimiert. Amazon EBS-Volumes können nicht von mehreren EC2-Instanzen gleichzeitig gemountet werden, da sie Block-Speicher für einzelne Instanzen sind. Amazon EFS im Leistungsmodus „General Purpose“ ist zwar eine Option, bietet aber nicht den sehr hohen Durchsatz, der für Big-Data-Analyse-Cluster oft erforderlich ist.