Ein Data Scientist muss etwa 500 GB historischer Bestandsdaten, die als CSV-Dateien in einem Amazon S3 Data Lake gespeichert sind, untersuchen. Er möchte SQL für die Untersuchung verwenden, und das Unternehmen möchte Kosten und operativen Aufwand minimieren. Welcher Ansatz erfüllt diese Anforderungen mit dem geringsten Betriebsmanagement?

Die Verwendung von AWS Glue zum Crawlen des S3-Buckets und das Abfragen der Daten mit Amazon Athena ist die kostengünstigste und betrieblich am wenigsten aufwendige Lösung. Athena ist ein serverloser Abfragedienst, der es ermöglicht, Daten direkt in S3 mit Standard-SQL abzufragen, ohne Infrastruktur bereitstellen oder verwalten zu müssen. AWS Glue Data Catalog dient als zentrales Metadaten-Repository. Das Bereitstellen eines Amazon EMR-Clusters oder Amazon Redshift-Clusters würde zusätzliche Kosten und erheblichen Betriebsaufwand für die Cluster-Verwaltung verursachen, was den Anforderungen an minimale Kosten und operativen Aufwand widerspricht. Obwohl Redshift externe Tabellen unterstützt, ist die Bereitstellung des Clusters selbst mit Management-Kosten verbunden.