Sie müssen eine explorative Datenanalyse (EDA) für einen Petabyte-großen Datensatz durchführen, ohne die Cluster-Infrastruktur verwalten zu müssen, nur für die ausgeführten Abfragen zu bezahlen und die Analyse in Python aus einem Jupyter-Notebook heraus zu schreiben. Welche Lösung erfüllt diese Anforderungen?

Die korrekte Antwort ist, Apache Spark aus Amazon Athena heraus auszuführen. Amazon Athena ist ein interaktiver Abfragedienst, der es Ihnen ermöglicht, Petabyte an Daten direkt in Amazon S3 mit Standard-SQL zu analysieren, ohne Server verwalten zu müssen. Die Integration von Spark mit Athena ermöglicht es, komplexe Datenanalysen und EDA in Python (über Jupyter Notebooks in SageMaker Studio) auf großen Datensätzen durchzuführen, wobei Sie nur für die ausgeführten Abfragen bezahlen. Apache Spark aus Amazon SageMaker heraus auszuführen (ohne Athena) würde die Verwaltung einer Spark-Umgebung erfordern, was den Anforderungen widerspricht. Apache Spark auf einem selbst bereitgestellten Amazon EMR-Cluster zu betreiben, würde die Verwaltung der Cluster-Infrastruktur erfordern. Die Integration von Apache Spark mit Amazon Redshift ist zwar möglich, aber Redshift ist ein Data Warehouse und nicht primär für die explorative Analyse von Petabyte-großen Rohdaten in S3 konzipiert, ohne die zugrunde liegende Infrastruktur zu verwalten.