Ein Unternehmen hat 10 TB Protokolldateien im Apache Parquet-Format in einem Amazon S3-Bucket gespeichert und muss gelegentlich SQL-Abfragen darauf ausführen. Welches ist die kostengünstigste Lösung?

Die Erstellung eines AWS Glue Crawlers zum Katalogisieren der Parquet-Dateien in S3 und die anschließende Verwendung von Amazon Athena zur Abfrage dieser Daten ist die kostengünstigste Lösung. Athena ist ein serverloser Abfragedienst, der nur für die Menge der gescannten Daten bezahlt wird, was es ideal für gelegentliche Abfragen großer Datensätze macht. Der Glue Crawler erstellt automatisch das Schema und die Metadaten im AWS Glue Data Catalog, was Athena für die Abfrage nutzen kann. Eine Amazon Aurora MySQL-Datenbank wäre zu teuer, da sie eine kontinuierliche Bereitstellung und Speicherung der gesamten 10 TB Daten erfordert, auch wenn die Abfragen nur gelegentlich erfolgen. Ein Amazon Redshift-Cluster wäre ebenfalls teuer, da er für kontinuierliche Analysen und nicht für gelegentliche Abfragen optimiert ist. Obwohl Redshift Spectrum Daten in S3 abfragen kann, erfordert der Cluster selbst erhebliche Kosten. Ein Amazon EMR-Cluster wäre für gelegentliche Abfragen überdimensioniert und teuer, da er für die Verarbeitung großer Datenmengen konzipiert ist und kontinuierlich läuft.