Ein Dateningenieur muss mehrere Terabyte Rohdaten, die in Amazon S3 gespeichert sind, bereinigen und vorbereiten und die verarbeiteten Daten dann zur Analyse in Amazon Redshift laden. Datenanalysten benötigen die Möglichkeit, komplexe Abfragen auszuführen. Die Lösung sollte die Notwendigkeit komplexer ETL-Pipelines beseitigen und die Verwaltung der Infrastruktur vermeiden. Welcher Ansatz bietet die erforderliche Funktionalität mit dem geringsten Betriebsaufwand?

Die korrekte Option nutzt AWS Glue DataBrew für die Datenbereinigung und -vorbereitung. DataBrew ist ein serverloser Dienst, der eine visuelle Oberfläche für die Datenbereinigung bietet und den Bedarf an komplexen ETL-Pipelines reduziert. AWS Glue kann dann verwendet werden, um die vorbereiteten Daten effizient in Amazon Redshift zu laden. Amazon Redshift ist ein vollständig verwaltetes Data Warehouse, das für komplexe Abfragen optimiert ist und von Datenanalysten direkt genutzt werden kann. Die anderen Optionen sind weniger optimal: Amazon EMR erfordert mehr Infrastrukturverwaltung. AWS Lambda ist für große Datenmengen weniger geeignet. Amazon Kinesis Data Firehose ist eher für Streaming-Daten konzipiert. AWS DMS ist primär für Datenbankmigrationen gedacht, nicht für regelmäßige ETL-Prozesse von S3 zu Redshift. Amazon Athena und Redshift Spectrum ermöglichen zwar Abfragen auf S3, aber die Anforderung ist, die Daten in Redshift zu laden und dort abzufragen.