Inżynier danych musi oczyścić i przygotować kilka terabajtów surowych danych, które znajdują się w Amazon S3, a następnie załadować przetworzone dane do Amazon Redshift w celu analizy. Analitycy danych wymagają możliwości uruchamiania złożonych zapytań. Rozwiązanie powinno eliminować potrzebę złożonych potoków ETL i unikać zarządzania infrastrukturą. Które podejście zapewnia wymaganą funkcjonalność przy NAJMNIEJSZYM nakładzie pracy operacyjnej?

Poprawna odpowiedź minimalizuje nakład pracy operacyjnej, wykorzystując usługi bezserwerowe i zarządzane. AWS Glue DataBrew to w pełni zarządzana usługa do wizualnego przygotowywania danych bez pisania kodu, idealna do czyszczenia terabajtów surowych danych. AWS Glue (w tym AWS Glue ETL) to bezserwerowa usługa integracji danych, która doskonale nadaje się do ładowania przetworzonych danych do Amazon Redshift, eliminując potrzebę zarządzania infrastrukturą. Amazon Redshift jest magazynem danych zoptymalizowanym pod kątem złożonych zapytań analitycznych. Pozostałe opcje są mniej optymalne: Amazon EMR wymaga zarządzania klastrami. AWS Step Functions nie jest podstawowym narzędziem do ładowania danych do Redshift. AWS Lambda ma ograniczenia czasowe i pamięciowe, co czyni ją mniej odpowiednią do przetwarzania terabajtów danych. Amazon Kinesis Data Firehose jest przeznaczony głównie do strumieniowania danych. Amazon Athena jest usługą zapytań, ale Redshift jest bardziej odpowiedni dla złożonych, powtarzalnych zapytań na dużych zbiorach danych. AWS DMS jest przeznaczony głównie do migracji baz danych, a nie do ciągłego ładowania danych ETL. Amazon Redshift Spectrum pozwala na zapytania na danych w S3, ale analitycy danych wymagają możliwości uruchamiania złożonych zapytań bezpośrednio w Redshift.