Firma migruje bazy danych SQL Server z EC2 do Amazon RDS for SQL Server. Do czasu zakończenia migracji zespół analityczny musi codziennie eksportować duże, połączone elementy danych w formacie Apache Parquet do Amazon S3. Które rozwiązanie jest NAJBARDZIEJ efektywne operacyjnie?

Poprawna odpowiedź jest najbardziej efektywna operacyjnie, ponieważ AWS Glue jest usługą bezserwerową, która doskonale nadaje się do ekstrakcji, transformacji i ładowania (ETL) danych. Bezpośrednie odczytywanie widoku SQL przez zadanie Glue i zapisywanie do S3 w formacie Parquet minimalizuje złożoność i koszty zarządzania infrastrukturą. Nieprawidłowe opcje: Użycie SQL Server Agent do eksportu CSV i Lambda do konwersji na Parquet wprowadza dodatkowe kroki i zależności, zwiększając złożoność operacyjną i potencjalne punkty awarii. Tworzenie crawlera AWS Glue do odczytu widoku jest zbędne, ponieważ zadanie Glue może bezpośrednio odpytywać widok. Crawler jest zazwyczaj używany do odkrywania schematów danych w źródłach takich jak S3. Funkcja Lambda do pobierania danych przez JDBC i konwersji na Parquet może być kosztowna i mniej wydajna dla dużych zbiorów danych w porównaniu do AWS Glue, który jest zoptymalizowany pod kątem przetwarzania dużych wolumenów danych.