Aplikacja umieszcza setki plików .csv o rozmiarze 1 GB w zasobniku Amazon S3 co godzinę. Każdy przesłany plik musi zostać przekonwertowany do formatu Apache Parquet i zapisany w zasobniku S3. Które rozwiązanie zapewnia wymaganą funkcjonalność przy najmniejszym narzucie operacyjnym?

Poprawna odpowiedź to użycie zadania AWS Glue ETL wyzwalanego przez AWS Lambda. AWS Glue to w pełni zarządzana usługa ETL, która doskonale nadaje się do konwersji dużych plików danych, takich jak pliki CSV o rozmiarze 1 GB, na format Parquet. Integracja z S3 PUT za pomocą funkcji Lambda zapewnia automatyzację i reakcję na zdarzenia, co minimalizuje narzut operacyjny. Pozostałe opcje są mniej optymalne: Funkcja AWS Lambda do bezpośredniej konwersji może napotkać problemy z limitami czasu i pamięci dla plików 1 GB, a także wymagałaby ręcznego zarządzania logiką konwersji. Zadanie Apache Spark wywoływane przez Lambdę wprowadza dodatkową złożoność zarządzania klastrem Spark (np. EMR), co zwiększa narzut operacyjny. Użycie AWS Glue Crawlera i Athena do okresowego konwertowania wyników zapytań nie jest idealne dla konwersji każdego nowo przesłanego pliku w czasie rzeczywistym i wprowadza niepotrzebne kroki.