Firma przechowuje miliony plików JSON o rozmiarze 1 KB z wynikami testów w S3, pochodzących z globalnych placówek testowych. Inżynier danych musi przekonwertować te pliki na format Apache Parquet i załadować je do Amazon Redshift. Obecny potok wykorzystuje AWS Glue do przetwarzania, Step Functions do orkiestracji i EventBridge do planowania. W miarę dodawania kolejnych placówek, czas przetwarzania wzrósł. Która zmiana najbardziej skróci czas przetwarzania?

Poprawna odpowiedź to użycie opcji grupowania plików dynamic frame w AWS Glue. Przetwarzanie milionów małych plików (1 KB) jest nieefektywne ze względu na narzut związany z otwieraniem i zamykaniem każdego pliku. AWS Glue Dynamic Frames oferuje wbudowane funkcje grupowania (coalesce/repartition), które pozwalają na łączenie małych plików w większe przed przetworzeniem. To znacznie redukuje liczbę operacji I/O i poprawia wydajność przetwarzania w Glue, skracając czas działania potoku. Pozostałe opcje są mniej efektywne: Użycie AWS Lambda do grupowania plików wymagałoby dodatkowej logiki i zapisu plików z powrotem do S3, co zwiększa złożoność i koszty. Bezpośrednie użycie Amazon Redshift COPY dla milionów małych plików JSON nie jest optymalne, ponieważ Redshift najlepiej radzi sobie z dużymi plikami, a przetwarzanie JSON w Redshift jest mniej wydajne niż w Glue. Zastąpienie AWS Glue przez Amazon EMR jest poważną zmianą architektury, która niekoniecznie rozwiązuje problem małych plików w bardziej efektywny sposób niż optymalizacja samego Glue. EMR również wymagałby podobnej logiki grupowania.