Specjalista ds. danych ma 20 TB danych CSV w Amazon S3 i musi przekonwertować je na Apache Parquet przy minimalnym wysiłku. Jaki jest najprostszy sposób wykonania tej konwersji?
Wybierz odpowiedź
Dotknij opcji, aby sprawdzić swoją odpowiedź.
Poprawna odpowiedź: Napisz skrypt konwersji i uruchom go jako zadanie AWS Glue, aby odczytać CSV i zapisać dane wyjściowe Parquet..
Dlaczego to jest odpowiedź
Najprostszym sposobem na przekształcenie 20 TB danych CSV w S3 na format Parquet przy minimalnym wysiłku jest użycie zadania AWS Glue. AWS Glue to bezserwerowa usługa ETL, która doskonale nadaje się do tego typu zadań. Możesz napisać prosty skrypt PySpark lub Scala, który odczyta pliki CSV z S3, a następnie zapisze je z powrotem do S3 w formacie Parquet. Glue automatycznie zarządza zasobami obliczeniowymi, skalowaniem i orkiestracją, co minimalizuje wysiłek operacyjny. Użycie crawlera AWS Glue jest błędne, ponieważ crawlery służą do odkrywania schematów danych i tworzenia tabel w Katalogu Danych Glue, a nie do konwersji formatów plików. Klaster Amazon EMR wymaga zarządzania infrastrukturą, co zwiększa wysiłek. Notebook Amazon SageMaker nie jest przeznaczony do przetwarzania tak dużych zbiorów danych w sposób efektywny i skalowalny, a jego zasoby są ograniczone w porównaniu do dedykowanej usługi ETL.
Zdaj egzamin — bez niekończącego się szukania odpowiedzi
Uzyskaj wszystkie zweryfikowane pytania i wyjaśnienia do tego egzaminu w jednym miejscu i zaoszczędź godziny przygotowań. Ponad 1000 certyfikacji · Ponad 20 języków · Zacznij za darmo.
Zdaj egzamin szybciej → Karta nie jest wymagana