Potrzebujesz wydajnego, łatwego w utrzymaniu przepływu pracy do przetwarzania setek tabel: pliki trafiają do Cloud Storage w sposób nieprzewidywalny, Dataproc przetwarza i zapisuje do BigQuery, a następnie uruchamiane są transformacje BigQuery specyficzne dla tabeli (mogą trwać godzinami). Jaki projekt przepływu pracy jest najlepszy?

Poprawna odpowiedź zapewnia elastyczny i skalowalny przepływ pracy. Cloud Composer (oparty na Apache Airflow) jest idealny do orkiestracji złożonych zadań, a jego operatory Dataproc i BigQuery upraszczają integrację. Tworzenie oddzielnego DAG-a dla każdej tabeli umożliwia niezależne zarządzanie i uruchamianie transformacji, co jest kluczowe, gdy niektóre zadania trwają wiele godzin i nie chcesz blokować innych. Wyzwalacz obiektu Cloud Storage w połączeniu z Cloud Function zapewnia reaktywność na nieprzewidywalne pojawianie się plików, uruchamiając odpowiedni DAG tylko wtedy, gdy jest to potrzebne, zamiast marnować zasoby na cykliczne sprawdzanie. Pozostałe opcje są mniej optymalne: Użycie jednego współdzielonego DAG dla wszystkich tabel byłoby nieefektywne i trudne w utrzymaniu, zwłaszcza gdy transformacje są specyficzne dla tabeli i mogą trwać długo. Planowanie uruchamiania DAG-ów co godzinę nie jest optymalne dla nieprzewidywalnych danych; prowadziłoby do opóźnień lub niepotrzebnych uruchomień. Pominięcie operatora Cloud Storage w DAG-u oznaczałoby, że Airflow nie mógłby bezpośrednio monitorować lub reagować na nowe pliki w Cloud Storage, co wymagałoby dodatkowych mechanizmów.