System lotniczy generuje zastrzeżone dane lotnicze, które muszą być efektywnie przesyłane strumieniowo do BigQuery, minimalizując jednocześnie zużycie zasobów. Jakie podejście do pozyskiwania danych należy zastosować?

Poprawna odpowiedź to użycie niestandardowego konektora Apache Beam do napisania potoku Dataflow, który przesyła strumieniowo dane do BigQuery w formacie Avro. Dataflow (oparty na Apache Beam) jest zarządzaną usługą Google Cloud do przetwarzania strumieniowego i wsadowego, idealną do efektywnego przesyłania danych w czasie rzeczywistym. Niestandardowy konektor pozwala na obsługę zastrzeżonych danych, a format Avro jest binarnym formatem danych, który jest kompaktowy i efektywny dla przesyłania strumieniowego, minimalizując zużycie zasobów. Pozostałe opcje są mniej optymalne: Skrypt shellowy z Cloud Functions do zadań wsadowych nie jest idealny do efektywnego przesyłania strumieniowego w czasie rzeczywistym. Standardowy potok Dataflow bez niestandardowego konektora może nie obsłużyć zastrzeżonych danych, a przechowywanie surowych danych i późniejsza transformacja może być mniej efektywna niż transformacja w locie. Apache Hive i Dataproc są bardziej odpowiednie do przetwarzania wsadowego dużych zbiorów danych, a przesyłanie strumieniowe w formacie CSV jest mniej efektywne niż Avro.