Masz plik AVRO o rozmiarze 5 TB w Cloud Storage. Analitycy znają tylko SQL i potrzebują dostępu jak najszybciej i w sposób ekonomiczny. Co należy zrobić?

Poprawna odpowiedź to utworzenie tabel zewnętrznych BigQuery, które odwołują się do pliku AVRO w Cloud Storage. BigQuery może bezpośrednio odpytywać dane w Cloud Storage w formatach takich jak AVRO, CSV, JSON, ORC i Parquet za pomocą tabel zewnętrznych. Jest to ekonomiczne, ponieważ dane nie są ładowane do BigQuery, a płaci się tylko za skanowane dane. Jest to również szybkie, ponieważ analitycy mogą natychmiast używać SQL. Załadowanie danych do Cloud Datastore jest nieodpowiednie, ponieważ Datastore to nierelacyjna baza danych NoSQL, która nie obsługuje zapytań SQL i nie jest przeznaczona do dużych obciążeń analitycznych. Tworzenie tabeli BigQuery, ładowanie danych, a następnie usuwanie jest mniej efektywne i droższe, ponieważ wymaga pełnego załadowania danych do BigQuery, co generuje koszty przechowywania i transferu, a także czas na ładowanie. Tworzenie klastra Hadoop jest znacznie bardziej złożone, czasochłonne i drogie w zarządzaniu, a także wymaga specjalistycznej wiedzy, co jest sprzeczne z wymogiem szybkiego i ekonomicznego dostępu dla analityków znających tylko SQL.