Migrowano jezioro danych HDFS do Cloud Storage. Naukowcy zajmujący się danymi muszą uruchamiać Apache Spark i SQL z zabezpieczeniami na poziomie kolumn, w ekonomicznym rozwiązaniu, które skaluje się do siatki danych. Co zbudujesz?

Poprawna odpowiedź wykorzystuje tabele BigLake, które umożliwiają uruchamianie Apache Spark i SQL bezpośrednio na danych w Cloud Storage, zapewniając jednocześnie bezpieczeństwo na poziomie kolumn. Integracja z Data Catalog i tagami zasad pozwala na precyzyjne zarządzanie dostępem do danych. Przetwarzanie za pomocą konektora Spark–BigQuery lub BigQuery SQL jest ekonomiczne i skalowalne. Pierwsza opcja, choć używa Dataproc, wymagałaby zarządzania długo działającymi klastrami i Rangerem, co jest mniej ekonomiczne i bardziej złożone niż BigLake. Trzecia opcja, ładowanie danych do natywnych tabel BigQuery, wiązałoby się z dodatkowymi kosztami przechowywania i duplikacją danych. Czwarta opcja, stosowanie IAM na poziomie plików, nie zapewnia bezpieczeństwa na poziomie kolumn, a tabele zewnętrzne BigQuery nie oferują tej samej funkcjonalności bezpieczeństwa co BigLake.