HDFS 데이터 레이크를 Cloud Storage로 마이그레이션했습니다. 데이터 과학자들은 데이터 메시로 확장되는 비용 효율적인 솔루션에서 컬럼 수준 보안을 사용하여 Apache Spark 및 SQL을 실행해야 합니다. 무엇을 구축하시겠습니까?

정답은 Cloud Storage에 저장된 데이터에 대한 비용 효율적인 컬럼 수준 보안 및 Spark/SQL 액세스를 제공하는 BigLake 테이블과 BigQuery의 기능을 활용합니다. BigLake 테이블은 Cloud Storage의 데이터에 대해 BigQuery의 강력한 관리 및 보안 기능을 확장하여 데이터 메시 아키텍처에 적합합니다. Data Catalog 정책 태그는 컬럼 수준 보안을 구현하는 기본 방법입니다. Spark-BigQuery 커넥터는 Spark 사용자가 BigQuery를 통해 BigLake 테이블에 액세스할 수 있도록 하여 요구 사항을 충족합니다. 오답 1은 장기 실행 Dataproc 클러스터가 비용 효율적이지 않으며, Ranger는 Cloud Storage 데이터에 대한 기본 컬럼 수준 보안을 제공하지 않습니다. 오답 3은 데이터를 BigQuery로 로드하는 것이 아니라 Cloud Storage에 데이터를 유지해야 하므로 데이터 레이크의 목적에 부합하지 않습니다. 오답 4는 파일 수준 IAM은 컬럼 수준 보안을 제공하지 않으며, BigQuery 외부 테이블은 BigLake 테이블이 제공하는 고급 관리 및 보안 기능을 제공하지 않습니다.