한 회사에서 Amazon S3에 데이터 레이크를 구축하고 있으며, Amazon Athena, Redshift Spectrum, EMR의 Apache Hive를 통해 쿼리할 팀을 위해 행 수준 및 열 수준 액세스 제어를 적용해야 합니다. 운영 오버헤드를 최소화하는 접근 방식은 무엇입니까?

정답은 AWS Lake Formation을 사용하여 S3 기반 데이터 레이크에 행 및 열 수준 액세스 제어를 적용하는 것입니다. Lake Formation은 S3 데이터에 대한 세분화된 권한을 중앙에서 관리하고 Athena, Redshift Spectrum, EMR과 같은 다양한 쿼리 엔진에 적용하여 운영 오버헤드를 최소화합니다. S3 액세스 정책은 객체 수준에서 작동하므로 행/열 수준 제어에는 적합하지 않습니다. Apache Ranger는 EMR에서 작동하지만 Lake Formation만큼 통합적이지 않으며 다른 쿼리 엔진에는 적용되지 않습니다. Amazon Redshift는 데이터 웨어하우스이며 데이터 레이크 스토리지로 S3를 대체하지 않습니다.