데이터 엔지니어는 변경된 비즈니스 요구 사항으로 인해 1,000개의 AWS Glue Data Catalog 테이블에 걸쳐 데이터 품질 규칙을 업데이트해야 합니다. 운영 오버헤드가 가장 적은 접근 방식은 무엇입니까?

정답은 AWS Glue Data Quality API 호출을 통해 규칙을 편집하는 AWS Lambda 함수를 생성하는 것입니다. AWS Glue Data Quality는 데이터 품질 규칙을 관리하기 위한 전용 서비스입니다. 1,000개의 테이블에 대한 규칙을 대량으로 업데이트하려면 프로그래밍 방식의 접근 방식이 가장 효율적입니다. Lambda 함수는 서버리스 방식으로 API 호출을 자동화하여 운영 오버헤드를 최소화하고 확장성을 제공합니다. 오답 설명: AWS Glue ETL에서 파이프라인을 생성하는 것은 ETL 작업 자체를 위한 것이며, Data Catalog 규칙 업데이트에 직접적으로 적합하지 않습니다. Amazon EMR 클러스터를 사용하는 것은 대규모 데이터 처리에는 적합하지만, 단순히 Data Catalog 규칙을 업데이트하는 작업에는 과도한 리소스이며 운영 오버헤드가 큽니다. AWS Management Console을 사용하는 것은 수동 작업이므로 1,000개의 테이블에는 비효율적이며, 운영 오버헤드가 매우 높습니다.