데이터 엔지니어가 S3 버킷에서 Apache Parquet 객체를 읽고 단일 열만 추출해야 하는 일회성 작업이 있습니다. 운영 오버헤드를 최소화하면서 이를 달성하는 옵션은 무엇입니까?

S3 Select는 전체 객체를 검색하지 않고도 S3 객체 내의 데이터에 대해 SQL 쿼리를 실행할 수 있으므로, 단일 열 추출과 같은 일회성 작업에 운영 오버헤드를 최소화하는 가장 효율적인 방법입니다. AWS Lambda 함수를 사용하는 것은 데이터를 메모리에 로드해야 하므로 불필요한 컴퓨팅 및 메모리 오버헤드를 발생시킵니다. AWS Glue DataBrew는 데이터 준비 및 변환에 적합하지만, 단일 열 추출을 위한 일회성 작업에는 과도한 솔루션입니다. AWS Glue 크롤러와 Amazon Athena는 데이터 카탈로그를 생성하고 복잡한 쿼리를 실행하는 데 유용하지만, 일회성 단일 열 추출에는 S3 Select보다 더 많은 설정과 비용이 필요합니다.