データエンジニアが、S3 バケット内の Apache Parquet オブジェクトを一度だけ読み込み、単一の列のみを抽出する必要があります。運用上のオーバーヘッドを最小限に抑えてこれを実現するオプションはどれですか？

S3 Selectは、S3バケット内のオブジェクトに対してSQLクエリを実行し、必要なデータのみを抽出できるため、運用上のオーバーヘッドを最小限に抑えられます。これにより、オブジェクト全体をダウンロードして処理する必要がなくなり、データ転送量と処理時間が削減されます。 AWS Lambda関数でpandasを使用する方法は、データフレームにロードするためにオブジェクト全体をダウンロードする必要があり、オーバーヘッドが増大します。AWS Glue DataBrewはデータ準備ツールであり、単一の列を一度だけ抽出する目的には過剰な機能です。AWS GlueクローラーとAmazon Athenaは、通常、永続的なデータカタログと反復的なクエリに使用され、一度限りの単一列抽出には設定と実行のオーバーヘッドが大きすぎます。