한 금융 회사가 BI 애플리케이션을 위해 페타바이트 규모의 데이터셋에 대해 Amazon Athena를 실행하고 있습니다. 야간 AWS Glue 작업은 하루에 한 번 데이터를 새로 고치지만, BI 앱은 정책상의 이유로 시간별 새로 고침이 필요합니다. 목표는 인프라를 추가하지 않고 운영 오버헤드를 최소화하면서 Athena 비용을 절감하는 것입니다. 가장 좋은 옵션은 무엇입니까?

Amazon Athena의 쿼리 결과 재사용 기능은 동일한 쿼리가 반복적으로 실행될 때 이전에 캐시된 결과를 사용하여 비용을 절감하고 성능을 향상시킵니다. BI 애플리케이션이 시간별로 데이터를 새로 고치지만, 실제 데이터는 하루에 한 번만 업데이트되므로, 대부분의 시간별 쿼리는 이전 쿼리와 동일한 결과를 반환할 것입니다. 이 기능을 사용하면 Athena가 S3에서 데이터를 다시 스캔하는 대신 캐시된 결과를 제공하여 운영 오버헤드와 비용을 최소화할 수 있습니다. S3 Glacier Deep Archive는 액세스 시간이 길고 검색 비용이 높아 실시간 분석에는 적합하지 않습니다. Amazon ElastiCache는 Athena 쿼리 결과가 아닌 애플리케이션 계층의 데이터를 캐싱하므로 Athena 비용 절감에는 직접적인 영향을 주지 않습니다. Apache Parquet 형식은 스캔 비용을 줄일 수 있지만, 동일한 쿼리가 반복될 때마다 데이터를 스캔해야 하므로 쿼리 결과 재사용만큼 효율적이지 않습니다.