한 회사에서 매일 시계열 클릭스트림 데이터를 Amazon S3에 저장합니다(하루에 수백만 개의 행). ML 엔지니어는 매일 보고서를 실행하고 Amazon Athena를 사용하여 3일간의 추세를 분석합니다. 데이터는 보관하기 전에 30일 동안 보존되어야 합니다. 어떤 설계가 가장 높은 데이터 검색 성능을 제공할까요?

정답은 날짜 접두사로 S3 객체를 파티셔닝하고 S3 Lifecycle 정책을 적용하는 것입니다. Amazon Athena는 파티셔닝된 데이터를 쿼리할 때 스캔하는 데이터 양을 줄여 쿼리 성능을 크게 향상시키고 비용을 절감합니다. 날짜별 파티셔닝은 3일간의 추세 분석에 특히 효율적입니다. S3 Lifecycle 정책은 30일이 지난 데이터를 S3 Glacier Flexible Retrieval로 자동으로 전환하여 비용 효율적인 장기 보관을 제공합니다. 다른 옵션들은 다음과 같은 이유로 적합하지 않습니다. 파티셔닝 없이 모든 데이터를 단일 버킷에 보관하면 Athena 쿼리 시 전체 데이터셋을 스캔해야 하므로 성능이 저하됩니다. 수동으로 파일을 이동하는 것은 비효율적입니다. Lambda를 사용하여 파일을 복사하는 것은 불필요한 복잡성을 추가하며, S3 Lifecycle 정책만으로도 충분히 자동화할 수 있습니다. 매일의 시계열 데이터를 자체 S3 버킷에 저장하는 것은 너무 많은 버킷을 생성하여 관리 오버헤드를 증가시키고, Athena 쿼리 성능 향상에