자동차 판매 회사는 매일 새로운 리스팅이 포함된 압축 파일(각 파일 최대 5KB)을 벤더로부터 Amazon S3로 업로드받습니다. 이 회사는 새로운 리스팅에 대한 거의 실시간 가시성, 대시보드에 데이터를 공급하는 자동화된 처리 워크플로, 그리고 대규모의 일회성 쿼리 및 분석을 가장 비용 효율적인 방식으로 실행할 수 있는 기능을 원합니다. 어떤 솔루션이 가장 적합할까요?

이 솔루션은 비용 효율성과 거의 실시간 처리를 가장 잘 충족합니다. AWS Glue는 서버리스 ETL 서비스로, 작은 파일(최대 5KB)을 처리하고 데이터를 준비하는 데 적합합니다. S3 이벤트 알림과 AWS Lambda를 사용하면 파일이 S3에 업로드될 때마다 즉시 처리 워크플로를 트리거하여 거의 실시간 가시성을 제공합니다. Amazon Athena는 서버리스 쿼리 서비스로, S3에 저장된 데이터에 대해 대규모의 일회성 쿼리 및 분석을 비용 효율적으로 수행할 수 있습니다. Amazon QuickSight는 대시보드를 구축하여 데이터를 시각화하는 데 사용됩니다. 다른 옵션들은 다음과 같은 이유로 적합하지 않습니다. Amazon EMR은 항상 실행되는 클러스터에 대한 비용이 발생하여 작은 파일의 간헐적인 처리에 비효율적입니다. Amazon Redshift Spectrum은 Redshift 클러스터가 필요하며, 이는 불필요한 비용을 발생시킬 수 있습니다. Amazon OpenSearch Service는 검색 및 로그 분석에 더 적합하며, 대규모 일회성 분석에는 Athena가 더 비용 효율적입니다.