Amazon EC2 인스턴스 플릿이 온프레미스 소스에서 최대 1MB/s의 속도로 JSON 데이터를 수집합니다. EC2 인스턴스가 재부팅되면 전송 중인 데이터가 손실됩니다. 데이터 과학 팀은 수집된 데이터에 대한 거의 실시간 쿼리가 필요합니다. 거의 실시간 쿼리를 제공하고 확장 가능하며 데이터 손실을 최소화하는 솔루션은 무엇입니까?

Amazon Kinesis Data Streams는 온프레미스 소스에서 실시간으로 데이터를 수집하고, EC2 인스턴스 재부팅 시 데이터 손실을 방지합니다. Kinesis Data Analytics는 스트리밍 데이터에 대한 거의 실시간 쿼리를 제공하여 데이터 과학 팀의 요구 사항을 충족합니다. 이 조합은 확장 가능하며 데이터 손실을 최소화합니다. Amazon Redshift를 대상으로 하는 Kinesis Data Firehose는 실시간 쿼리보다는 데이터 웨어하우징에 더 적합하며, 데이터 로드에 지연이 발생할 수 있습니다. EC2 인스턴스 스토어는 임시 저장 공간이므로 재부팅 시 데이터가 손실되며, Kinesis Data Firehose와 Athena 조합은 실시간 쿼리보다는 배치 분석에 가깝습니다. Amazon EBS 볼륨에 저장하고 ElastiCache for Redis를 사용하는 것은 복잡하며, ElastiCache는 주로 캐싱에 사용되어 대규모 스트리밍 데이터 분석에는 적합하지 않습니다.