Accompany는 수백 개의 공장 장치에서 센서 데이터를 수집하는 시스템을 구축하고 있습니다. 장치는 5초마다 AWS IoT Core에 데이터를 게시합니다. 데이터는 Amazon S3 데이터 레이크에 로드되기 전에 보강되어야 하며, 새로운 센서 데이터는 수집 후 30분 이내에 S3에서 사용 가능해야 합니다. 다른 애플리케이션은 IoT Core 메시지를 사용하지 않습니다. 이러한 요구 사항을 충족하면서 가장 비용 효율적인 솔루션은 무엇입니까?

이 솔루션은 AWS IoT Core Basic Ingest를 사용하여 비용 효율적으로 데이터를 수집하고, Kinesis Data Firehose를 통해 데이터를 버퍼링하고 변환하며 S3에 저장합니다. Firehose의 900초 버퍼링 간격은 5초마다 들어오는 데이터를 효율적으로 배치 처리하여 Lambda 호출 비용을 절감합니다. Firehose의 내장된 데이터 변환 기능(Lambda 호출)은 데이터 보강 요구 사항을 충족하며, S3로의 직접 전달은 추가 서비스 없이 데이터 레이크에 데이터를 저장합니다. 다른 옵션들은 다음과 같은 이유로 최적이 아닙니다: 첫 번째 옵션은 각 메시지마다 Lambda 함수를 호출하여 비용이 많이 들 수 있습니다. 세 번째 옵션은 Amazon Timestream을 사용하여 불필요한 스토리지 및 처리 비용을 발생시키고, S3에 저장하기 위해 추가적인 Lambda 호출이 필요합니다. 네 번째 옵션은 Kinesis Data Streams를 사용하는데, 이는 Firehose보다 더 많은 관리 오버헤드와 비용을 발생시킬 수 있으며, S3에 데이터를 저장하기 위해 별도의 Lambda 소비자가 필요합니다.