한 회사에서 Amazon Kinesis Data Firehose를 사용하여 전자상거래 판매 트랜잭션을 Amazon OpenSearch Service로 보내는 데이터 수집 파이프라인을 구축했습니다. Firehose 버퍼 간격은 60초로 설정되어 있습니다. OpenSearch 선형 모델은 OpenSearch 대시보드에 실시간 판매 예측을 생성합니다. 이 회사는 실시간 대시보드에 대해 1초 미만의 지연 시간을 요구합니다. 어떤 아키텍처 변경이 이러한 요구 사항을 충족할까요?

정답은 Firehose 스트림이 제로 버퍼링을 사용하도록 설정하고 PutRecordBatch에서 사용하는 배치 크기를 조정하는 것입니다. Firehose의 버퍼링 간격을 0초로 설정하면 데이터가 거의 실시간으로 OpenSearch Service로 전송되어 1초 미만의 지연 시간 요구 사항을 충족할 수 있습니다. PutRecordBatch의 배치 크기를 조정하여 처리량과 비용 효율성을 최적화할 수 있습니다. AWS DataSync는 대규모 데이터 전송 서비스로, 실시간 스트리밍에는 적합하지 않습니다. 버퍼 간격을 늘리는 것은 지연 시간을 증가시켜 요구 사항에 반대됩니다. Amazon SQS는 메시지 큐 서비스로, 직접적인 실시간 데이터 스트리밍에는 Firehose보다 효율적이지 않습니다.