한 미디어 회사는 매일 수백만 개의 이벤트를 Amazon Kinesis data stream으로 전달할 것으로 예상합니다. 이 회사는 이러한 이벤트를 변환하여 실시간 분석을 위해 Amazon OpenSearch Service 도메인으로 수집해야 합니다. 운영 오버헤드가 가장 적은 수집 방법은 무엇입니까?

정답은 운영 오버헤드를 최소화하면서 Kinesis Data Stream에서 OpenSearch Service로 데이터를 변환하고 수집하는 가장 효율적인 방법이기 때문입니다. Kinesis Data Firehose는 서버리스 서비스로, 데이터 스트림에서 OpenSearch Service로 직접 데이터를 전송할 수 있으며, 이 과정에서 AWS Lambda를 사용하여 사용자 지정 변환을 수행할 수 있습니다. 이는 인프라 관리 부담을 줄여줍니다. Logstash 파이프라인은 별도의 서버를 관리해야 하므로 운영 오버헤드가 더 큽니다. Kinesis Agent는 데이터를 수집하는 데 사용되며 변환에는 적합하지 않고, Lambda 함수를 호출하여 변환하는 방식은 복잡합니다. Kinesis Client Library(KCL)는 애플리케이션 개발이 필요하며, Firehose에 비해 더 많은 코드를 작성하고 관리해야 하므로 운영 오버헤드가 증가합니다.