한 회사에서 CSV 레코드를 실시간으로 스트리밍하며, 이 레코드를 Apache Parquet 형식으로 Amazon S3에 저장하려고 합니다. 수신되는 CSV 데이터를 S3에 저장하기 전에 Parquet으로 변환하는 데 가장 적은 개발 노력이 필요한 옵션은 무엇입니까?

Amazon Kinesis Data Streams는 실시간 데이터 스트리밍을 위한 서비스이며, Amazon Kinesis Data Firehose는 스트리밍 데이터를 S3, Redshift 등으로 전송하는 관리형 서비스입니다. Firehose는 데이터를 S3에 저장하기 전에 Parquet 형식으로 변환하는 기능을 내장하고 있어, 별도의 개발 노력 없이 가장 효율적으로 요구사항을 충족합니다. 다른 옵션들은 추가적인 개발 또는 인프라 관리가 필요합니다. Apache Kafka Streams 및 Kafka Connect S3는 EC2 인스턴스 관리와 Kafka 설정이 필요하고, AWS Glue는 추가적인 ETL 작업 정의가 필요하며, EMR 클러스터는 클러스터 관리 및 Spark 코드 개발이 필요합니다.