한 회사에서 Amazon Kinesis Data Firehose를 사용하여 데이터를 Amazon S3로 전송할 것입니다. 들어오는 파일은 2MB CSV 파일입니다. 이 회사는 CSV 파일을 JSON으로 변환하고 S3에 Apache Parquet 형식으로 저장해야 합니다. 어떤 접근 방식이 개발 노력이 가장 적게 들까요?

이 접근 방식은 개발 노력이 가장 적게 듭니다. Kinesis Data Firehose는 데이터 변환 기능을 내장하고 있어, 스트리밍 데이터를 CSV에서 JSON으로 변환하는 데 AWS Lambda 함수를 호출할 수 있습니다. 또한, Firehose는 데이터를 S3에 저장하기 전에 Apache Parquet 형식으로 자동 변환하는 기능을 직접 제공합니다. 따라서 별도의 변환 로직을 구현할 필요 없이 Firehose의 기본 기능을 활용하여 CSV를 JSON으로 변환하고, 그 결과를 다시 Parquet으로 변환하여 S3에 저장할 수 있습니다. 다른 옵션들은 Firehose의 내장 기능을 충분히 활용하지 않거나, 불필요하게 복잡한 단계를 포함합니다. 예를 들어, Lambda 함수로 Parquet 변환까지 처리하는 것은 Firehose의 내장 기능을 중복 사용하는 것입니다.