Una empresa transmite registros CSV en tiempo real y quiere almacenarlos en Amazon S3 en formato Apache Parquet. ¿Qué opción requiere el menor esfuerzo de desarrollo para convertir los datos CSV entrantes a Parquet antes de almacenarlos en S3?

La opción correcta es usar Amazon Kinesis Data Streams y Amazon Kinesis Data Firehose para transformar el CSV entrante a Parquet. Kinesis Data Firehose es un servicio totalmente administrado que puede ingerir datos de Kinesis Data Streams y transformarlos en varios formatos, incluido Parquet, antes de entregarlos a Amazon S3. Esta solución requiere el menor esfuerzo de desarrollo porque Firehose maneja automáticamente la conversión de formato y la entrega a S3 sin necesidad de configurar servidores o escribir código de transformación complejo. Las otras opciones implican más esfuerzo de desarrollo: Apache Kafka Streams en EC2 y Kafka Connect S3 requieren configurar y administrar instancias EC2 y Kafka. Amazon Kinesis Data Streams y AWS Glue requieren configurar y ejecutar trabajos de Glue, que implican desarrollo de scripts. Apache Spark Structured Streaming en un clúster EMR requiere configurar y administrar un clúster EMR y desarrollar código Spark.