Une entreprise diffuse des enregistrements CSV en temps réel et souhaite les stocker sur Amazon S3 au format Apache Parquet. Quelle option nécessite le moins d'effort de développement pour convertir les données CSV entrantes en Parquet avant de les stocker dans S3 ?

L'utilisation d'Amazon Kinesis Data Streams et d'Amazon Kinesis Data Firehose est la solution qui demande le moins d'effort de développement. Kinesis Data Streams ingère les données CSV en temps réel, puis Kinesis Data Firehose peut directement transformer ces données en format Parquet et les livrer à S3. Cette approche est entièrement gérée et ne nécessite pas de gestion de serveurs ou de développement de code complexe pour la transformation. Les autres options impliquent plus d'efforts de développement ou de gestion d'infrastructure : Apache Kafka Streams sur EC2 et Kafka Connect S3 nécessitent la gestion d'instances EC2 et la configuration de Kafka. Amazon Kinesis Data Streams avec AWS Glue nécessite un travail AWS Glue pour la conversion, ce qui implique du développement de script. Apache Spark Structured Streaming sur un cluster EMR demande la gestion d'un cluster EMR et le développement de code Spark.