Компания передает CSV-записи в реальном времени и хочет хранить их на Amazon S3 в формате Apache Parquet. Какой вариант требует наименьших усилий по разработке для преобразования входящих данных CSV в Parquet перед сохранением в S3?

Правильный ответ — использование Amazon Kinesis Data Streams и Amazon Kinesis Data Firehose. Kinesis Data Streams может принимать данные CSV в реальном времени, а Kinesis Data Firehose может напрямую преобразовывать эти данные в формат Apache Parquet и сохранять их в S3 с минимальными усилиями по разработке. Это полностью управляемый сервис, не требующий настройки серверов. Остальные варианты требуют значительно больших усилий по разработке и управлению: Apache Kafka Streams на EC2 и Kafka Connect S3 требуют развертывания и управления кластером Kafka на EC2. Использование AWS Glue для преобразования данных из Kinesis Data Streams требует написания и управления заданиями Glue, что сложнее, чем полностью управляемый Firehose. Apache Spark Structured Streaming на кластере EMR требует развертывания и управления кластером EMR, а также написания кода Spark.