Вам необходимо создать конвейер прогнозного обслуживания в реальном времени, который получает данные устройств с удаленных площадок (без Direct Connect или VPN). Конвейер должен: принимать данные в Amazon S3 в реальном времени, преобразовывать входящие необработанные записи в чистый CSV во время приема, хранить исходные необработанные записи в S3 и помещать любые записи, которые не прошли преобразование, в указанное местоположение S3 для проверки человеком. Какая архитектура требует наименьших усилий для выполнения этих требований?

Правильный ответ — использование Amazon Kinesis Data Firehose с S3 в качестве места назначения, вызов функции AWS Lambda для преобразования и включение резервного копирования исходных записей. Firehose предназначен для потоковой передачи данных в S3, поддерживает преобразование данных с помощью Lambda и имеет встроенную функцию резервного копирования исходных записей, что соответствует всем требованиям с наименьшими усилиями. Использование Amazon MSK требует развертывания и управления кластером Kafka и рабочих задач ECS, что значительно увеличивает сложность и усилия. Использование AWS Glue Apache Spark для преобразования данных с Firehose является избыточным для этого сценария, так как Lambda достаточно для преобразования, и Glue Spark обычно используется для более сложных пакетных преобразований. Размещение Kinesis Data Streams перед Firehose добавляет ненужный уровень сложности, так как Firehose может напрямую принимать данные и выполнять преобразования.