Компания периодически переобучает модели машинного обучения, используя новые потоковые данные с устройств. Им нужна высокопроизводительная, отказоустойчивая, масштабируемая система приема данных, которая может выдерживать задержку приема до 5 минут и применять базовые преобразования во время приема. Какой подход обеспечивает наибольшую операционную эффективность?

Этот подход наиболее эффективен, поскольку Amazon Kinesis Data Streams (поток данных) обеспечивает высокопроизводительный, отказоустойчивый и масштабируемый прием потоковых данных с устройств. Kinesis Data Firehose (поток доставки) может потреблять данные из Kinesis Data Streams, выполнять базовые преобразования с помощью встроенной функции AWS Lambda и автоматически доставлять преобразованные данные в Amazon S3. Это соответствует всем требованиям: высокая производительность, отказоустойчивость, масштабируемость, допустимая задержка до 5 минут и преобразования во время приема. Остальные варианты менее эффективны: Запись данных напрямую в S3 с последующим вызовом Lambda и Kinesis Data Streams создает избыточную сложность и задержку, а также не является оптимальным для потоковой обработки. Использование заданий AWS Glue по событиям S3 для каждого файла может быть менее эффективным для непрерывных потоковых данных из-за накладных расходов на запуск заданий. Подключение задания AWS Glue напрямую к Kinesis Data Firehose не является стандартным паттерном; Firehose предназначен для доставки данных, а не для прямого подключения к Glue для потоковой обработки.