Вам нужен бессерверный конвейер для приёма и аналитики потоковых JSON-событий большого объёма в реальном времени. Конвейер должен буферизовать данные, преобразовывать JSON в колоночный формат, оптимизированный для запросов без потери данных, хранить результаты в высокодоступном хранилище данных и позволять аналитикам выполнять SQL-запросы и подключать BI-дашборды. Какой дизайн лучше всего соответствует этим требованиям?

Правильный вариант использует управляемый сервис потоковой доставки (например, Amazon Kinesis Data Firehose) для приёма и буферизации данных, что соответствует требованию к высокообъёмному потоку. Интеграция с Data Catalog и преобразование в Parquet/ORC обеспечивает колоночный формат, оптимизированный для запросов. Хранение в объектном хранилище (Amazon S3) обеспечивает высокую доступность и масштабируемость. Бессерверный движок SQL-запросов (например, Amazon Athena) позволяет аналитикам выполнять SQL-запросы напрямую к S3, а JDBC-коннектор обеспечивает подключение BI-инструментов. Остальные варианты менее оптимальны: Запуск бессерверной функции для каждой записи из S3 неэффективен для больших объёмов потоковых данных из-за накладных расходов и задержек. Использование управляемой реляционной базы данных для хранения всех потоковых данных может быть дорогостоящим и менее масштабируемым для аналитики больших объёмов по сравнению с S3 и Athena. Сервис потоковой обработки SQL в реальном времени (например, Kinesis Data Analytics) может быть избыточным или менее гибким для простого преобразования формата по сравнению с Kinesis Data Firehose, который специально предназначен для доставки и преобразования данных в S3.