Компания по продаже автомобилей ежедневно получает от поставщиков сжатые файлы (каждый до 5 КБ) в Amazon S3, содержащие новые объявления. Компании требуется видимость новых объявлений практически в реальном времени, автоматизированный рабочий процесс обработки для заполнения дашборда и возможность выполнять разовые запросы и аналитику в масштабе, при этом максимально экономичным способом. Какое решение является наиболее подходящим?

Наиболее подходящее решение — обрабатывать файлы с помощью AWS Glue, использовать S3 Event Notifications для запуска AWS Lambda для оркестрации, Amazon Athena для запросов и Amazon QuickSight для дашборда. Это решение экономично, так как AWS Glue, Lambda и Athena являются бессерверными и оплачиваются по мере использования, что идеально для небольших файлов и обработки по требованию. S3 Event Notifications и Lambda обеспечивают обработку практически в реальном времени. Athena позволяет выполнять нерегламентированные запросы к данным в S3 без загрузки, а QuickSight — это экономичный инструмент для визуализации. Другие варианты менее оптимальны. Использование Amazon EMR (даже подготовленного) для файлов размером до 5 КБ является избыточным и дорогим. Amazon Redshift Spectrum хорош для аналитики, но OpenSearch Dashboards не является оптимальным выбором для дашборда по сравнению с QuickSight в данном контексте, а также Redshift Spectrum может быть дороже для нерегламентированных запросов к небольшим файлам, чем Athena.