Компания переносит локальные рабочие нагрузки петабайтного масштаба, использующие Apache Pig, Oozie, Spark, HBase и Flink, в AWS и хочет снизить операционные издержки и использовать бессерверные опции, сохраняя при этом равную или лучшую производительность. Какую ETL-службу им следует выбрать?

Amazon EMR — это лучшая ETL-служба для данного сценария, поскольку она поддерживает Apache Pig, Oozie, Spark, HBase и Flink, которые используются компанией. EMR позволяет легко переносить существующие рабочие нагрузки без значительных изменений кода, а также обеспечивает масштабируемость и производительность, необходимые для петабайтных данных. Хотя EMR не является полностью бессерверным, он предлагает управляемые кластеры, которые значительно снижают операционные издержки по сравнению с локальной инфраструктурой. AWS Glue — это бессерверный ETL-сервис, но он не поддерживает все указанные технологии (например, Flink, Oozie, HBase напрямую как нативный компонент). AWS Lambda не подходит для петабайтных ETL-нагрузок из-за ограничений по времени выполнения и памяти. Amazon Redshift — это хранилище данных, а не ETL-сервис для обработки данных в таком масштабе и с такими технологиями.