Компания использует подготовленный кластер Amazon EMR с инстансами Amazon EC2 общего назначения. Для ежедневной, длительной задачи ETL Apache Spark настроено управляемое масштабирование EMR, которое изменяет количество узлов задач от одного до пяти. Каждый запуск быстро масштабирует кластер до пяти узлов задач; загрузка ЦП часто достигает своего предела, в то время как использование памяти остается ниже 30%. Компания хочет изменить конфигурацию EMR, чтобы снизить стоимость выполнения ежедневной задачи ETL. Какой вариант наиболее экономически эффективно удовлетворит это требование?

Правильный ответ — изменить тип узлов задач с инстансов EC2 общего назначения на инстансы EC2, оптимизированные для вычислений. Описание проблемы указывает на то, что использование ЦП достигает предела, в то время как использование памяти остается низким. Это означает, что узлы задач ограничены вычислительной мощностью, а не памятью. Переход на инстансы, оптимизированные для вычислений, такие как семейство C, обеспечит больше ядер ЦП и лучшую производительность для задач, интенсивно использующих ЦП, что позволит быстрее завершать задачи и, следовательно, снизить затраты. Увеличение максимального количества узлов задач до 10 увеличит затраты, поскольку будет использоваться больше инстансов. Изменение типа узлов задач на инстансы, оптимизированные для памяти, не решит проблему ограничения ЦП и может увеличить затраты без улучшения производительности. Уменьшение периода охлаждения масштабирования не повлияет на базовую проблему ограничения ЦП и не приведет к экономии средств.