Компания хранит CSV-файлы в Amazon S3. Инженер данных должен преобразовать CSV-файлы и записать результаты в новый бакет S3. Требуемые преобразования: переименовать один столбец, удалить определённые столбцы, пропустить вторую строку каждого файла, создать новый столбец, полученный из значений в первой строке, и отфильтровать строки по числовому столбцу. Какой вариант соответствует этим требованиям с наименьшими затратами на разработку?

AWS Glue DataBrew — это бессерверный сервис подготовки данных, который позволяет интерактивно очищать и нормализовать данные без написания кода. Он идеально подходит для описанных преобразований (переименование, удаление столбцов, пропуск строк, создание нового столбца на основе существующих и фильтрация), поскольку предоставляет готовые операции, которые можно применять через визуальный интерфейс, что минимизирует затраты на разработку. Задания AWS Glue Python требуют написания кода PySpark, что увеличивает время и стоимость разработки. Пользовательский краулер AWS Glue предназначен для обнаружения схемы данных, а не для их преобразования. Рабочий процесс AWS Glue оркестрирует задания, но сами преобразования должны быть реализованы в заданиях, что возвращает нас к необходимости написания кода.