Производственное предприятие генерирует один ежедневный файл логов в 02:00. У вас есть задание Cloud Dataflow для его обработки один раз в день с минимальными затратами. Что следует предпринять?

Правильный ответ — создать задание App Engine Cron для ежедневного запуска задания Cloud Dataflow. App Engine Cron — это подходящий инструмент для планирования периодических задач, таких как ежедневный запуск задания Dataflow в определенное время (например, после создания файла логов в 02:00). Это обеспечивает автоматизацию и надежность выполнения. Переключение на Cloud Dataproc не является оптимальным, так как Dataflow уже выбран для обработки и хорошо подходит для пакетной обработки. Ручной запуск задания неэффективен и подвержен человеческим ошибкам. Преобразование задания Dataflow в потоковое нецелесообразно, поскольку файл логов генерируется только один раз в день, и потоковая обработка призвана обрабатывать данные по мере их поступления, что в данном случае приведет к излишним затратам и сложности без выгоды.