제조 공장에서 매일 02:00에 단일 로그 파일을 생성합니다. 이 로그 파일을 매일 한 번씩 가능한 한 저렴하게 처리하는 Cloud Dataflow 작업이 있습니다. 어떻게 해야 할까요?

매일 특정 시간에 실행되는 일회성 작업을 예약하는 가장 비용 효율적인 방법은 App Engine Cron 작업을 사용하는 것입니다. Cron 작업은 지정된 일정에 따라 HTTP 요청을 보내 Dataflow 작업을 트리거할 수 있습니다. Cloud Dataproc은 일괄 처리에 적합하지만, 이 시나리오에서는 Dataflow 작업이 이미 존재하므로 전환하는 것은 불필요한 변경이며 비용 효율적이지 않을 수 있습니다. 작업을 수동으로 시작하는 것은 자동화되지 않아 비효율적입니다. 스트리밍 Dataflow 작업은 실시간 처리에 사용되며, 이 시나리오에서는 매일 한 번만 처리하면 되므로 과도한 리소스 낭비입니다.