gzipped 텍스트 파일을 수집하는 Dataflow 작업이 SideInputs를 사용하여 데이터를 조인하고 오류를 dead-letter queue에 기록하지만, 작업 런타임이 예상보다 깁니다. 파이프라인 속도를 높이려면 어떤 변경을 해야 할까요?

Dataflow에서 SideInput은 작은 데이터셋을 브로드캐스트하여 각 요소에 접근할 수 있게 하지만, 대규모 데이터셋에서는 성능 저하를 일으킬 수 있습니다. CoGroupByKey는 두 개 이상의 PCollection을 키를 기반으로 효율적으로 조인하는 변환으로, 대규모 데이터 조인 시 SideInput보다 훨씬 빠릅니다. 따라서 SideInput 대신 CoGroupByKey를 사용하면 파이프라인의 런타임을 크게 단축할 수 있습니다. 압축된 Avro로 전환하는 것은 파일 크기를 줄여 I/O를 개선할 수 있지만, 조인 방식의 비효율성을 해결하지는 못합니다. 배치 크기를 줄이는 것은 처리량을 감소시켜 런타임을 더 늘릴 수 있습니다. 오류 레코드를 재시도하는 것은 런타임 단축과는 무관하며, 오히려 실패한 레코드 처리에 시간을 더 소모할 수 있습니다.