gzippedテキストファイルをインジェストするDataflowジョブが、SideInputsを使用してデータを結合し、エラーをデッドレターキューに書き込んでいますが、ジョブの実行時間が予想よりも長くなっています。パイプラインを高速化するには、どのような変更が必要ですか？

SideInputは、小さなデータセットをパイプラインの各ワーカーにブロードキャストするのに適していますが、データセットが大きくなるとパフォーマンスが低下します。大規模なデータセットを結合する場合、CoGroupByKeyは、キーに基づいて要素をグループ化し、結合操作を分散処理するため、より効率的です。これにより、ワーカー間のデータ転送が最適化され、ジョブの実行時間が短縮されます。圧縮されたAvroファイルはストレージ効率は良いですが、結合処理自体の高速化には直接寄与しません。バッチサイズの縮小は、処理オーバーヘッドを増加させ、ジョブを遅くする可能性があります。エラーの再試行は、ジョブの実行時間をさらに延長させます。