Workflows が 1KB の JSON を返す API を呼び出し、複雑な Python 標準ライブラリロジックを必要とし、その後 GCS ファイルを BigQuery にロードします。シンプルさと実行速度のために最適化してください。

APIからの1KBのJSON処理と複雑なPython標準ライブラリロジックには、Cloud Functionsが最適です。Cloud Functionsはイベント駆動型で、必要な時だけ実行され、サーバーレスであるため運用が簡単で、Pythonの豊富なライブラリを直接利用できます。これにより、シンプルさと実行速度の両方を実現できます。 Cloud Composerはオーケストレーションツールであり、個別のロジック実行にはオーバーヘッドが大きすぎます。Dataprocは大規模なデータ処理に適しており、1KBのJSON処理には過剰なリソースです。Workflowsのサブワークフローはロジック実行自体を担うものではなく、Cloud Functionsのようなコンピューティングサービスを呼び出すのが一般的です。