Para um pipeline que lê JSON do Pub/Sub, o transforma e o grava no BigQuery com custo mínimo e tratamento automático de volume de entrada variável, qual serviço e abordagem de escalonamento você deve escolher?

A opção correta é usar o Cloud Dataflow com autoscaling padrão e monitoramento do backlog de jobs via Stackdriver. O Dataflow é um serviço totalmente gerenciado e sem servidor, ideal para processamento de streaming (como Pub/Sub) e batch, oferecendo autoscaling automático que se ajusta ao volume de entrada variável, minimizando custos. Monitorar o backlog de jobs no Stackdriver permite observar a saúde do pipeline e a eficácia do autoscaling. As opções com Cloud Dataproc são incorretas porque o Dataproc é um serviço gerenciado de clusters Hadoop/Spark, que exige mais gerenciamento manual de recursos e escalonamento, o que não atende ao requisito de "custo mínimo e tratamento automático de volume de entrada variável". Redimensionar manualmente ou ajustar recursos com base em diagnósticos é menos eficiente e mais custoso do que o autoscaling do Dataflow. A opção de usar Dataflow com monitoramento do tempo total de execução e tipos de máquina não padrão é menos ideal, pois o autoscaling padrão do Dataflow já é otimizado para a maioria dos casos de uso e o monitoramento do backlog é um indicador mais direto da capacidade de processamento do pipeline em tempo real.