Você construirá um modelo com o BigQuery ML e o hospedará no Vertex AI. Os fluxos de fornecedores chegam continuamente e podem conter valores inválidos. Para processamento e higienização quase em tempo real antes do BigQuery, o que você deve fazer?

A opção correta é usar Pub/Sub e Dataflow. O Pub/Sub é ideal para ingestão de dados em tempo real de múltiplas fontes, desacoplando produtores de consumidores. O Dataflow, por sua vez, é uma ferramenta robusta para processamento e higienização de dados em streaming em grande escala, permitindo transformações complexas e tratamento de valores inválidos antes de persistir os dados no BigQuery. As outras opções são menos adequadas: Inserções de streaming diretas no BigQuery ML não permitem higienização prévia e podem poluir o conjunto de dados de treinamento ou inferência. Usar uma Cloud Function para processamento em tempo real pode ser limitado em escala e complexidade de transformações em comparação com o Dataflow. Criar um novo conjunto de dados no BigQuery para ingestão ainda não resolve a necessidade de processamento e higienização antes do BigQuery de forma eficiente para streaming.