Um cientista de dados criou um modelo BigQuery ML. Você deve fornecer previsões por usuário por meio de uma API REST com latência <100 ms. A consulta de previsão é: SELECT predicted_label, user_id FROM ML.PREDICT(MODEL 'dataset.model', TABLE user_features). Como você deve construir o pipeline de serviço?

A opção correta é criar um pipeline do Dataflow que leia todas as previsões do usuário via BigQueryIO, grave-as no Bigtable com BigtableIO e conceda ao service account do aplicativo a função Bigtable Reader. Isso garante baixa latência (<100 ms) para previsões por usuário, pois o Bigtable é um banco de dados NoSQL de alta performance otimizado para acesso rápido a dados por chave. O Dataflow processa as previsões em lote, preenchendo o Bigtable de forma eficiente. As outras opções são menos adequadas: Adicionar uma cláusula WHERE diretamente à consulta ML.PREDICT no BigQuery não garante a latência exigida, pois cada consulta ainda acessaria o BigQuery, que não é otimizado para latências de milissegundos para consultas pontuais. Criar uma visualização autorizada no BigQuery para a consulta de previsão enfrenta o mesmo problema de latência que a opção anterior. Usar um job do Dataflow para executar a consulta e retornar os resultados diretamente ainda envolveria a latência do BigQuery para cada solicitação, além da sobrecarga do Dataflow para cada previsão individual, o que não atende ao requisito de latência.