Vous allez créer un modèle avec BigQuery ML et l'héberger sur Vertex AI. Les flux des fournisseurs arrivent en continu et peuvent contenir des valeurs non valides. Pour un traitement et une assainissement quasi en temps réel avant BigQuery, que devez-vous faire ?

L'option correcte est de créer un sujet Pub/Sub pour ingérer les données des fournisseurs, puis d'utiliser Dataflow pour le traitement et l'assainissement avant de les diffuser en continu vers BigQuery. Pub/Sub gère l'ingestion de flux en temps réel et Dataflow est idéal pour le traitement de données en continu, y compris la validation et la transformation, avant de les charger dans BigQuery. Les autres options sont moins appropriées : L'insertion en continu directement dans BigQuery ne permet pas un assainissement préalable quasi en temps réel. Utiliser un ensemble de données BigQuery pour l'ingestion et le cadrage ne résout pas le problème de l'assainissement des données non valides avant le stockage. Une Cloud Function pourrait traiter de petits volumes, mais Dataflow est mieux adapté pour des flux de données continus et potentiellement importants, offrant une meilleure scalabilité et des fonctionnalités de traitement de flux plus robustes.