Pour les très grands fichiers texte qui doivent prendre en charge ANSI SQL, la compression et le chargement parallèle selon les meilleures pratiques de Google, quel pipeline de stockage/format devriez-vous utiliser ?
Choisissez une réponse
Appuyez sur une option pour vérifier votre réponse.
Bonne réponse : Convertir les fichiers texte en Avro compressé à l'aide de Cloud Dataflow ; stocker les fichiers dans Cloud Storage et les exposer à BigQuery en tant que tables externes permanentes..
Pourquoi c'est la réponse
La conversion des fichiers texte en Avro compressé avec Cloud Dataflow, le stockage dans Cloud Storage et l'exposition via des tables externes BigQuery est la meilleure pratique. Avro est un format de données binaire optimisé pour la compression et le traitement parallèle, ce qui est idéal pour les très grands fichiers. Cloud Dataflow assure une conversion efficace et évolutive. Cloud Storage offre un stockage durable et économique. Les tables externes BigQuery permettent d'interroger ces données avec ANSI SQL sans les ingérer directement dans BigQuery, ce qui est parfait pour les cas où les données résident ailleurs mais nécessitent une analyse SQL. Les autres options sont moins optimales : Charger directement dans BigQuery après conversion Avro n'est pas nécessaire si les données peuvent rester dans Cloud Storage et être interrogées via des tables externes, ce qui offre plus de flexibilité. Compresser en gzip et charger dans BigQuery est moins efficace qu'Avro pour le traitement parallèle et la compression structurée. Utiliser Cloud Bigtable n'est pas adapté pour l'interrogation ANSI SQL, car Bigtable est une base de données NoSQL clé-valeur.
Réussissez votre examen — sans la chasse aux réponses interminable
Obtenez toutes les questions et explications vérifiées pour cet examen en un seul endroit, et économisez des heures de préparation. Plus de 1 000 certifications · Plus de 20 langues · Gratuit pour commencer.
Réussissez votre examen plus rapidement → Pas de carte requise