Vous avez créé une table externe partitionnée Hive sur de nombreux fichiers dans Cloud Storage et les requêtes sont lentes. Comment améliorez-vous les performances des requêtes ?

La mise à niveau vers une table BigLake et l'activation de la mise en cache des métadonnées améliorent considérablement les performances des requêtes sur les tables externes partitionnées Hive dans Cloud Storage. BigLake optimise l'accès aux données dans Cloud Storage, et la mise en cache des métadonnées réduit le temps nécessaire pour lister les fichiers et les partitions, ce qui est souvent un goulot d'étrouclement pour les tables externes avec de nombreux fichiers. Changer la classe de stockage de Coldline à Standard n'améliorera pas les performances des requêtes de manière significative, car le problème est lié à la découverte des métadonnées et à l'accès aux fichiers, et non au temps de récupération initial des objets. Créer une table externe individuelle pour chaque partition est ingérable et ne résoudrait pas le problème de performance des requêtes. Migrer vers un bucket multirégional n'améliorera pas directement les performances des requêtes, car le problème réside dans la gestion des métadonnées et l'accès aux données, et non dans la latence de stockage interrégionale.