Un entrepôt de données doit ingérer des données partenaires contenant des informations personnelles identifiables (PII), mais ne doit stocker que des données non-PII. Comment traiter et stocker ces données sans conserver les PII ?

La bonne approche consiste à utiliser un pipeline Dataflow pour l'ingestion et le traitement des données. L'intégration de Cloud Data Loss Prevention (DLP) directement dans ce pipeline permet de détecter et de supprimer les informations personnelles identifiables (PII) avant que les données ne soient écrites dans BigQuery. Cela garantit que seules les données non-PII sont stockées, répondant ainsi à l'exigence de confidentialité. Les autres options sont moins efficaces ou inappropriées : Stocker les PII dans un bucket Cloud Storage, même avec une politique de rétention, contrevient à l'exigence de ne pas conserver les PII. Exiger des partenaires qu'ils téléchargent d'abord les données dans Cloud Storage avec un verrouillage de bucket ajoute une étape inutile et ne garantit pas la suppression des PII avant le stockage initial. Demander aux partenaires d'importer les données directement dans BigQuery avant le traitement expose les PII dans votre entrepôt de données, même temporairement, ce qui est contraire à l'objectif. Ignorer des colonnes entières peut également entraîner une perte de données utiles non-PII.