Esistono zone raw e curated di Dataplex. Un team carica file JSON e CSV in un asset bucket nella zona curated, ma l'auto-discovery di Dataplex non li rileva. Cosa dovresti fare per far sì che Dataplex scopra i file?

Dataplex distingue tra zone raw e curated. La zona raw è destinata ai dati non elaborati, mentre la zona curated è per i dati puliti e strutturati, tipicamente in formati ottimizzati per l'analisi come Parquet o Avro. L'auto-discovery di Dataplex è configurata per rilevare i file nella zona raw per poi processarli. Caricare direttamente JSON e CSV nella zona curated bypassa questo flusso e impedisce l'auto-discovery. Spostando i file nella zona raw, Dataplex potrà rilevarli e gestirli correttamente. Abilitare l'auto-discovery per la zona curated non è l'approccio standard per i dati non elaborati. Caricare i file in BigQuery con bq è un'azione separata dalla gestione di Dataplex. Concedere l'accesso a livello di oggetto è necessario per la lettura dei file, ma non risolve il problema dell'auto-discovery in una zona non appropriata.