Existem zonas raw e curated no Dataplex. Uma equipe faz upload de arquivos JSON e CSV para um bucket na zona curated, mas a descoberta automática do Dataplex não os está detectando. O que você deve fazer para que o Dataplex descubra os arquivos?

A zona curated (curada) no Dataplex é projetada para dados limpos e estruturados que já passaram por processamento, e geralmente espera tabelas ou conjuntos de dados com esquemas definidos. A descoberta automática de arquivos brutos (como JSON e CSV sem um esquema pré-definido ou inferível na zona curated) não é o comportamento padrão esperado. A zona raw (bruta), por outro lado, é o local ideal para dados em seu formato original, onde o Dataplex pode aplicar a descoberta automática e inferir esquemas para arquivos como JSON e CSV. Mover os arquivos para a zona raw permitirá que o Dataplex os detecte e registre automaticamente. Habilitar a descoberta automática na zona curated não resolverá o problema, pois essa zona não é o local apropriado para dados brutos sem processamento prévio. Usar a ferramenta bq é uma forma manual de carregar dados, não um método de descoberta automática do Dataplex. Conceder acesso é necessário para que o Dataplex leia os arquivos, mas não habilita a descoberta automática em uma zona curated para arquivos brutos.