Istnieją strefy Dataplex raw i curated. Zespół przesyła pliki JSON i CSV do zasobu bucket w strefie curated, ale Dataplex auto-discovery ich nie wykrywa. Co należy zrobić, aby Dataplex wykrył te pliki?

Dataplex rozróżnia strefy raw i curated. Strefa raw jest przeznaczona do przechowywania danych w oryginalnym formacie, bez modyfikacji, i to właśnie w niej Dataplex automatycznie wykrywa pliki takie jak JSON i CSV. Strefa curated jest przeznaczona dla danych przetworzonych i ustrukturyzowanych, zazwyczaj w formatach zoptymalizowanych pod kątem zapytań, takich jak Parquet czy Avro. Przeniesienie plików do strefy raw umożliwi Dataplex ich automatyczne wykrycie. Włączenie auto-discovery dla strefy curated nie zadziała, ponieważ ta strefa nie jest przeznaczona do wykrywania surowych plików. Użycie narzędzia bg (błąd w pytaniu, prawdopodobnie chodzi o bq) do ładowania do BigQuery jest osobnym procesem i nie rozwiązuje problemu wykrywania przez Dataplex. Przyznanie dostępu na poziomie obiektu nie jest bezpośrednio związane z funkcją auto-discovery Dataplex.