Er bestaan Dataplex raw en curated zones. Een team uploadt JSON- en CSV-bestanden naar een bucket-asset in de curated zone, maar Dataplex auto-discovery detecteert ze niet. Wat moet u doen om Dataplex de bestanden te laten ontdekken?

Dataplex curated zones zijn bedoeld voor gestructureerde, opgeschoonde en verwerkte data, meestal in tabelformaten zoals Parquet of Avro, die klaar zijn voor analyse. Auto-discovery in curated zones is primair gericht op deze gestructureerde formaten. Raw zones zijn daarentegen bedoeld voor onbewerkte, ongestructureerde of semi-gestructureerde data, zoals JSON en CSV, en de auto-discovery functionaliteit is hierop afgestemd. Door de bestanden naar de raw zone te verplaatsen, zal Dataplex ze correct detecteren en registreren. Het inschakelen van auto-discovery voor de curated zone lost het probleem niet op, omdat de bestandsformaten niet passen bij het doel van die zone. De bq tool is voor BigQuery-interactie, niet voor Dataplex-discovery. Toegang op objectniveau is een autorisatiekwestie, geen discovery-kwestie.