Inżynier danych musi stworzyć katalog danych przedsiębiorstwa obejmujący zasobniki S3 i bazy danych RDS, a katalog musi zawierać metadane formatu przechowywania. Które rozwiązanie wymaga najmniejszego wysiłku?

Poprawna odpowiedź to użycie crawlera AWS Glue, ponieważ jest to najbardziej efektywne rozwiązanie do automatycznego tworzenia katalogu danych, w tym metadanych formatu przechowywania. Crawlery AWS Glue są zaprojektowane do skanowania źródeł danych, takich jak S3 i RDS, automatycznego wykrywania schematu i formatu danych za pomocą wbudowanych klasyfikatorów oraz wypełniania AWS Glue Data Catalog tymi informacjami. To minimalizuje wysiłek ręczny. Pozostałe opcje są mniej optymalne: Ręczne dodawanie metadanych formatu po użyciu crawlera AWS Glue zwiększa wysiłek i jest podatne na błędy. Amazon Macie skupia się na wykrywaniu danych wrażliwych, a nie na tworzeniu kompleksowego katalogu danych z metadanymi formatu przechowywania. Pisanie niestandardowych skryptów jest najbardziej czasochłonną i wymagającą wysiłku opcją, ponieważ wymaga ręcznego rozwoju i utrzymania logiki skanowania i klasyfikacji.