Firma potrzebuje scentralizowanego katalogu danych i zarządzania metadanymi dla chmurowych źródeł danych (źródła ustrukturyzowane, takie jak Amazon RDS i Redshift, oraz pliki półustrukturyzowane w S3). Katalog musi być regularnie odświeżany i wykrywać zmiany metadanych przy minimalnym nakładzie operacyjnym. Które rozwiązanie spełnia te wymagania?

Prawidłowa odpowiedź to użycie AWS Glue Data Catalog z crawlerami AWS Glue. AWS Glue Data Catalog to zarządzana usługa przeznaczona do scentralizowanego przechowywania metadanych dla różnych źródeł danych, w tym ustrukturyzowanych i półustrukturyzowanych. Crawlery AWS Glue automatycznie łączą się ze źródłami danych (takimi jak Amazon RDS, Redshift i S3), wykrywają schematy i metadane, a następnie aktualizują Data Catalog. Można je zaplanować do regularnego uruchamiania, co zapewnia automatyczne odświeżanie katalogu i minimalny nakład operacyjny. Pozostałe opcje są mniej efektywne lub nieoptymalne: Użycie Amazon Aurora lub DynamoDB jako katalogu danych wymagałoby ręcznego tworzenia i utrzymywania logiki do ekstrakcji i aktualizacji metadanych za pomocą funkcji Lambda, co zwiększa złożoność operacyjną i koszty rozwoju. Opcja z ręcznym wyodrębnianiem schematu dla RDS i Redshift, a następnie użyciem crawlerów tylko dla S3, jest częściowo poprawna, ale nie wykorzystuje w pełni możliwości automatyzacji crawlerów AWS Glue dla wszystkich obsługiwanych źródeł, co zwiększa nakład pracy.