Firma ochroniarska przechowuje dane IoT w formacie JSON w Amazon S3, gdzie schemat może zmieniać się wraz z aktualizacjami oprogramowania urządzeń. Zespół analityczny potrzebuje katalogu danych do indeksowania tych danych. Jakie jest najbardziej opłacalne rozwiązanie, aby zapewnić katalog i obsługiwać ewoluujące schematy?

Poprawna odpowiedź jest najbardziej opłacalna i efektywna. AWS Glue Data Catalog zapewnia scentralizowany katalog metadanych dla danych w S3, a AWS Glue Schema Registry pozwala na zarządzanie ewoluującymi schematami JSON, automatycznie wykrywając zmiany. Zadanie AWS Glue może przetwarzać i organizować dane, przygotowując je do analizy w Amazon Redshift Serverless, który jest elastyczny i skalowalny. Niepoprawne opcje: Amazon Redshift provisioned cluster jest droższy i wymaga zarządzania, a Redshift Spectrum nie radzi sobie efektywnie z ewoluującymi schematami bez dodatkowych mechanizmów. Amazon Athena z Apache Spark jest dobrym narzędziem do eksploracji, ale nie oferuje wbudowanego, zarządzanego rejestru schematów tak jak Glue Schema Registry, co utrudnia obsługę ewoluujących schematów w sposób zautomatyzowany i opłacalny. Użycie funkcji UDF AWS Lambda z Amazon Redshift Data API i AWS Step Functions jest zbyt złożone i kosztowne w utrzymaniu dla prostego zadania katalogowania i obsługi schematów, w porównaniu do zintegrowanego rozwiązania AWS Glue.