Inżynier danych skonfigurował AWS Glue Data Catalog dla obiektów w S3 i potrzebuje przyrostowych aktualizacji. Powiadomienia o zdarzeniach S3 są wysyłane do kolejki SQS. Która kombinacja kroków zapewnia przyrostowe aktualizacje katalogu przy najmniejszym nakładzie operacyjnym? (Wybierz dwie odpowiedzi.)

Utworzenie crawlera AWS Glue opartego na zdarzeniach S3, który odczytuje zdarzenia z kolejki SQS, to efektywne rozwiązanie. Crawler automatycznie przetwarza zdarzenia o nowych lub zmienionych obiektach, minimalizując nakład operacyjny. Użycie funkcji AWS Lambda do bezpośredniej aktualizacji Data Catalog na podstawie zdarzeń S3 odebranych przez kolejkę SQS również jest dobrym wyborem. Lambda może wywołać API Glue, aby dodać lub zaktualizować partycje i schematy, oferując elastyczność i kontrolę. Planowanie crawlera na podstawie harmonogramu czasowego nie zapewni przyrostowych aktualizacji w czasie rzeczywistym. Ręczne uruchamianie crawlera jest nieefektywne i zwiększa nakład pracy. Użycie AWS Step Functions jest możliwe, ale zazwyczaj stanowi nadmierną orkiestrację dla tego konkretnego przypadku, zwiększając złożoność.