Potrzebujesz bezserwerowego potoku do pozyskiwania i analizy strumieniowej danych w czasie rzeczywistym dla zdarzeń JSON o dużej objętości. Potok musi buforować dane, konwertować JSON do formatu kolumnowego zoptymalizowanego pod kątem zapytań bez utraty danych, przechowywać wyniki w wysoce dostępnym magazynie danych oraz umożliwiać analitykom uruchamianie zapytań SQL i łączenie pulpitów nawigacyjnych BI. Który projekt najlepiej spełnia te wymagania?

Poprawna odpowiedź opisuje kompleksowy, bezserwerowy potok. Użycie zarządzanej usługi dostarczania strumieniowego (np. Kinesis Data Firehose) do pozyskiwania danych o dużej objętości, zintegrowanej z Data Catalog (np. AWS Glue Data Catalog) do definiowania schematu i konwersji do formatu kolumnowego (Parquet/ORC), jest efektywne i bezstratne. Przechowywanie w object storage (np. S3) zapewnia wysoką dostępność i skalowalność. Bezserwerowy silnik zapytań SQL (np. Amazon Athena) umożliwia analitykom bezpośrednie zapytania w object storage, a złącze JDBC ułatwia integrację z narzędziami BI. Pozostałe opcje są mniej optymalne: Zapisywanie każdego rekordu JSON w object storage, a następnie wyzwalanie funkcji bezserwerowej do konwersji, wprowadza niepotrzebne operacje I/O i zwiększa złożoność dla strumieni o dużej objętości. Wstawianie każdego przekonwertowanego rekordu do zarządzanej relacyjnej bazy danych jest nieefektywne kosztowo i skalowalnie dla danych o dużej objętości i nie jest typowym rozwiązaniem dla analizy big data. Usługa przetwarzania strumieniowego SQL w czasie rzeczywistym (np. Kinesis Data Analytics) może konwertować dane, ale pominięcie Data Catalog dla schematu i konwersji może prowadzić do mniejszej elastyczności i zarządzania metadanymi w porównaniu do rozwiązania z Data Catalog.