Ein Data Scientist benötigt Near-Real-Time-SQL-Abfragen über einen Stream von GZIP-komprimierten Dateien. Welche Option bietet die geringste Latenz, um den Stream mittels SQL abzufragen?

Amazon Kinesis Data Analytics (KDA) ist die beste Option, da es speziell für Near-Real-Time-SQL-Abfragen über Streaming-Daten konzipiert wurde und die geringste Latenz bietet. KDA kann direkt auf Kinesis Data Streams zugreifen und SQL-Abfragen ausführen, um die GZIP-komprimierten Daten zu verarbeiten und abzufragen, wobei eine Lambda-Transformation für die Dekomprimierung oder andere Vorverarbeitung genutzt werden kann. AWS Glue ist ein ETL-Service, der für Batch-Verarbeitung optimiert ist und daher eine höhere Latenz für Near-Real-Time-Abfragen aufweist. Eine Kinesis Client Library (KCL)-Anwendung erfordert die Entwicklung einer benutzerdefinierten Anwendung und das Schreiben der Daten in Elasticsearch, was komplexer ist und zusätzliche Latenz durch die Indizierung mit sich bringt. Kinesis Data Firehose ist ein Lieferdienst, der Daten an Ziele wie S3 liefert. Obwohl er Transformationen unterstützt, ist er nicht für Near-Real-Time-SQL-Abfragen über den Stream selbst konzipiert und das Abfragen von S3 würde ebenfalls höhere Latenz bedeuten.