Uno scienziato dei dati necessita di interrogazioni SQL quasi in tempo reale su un flusso di file compressi GZIP. Quale opzione offre il modo con la latenza più bassa per interrogare il flusso usando SQL?

Amazon Kinesis Data Analytics consente di eseguire query SQL direttamente sui dati in streaming, offrendo la latenza più bassa per questo caso d'uso. Supporta l'elaborazione quasi in tempo reale e può gestire flussi di dati ad alto volume. Se i file GZIP richiedono una decompressione o una trasformazione preliminare, è possibile integrare una funzione AWS Lambda per pre-elaborare i dati prima che Kinesis Data Analytics li interroghi. Le altre opzioni introducono latenza aggiuntiva: AWS Glue con uno script ETL personalizzato è più adatto per processi batch e non per query quasi in tempo reale su flussi. L'applicazione Kinesis Client Library e l'invio a Elasticsearch Service aggiungono passaggi intermedi e latenza di indicizzazione. Kinesis Data Firehose che consegna a S3 è ideale per l'archiviazione e l'analisi successiva, ma non per query quasi in tempo reale direttamente sul flusso, poiché i dati devono prima essere scritti su S3.