Un'azienda invia i log di flusso di AWS Network Firewall a un bucket S3 e li analizza con Amazon Athena. Ora deve trasformare i log di flusso e arricchirli con dati aggiuntivi prima che arrivino nel bucket S3 esistente. Quale soluzione soddisfa questo requisito?

La soluzione corretta sfrutta Kinesis Data Firehose, che è progettato per acquisire, trasformare e caricare dati in S3. Configurando Network Firewall per inviare i log a Firehose, è possibile utilizzare una funzione AWS Lambda come trasformatore per arricchire i dati prima che vengano consegnati al bucket S3 esistente. Questo è un pattern comune e efficiente per la trasformazione dei dati in transito. L'opzione di usare una funzione Lambda con un trigger S3 PUT-object è problematica a causa del rischio di invocazioni ricorsive e della complessità di gestire la trasformazione di oggetti di grandi dimensioni in tempo reale. L'opzione con EventBridge e Step Functions è eccessivamente complessa per questo caso d'uso e introduce latenza aggiuntiva, oltre a richiedere la gestione di un nuovo bucket S3. L'opzione di usare EventBridge per reagire agli eventi di creazione di oggetti S3 e reindirizzare a un nuovo bucket S3 con una trasformazione di input non consente l'arricchimento dei dati, ma solo la modifica del payload dell'evento, e richiede comunque un nuovo bucket.