Un'azienda di sicurezza archivia dati JSON IoT in Amazon S3, dove lo schema può cambiare tra un aggiornamento del firmware del dispositivo e l'altro. Il team di analisi necessita di un catalogo dati per indicizzare questi dati. Qual è la soluzione più conveniente per fornire un catalogo e gestire schemi in evoluzione?

La soluzione corretta sfrutta AWS Glue Data Catalog per indicizzare i dati e AWS Glue Schema Registry per gestire gli schemi in evoluzione dei dati JSON IoT, che è una funzionalità chiave per dati con schemi variabili. Un workload AWS Glue può orchestrare l'ingestione e la trasformazione dei dati, rendendoli disponibili per l'analisi in Amazon Redshift Serverless, che è conveniente e scalabile. Le altre opzioni presentano delle inefficienze o non indirizzano al meglio la gestione degli schemi variabili: L'opzione con Amazon Redshift provisioned è più costosa e meno flessibile per carichi di lavoro variabili. Redshift Spectrum può esplorare dati S3, ma non gestisce direttamente gli schemi in evoluzione come Glue Schema Registry. L'opzione con Amazon Athena e Apache Spark è valida per l'esplorazione, ma non offre la stessa gestione centralizzata degli schemi in evoluzione fornita da Glue Schema Registry, né un'orchestrazione robusta dell'ingestione come un workload Glue. L'opzione con UDF Lambda e Step Functions introduce complessità e costi aggiuntivi per l'orchestrazione rispetto a un workload Glue nativo, e le UDF potrebbero non essere la soluzione più efficiente per l'ingestione di grandi volumi di dati.