Een beveiligingsbedrijf slaat IoT JSON-gegevens op in Amazon S3, waarbij het schema kan veranderen tussen firmware-updates van apparaten. Het analyseteam heeft een datacatalogus nodig om deze gegevens te indexeren. Wat is de meest kosteneffectieve oplossing om een catalogus te bieden en om te gaan met evoluerende schema's?

De meest kosteneffectieve oplossing is het aanmaken van een AWS Glue Data Catalog en het configureren van een AWS Glue Schema Registry. De Data Catalog indexeert de IoT JSON-gegevens in S3, terwijl de Schema Registry schema-evolutie beheert door verschillende schemaversies te registreren en te valideren, wat cruciaal is bij firmware-updates. Een AWS Glue-workload kan vervolgens de gegevens in Amazon Redshift Serverless laden, wat een kosteneffectieve en schaalbare oplossing biedt voor analyses. De andere opties zijn minder optimaal: Amazon Redshift provisioned cluster is duurder en minder flexibel dan Redshift Serverless. Redshift Spectrum kan S3-gegevens bevragen, maar biedt geen ingebouwde schema-evolutie voor JSON. Amazon Athena workgroups zijn goed voor ad-hoc query's, maar bieden geen robuuste oplossing voor schema-evolutie en geautomatiseerde ETL naar Redshift. AWS Lambda UDF's en Step Functions kunnen complex en duur worden voor grootschalige data-ingestie en schema-evolutiebeheer, vergeleken met de geïntegreerde mogelijkheden van AWS Glue.