Een bedrijf heeft 10 TB aan logbestanden in Apache Parquet-formaat opgeslagen in een Amazon S3-bucket en moet af en toe SQL-query's hierop uitvoeren. Wat is de meest kosteneffectieve oplossing?

De meest kosteneffectieve oplossing is het gebruik van AWS Glue en Amazon Athena. AWS Glue crawlers detecteren automatisch het schema van de Parquet-bestanden in S3 en slaan de metadata op in de Glue Data Catalog. Amazon Athena kan vervolgens SQL-query's uitvoeren op deze gegevens, direct vanuit S3, zonder dat de gegevens verplaatst hoeven te worden of er servers beheerd moeten worden. Dit is een serverloze en pay-per-query service, wat het zeer kosteneffectief maakt voor incidentele query's. Het aanmaken van een Amazon Aurora MySQL-database en het migreren van 10 TB aan gegevens is duur en onnodig, aangezien de gegevens al in Parquet-formaat in S3 staan en niet transactioneel zijn. Een Amazon Redshift-cluster is een datawarehouse-oplossing die geschikt is voor complexe analyses en grote datasets, maar het cluster zelf brengt doorlopende kosten met zich mee, zelfs als er geen query's worden uitgevoerd. Redshift Spectrum is een goede optie voor het direct bevragen van S3, maar de aanwezigheid van een Redshift-cluster maakt het minder kosteneffectief dan Athena voor incidenteel gebruik. Een Amazon EMR-cluster is een krachtige, maar complexere en duurdere oplossing voor big data-verwerking, die meer geschikt is voor continue verwerkingstaken dan voor incidentele SQL-query's.