Een data scientist heeft 20 TB aan CSV-data in Amazon S3 en moet deze met minimale inspanning converteren naar Apache Parquet. Wat is de eenvoudigste manier om deze conversie uit te voeren?

De eenvoudigste manier om 20 TB aan CSV-data in S3 naar Parquet te converteren met minimale inspanning is door een conversiescript te schrijven en dit uit te voeren als een AWS Glue job. AWS Glue is een serverloze ETL-service (Extract, Transform, Load) die schaalt voor grote datasets en de complexiteit van het beheren van infrastructuur wegneemt. U schrijft de transformatielogica (bijvoorbeeld in PySpark) en Glue regelt de uitvoering en schaling. Een AWS Glue crawler is bedoeld voor het catalogiseren van data en het creëren van een Glue Data Catalog, niet voor het converteren van dataformaten. Een Amazon EMR-cluster zou werken, maar vereist meer inspanning voor het opzetten en beheren van het cluster. Een Amazon SageMaker notebook is geschikt voor interactieve data-exploratie en modelontwikkeling, maar minder efficiënt en schaalbaar voor een eenmalige, grootschalige dataconversie van 20 TB.