Een bedrijf verplaatst petabyte-schaal on-premises workloads die Apache Pig, Oozie, Spark, HBase en Flink gebruiken naar AWS en wil minder operationele overhead en serverless opties, terwijl de prestaties gelijk of beter blijven. Welke ETL-service moeten ze kiezen?

Amazon EMR is de beste keuze omdat het een beheerde service is die populaire big data frameworks zoals Apache Spark, Hive, Pig, Flink en HBase ondersteunt. Dit maakt het eenvoudig om bestaande petabyte-schaal workloads te migreren met minimale wijzigingen, terwijl het ook serverless opties biedt via EMR Serverless voor verminderde operationele overhead en schaalbaarheid. AWS Glue is een serverless ETL-service, maar het is meer gericht op het transformeren van gegevens met Spark of Python en biedt niet dezelfde brede ondersteuning voor de specifieke frameworks (Pig, Oozie, HBase, Flink) die in de vraag worden genoemd. AWS Lambda is een serverless compute-service voor kleine, kortlopende functies, niet geschikt voor petabyte-schaal ETL-workloads. Amazon Redshift is een datawarehouse-service, geoptimaliseerd voor analytische queries, niet voor algemene ETL-processen met de genoemde frameworks.